本論文首次探討了醫(yī)學影像生成中的公平性問題，并提出了一種基于公平貝葉斯擾動的FairDiffusion方法，同時構建了標注有多維敏感屬性的FairGenMed數(shù)據(jù)集。通過對比實驗，驗證了該方法在整體圖像質(zhì)量和群體間公平性（基于ES-FID、ES-IS和ES-AUC指標）上的雙重提升效果。未來，我們將進一步擴展數(shù)據(jù)集規(guī)模，豐富敏感屬性維度，并探索更多應用場景下的公平生成策略，以推動醫(yī)學生成模型在全球醫(yī)療影像領域?qū)崿F(xiàn)更普惠且公正的應用。
論文標題： FairDiffusion: Enhancing Equity in Latent Diffusion Models via Fair Bayesian Perturbation 論文鏈接： https://arxiv.org/abs/2412.20374 數(shù)據(jù)集和代碼鏈接： https://github.com/Harvard-Ophthalmology-AI-Lab/FairDiffusion
一、背景與挑戰(zhàn)
隨著人工智能在醫(yī)學影像領域的廣泛應用，文本到圖像擴散模型（如Stable Diffusion）正逐步滲透到醫(yī)學數(shù)據(jù)合成、醫(yī)學教育和數(shù)據(jù)共享中。然而，盡管生成質(zhì)量整體較高，模型在不同人口統(tǒng)計屬性（性別、種族、族裔）上卻存在明顯差異。例如，實驗表明，Stable Diffusion在生成女性、白人及非西班牙裔樣本時圖像細節(jié)和臨床特征更為突出，而在男性、亞洲人及西班牙裔樣本上則表現(xiàn)欠佳。這種不均衡現(xiàn)象直接影響了后續(xù)臨床特征檢測、病情預測及診斷準確性，進而可能加劇醫(yī)療資源分配的不公平問題。
此外，還存在以下挑戰(zhàn)：
噪聲建模與分布不匹配問題
擴散模型的噪聲去除假設數(shù)據(jù)服從統(tǒng)一分布，但真實醫(yī)學數(shù)據(jù)在不同群體間存在分布偏移，導致單一全局損失難以平衡各群體的生成質(zhì)量。
公平性指標缺乏
傳統(tǒng)指標（如FID、IS）只關注總體質(zhì)量，無法揭示不同群體間的性能差異。因此，我們提出了ES-FID、ES-IS和公平AUC（ES-AUC）等新指標，用于量化群體間的公平性。
公平調(diào)控機制設計難題
如何在保證整體生成質(zhì)量的同時，自適應地調(diào)節(jié)各群體的損失權重，是當前技術的一大難點。為此，我們引入了公平貝葉斯擾動機制，通過針對不同群體施加自適應高斯擾動，縮小群體間的誤差差距。
二、數(shù)據(jù)集與公平性問題探討
公平性研究需要高質(zhì)量且具備多維敏感屬性標注的數(shù)據(jù)。為此，我們構建了FairGenMed數(shù)據(jù)集，其主要特點如下：
數(shù)據(jù)來源與采集
FairGenMed基于真實臨床SLO眼底圖像，數(shù)據(jù)采自一家大型學術眼科醫(yī)院，覆蓋2015至2022年期間的患者數(shù)據(jù)，并附帶詳細的臨床指標（如青光眼風險、杯盤比、視野缺損程度等）。
多維敏感屬性標注
數(shù)據(jù)集中詳細標注了性別、種族、族裔、首選語言、婚姻狀況等敏感屬性，允許針對不同群體單獨分析，揭示模型在弱勢群體上存在的性能不足問題。
公平性問題的實際背景
在醫(yī)學影像領域，不同群體由于生理差異和疾病風險的不同，在病理表現(xiàn)上可能存在細微區(qū)別。如果生成模型不能平衡學習這些差異，可能導致弱勢群體的影像質(zhì)量不達標，增加誤診風險，進而引發(fā)倫理和社會公平問題。
數(shù)據(jù)集意義
FairGenMed不僅為生成模型提供了充足且多樣化的訓練樣本，同時也為公平性指標（如ES-FID、ES-IS、ES-AUC）的設計提供了堅實的數(shù)據(jù)基礎，有助于推動醫(yī)學生成模型在公平性與實用性上的雙重提升。
三、方法與技術細節(jié)
在上述背景與數(shù)據(jù)集支持下，我們提出了FairDiffusion方法，其核心技術細節(jié)包括：
基礎擴散模型損失：標準LDM的去噪損失定義為
公平貝葉斯擾動機制：為自適應調(diào)節(jié)各群體損失貢獻，我們在損失中引入擾動因子
群體間損失差異量化為衡量批次內(nèi)各群體誤差的不均衡，我們定義了平均損失差異
這一指標用于指導貝葉斯優(yōu)化過程中擾動參數(shù)的更新。
貝葉斯優(yōu)化與參數(shù)更新：我們將擾動參數(shù)的最優(yōu)求解轉化為貝葉斯優(yōu)化問題
采用上置信界（UCB）作為采集函數(shù)，并用以下規(guī)則更新參數(shù)：
這一過程實現(xiàn)了探索與利用的平衡，逐步縮小群體間的性能差異。
公平評價指標：除了傳統(tǒng)的FID和IS指標，我們設計了公平擴展指標
以及公平AUC（ES-AUC）指標，用于評估生成圖像與文本提示間的語義一致性。
四、結果
圖像視覺效果對比
在新增的定性可視化圖（圖2）中，我們展示了真實SLO眼底圖像、Stable Diffusion生成的圖像與FairDiffusion生成圖像的對比?？梢悦黠@看出，F(xiàn)airDiffusion生成的圖像不僅結構更為清晰，而且在紋理和細節(jié)上更接近真實圖像，尤其是在原本容易出現(xiàn)模糊和細節(jié)缺失的弱勢群體樣本上，優(yōu)勢更為明顯。
整體生成性能提升
如下面幾張圖所示，我們在SLO眼底圖像上對比了FairDiffusion與Baseline模型（例如Stable Diffusion和Debiased Diffusion）的FID和IS指標。FairDiffusion取得了顯著更低的FID值和更高的IS值，證明了其在整體圖像生成質(zhì)量上的優(yōu)勢。此外，通過ES-FID和ES-IS指標，可以看到各敏感群體（性別、種族、族裔）之間的性能差距明顯縮小。例如，在白人、亞洲人和黑人群體中，F(xiàn)airDiffusion減少了最大誤差差距（最大-最小FID值）的幅度，確保生成圖像在各群體間更為一致。
非眼科數(shù)據(jù)集結果
在HAM10000皮膚病圖像（圖6，8）和CheXpert胸部X光影像（圖6，8）上，我們同樣驗證了FairDiffusion的有效性。對于HAM10000數(shù)據(jù)集，下圖展示了FairDiffusion在不同年齡和性別組上的ES-FID和ES-IS指標均有大幅提升；而在CheXpert數(shù)據(jù)集中，無論是針對性別還是種族的細分指標，F(xiàn)airDiffusion均實現(xiàn)了FID降低和IS提升的目標。這表明我們的公平貝葉斯擾動機制在跨模態(tài)任務中均能穩(wěn)定發(fā)揮作用，提升各群體的生成質(zhì)量和公平性。
語義一致性與臨床相關性
我們還設計了分類任務，對生成圖像與文本提示之間的語義相關性進行評估。通過公平AUC（ES-AUC）指標（圖7），可以觀察到FairDiffusion生成的圖像與臨床特征描述具有更高的一致性，特別是在青光眼和杯盤比的分類任務中，弱勢群體的AUC值均有明顯提升。這一結果進一步證明了方法在提升醫(yī)學語義相關性方面的有效性。
五、總結與展望
本論文首次探討了醫(yī)學影像生成中的公平性問題，并提出了基于公平貝葉斯擾動的FairDiffusion方法，并構建了具備多維敏感屬性標注的FairGenMed數(shù)據(jù)集。通過對比實驗，我們證明了該方法在整體圖像質(zhì)量和各群體間公平性（通過ES-FID、ES-IS和ES-AUC指標）的雙重提升效果。未來，我們將進一步擴充數(shù)據(jù)集規(guī)模、豐富敏感屬性維度，并探索更多應用場景下的公平生成策略，以推動醫(yī)學生成模型在全球醫(yī)療影像領域?qū)崿F(xiàn)更為普惠、公正的應用。
llustration From IconScout By IconScout Store
-The End-
掃碼觀看！
本周上新！
“AI技術流”原創(chuàng)投稿計劃
TechBeat是由將門創(chuàng)投建立的AI學習社區(qū)（
www.techbeat.net） 。 社區(qū)上線600+期talk視頻，3000+篇技術干貨文章，方向覆蓋CV/NLP/ML/Robotis等；每月定期舉辦頂會及其他線上交流活動，不定期舉辦技術人線下聚會交流活動。我們正在努力成為AI人才喜愛的高質(zhì)量、知識型交流平臺，希望為AI人才打造更專業(yè)的服務和體驗，加速并陪伴其成長。
投稿內(nèi)容
// 最新技術解讀/系統(tǒng)性知識分享 //
// 前沿資訊解說/心得經(jīng)歷講述 //
投稿須知
稿件需要為原創(chuàng)文章，并標明作者信息。
我們會選擇部分在深度技術解析及科研心得方向，對用戶啟發(fā)更大的文章，做原創(chuàng)性內(nèi)容獎勵
投稿方式
發(fā)送郵件到
melodybai@thejiangmen.com
或添加工作人員微信（yellowsubbj）投稿，溝通投稿詳情；還可以關注“將門創(chuàng)投”公眾號，后臺回復“投稿”二字，獲得投稿說明。
關于我“門”
將門是一家以專注于數(shù)智核心科技領域的新型創(chuàng)投機構，也是北京市標桿型孵化器。 公司致力于通過連接技術與商業(yè)，發(fā)掘和培育具有全球影響力的科技創(chuàng)新企業(yè)，推動企業(yè)創(chuàng)新發(fā)展與產(chǎn)業(yè)升級。
將門成立于2015年底，創(chuàng)始團隊由微軟創(chuàng)投在中國的創(chuàng)始團隊原班人馬構建而成，曾為微軟優(yōu)選和深度孵化了126家創(chuàng)新的技術型創(chuàng)業(yè)公司。
如果您是技術領域的初創(chuàng)企業(yè)，不僅想獲得投資，還希望獲得一系列持續(xù)性、有價值的投后服務，歡迎發(fā)送或者推薦項目給我“門”:
bp@thejiangmen.com
點擊右上角，把文章分享到朋友圈
熱門跟貼