午夜福利758,2012中文字幕在线观看,女人18毛片xxⅹ水真多|,午夜视频一区二区免费久久,国产免费福利小视频

論文：https://openreview.net/forum?id=At9JmGF3xy
代碼：https://github.com/Xiangtaokong/TGBD

視覺腦解碼旨在通過人類大腦活動解碼視覺信息。先前工作通?；凇安煌瑐€體的腦活動存在差異”這一觀察，對每個受試者分別建?；蛭⒄{(diào)，甚至對腦解碼能否泛化至全新受試者都鮮有探索。

本研究旨在探索視覺腦解碼在不同受試者上是否有泛化能力。作者首先基于人類連接組計劃（HCP）電影觀看任務(wù)構(gòu)建了大規(guī)模圖像-fMRI數(shù)據(jù)集（177名受試者，55萬對數(shù)據(jù)）。然后提出了統(tǒng)一學(xué)習(xí)范式，通過體素標準化和共享網(wǎng)絡(luò)架構(gòu)處理多受試者數(shù)據(jù)，避免個體化設(shè)計。因此，本研究可以支持大規(guī)模受試者訓(xùn)練以研究跨個體泛化能力。本研究通過實驗發(fā)現(xiàn)：

（1）泛化能力的關(guān)鍵是受試者數(shù)量：訓(xùn)練受試者從1名增至167名時，在全新受試者（無需微調(diào)）上的圖像檢索TOP1準確率從2%提升至45%。

（2）泛化能力在不同架構(gòu)下具備普適性：不同網(wǎng)絡(luò)架構(gòu)如MLP、CNN與Transformer均展現(xiàn)出泛化能力。

（3）泛化能力受試者相似性影響：相同性別的受試者之間更容易泛化；相似受試者訓(xùn)練組泛化能力顯著優(yōu)于非相似組。

這些發(fā)現(xiàn)揭示了視覺腦信號在不同個體間存在相似性。隨著更大規(guī)模數(shù)據(jù)集的涌現(xiàn)，未來有望訓(xùn)練適用于所有受試者的通用的腦解碼模型。

研究背景

視覺腦解碼最近在深度學(xué)習(xí)技術(shù)的支持下，取得了許多新進展。但當前的視覺腦解碼研究無論是數(shù)據(jù)集還是方法，大多集中在研究少量受試者上，且傾向于為每個受試者專門訓(xùn)練或者微調(diào)網(wǎng)絡(luò)結(jié)構(gòu)以及參數(shù)。解碼模型的廣泛應(yīng)用離不開泛化能力，當面對大量新受試者時，研究人員不可能對每個人都重新調(diào)整模型。然而，目前鮮少有工作探討模型在不同受試者之間的泛化能力，但泛化能力是實現(xiàn)解碼模型大規(guī)模應(yīng)用的前提。

（1）數(shù)據(jù)集

表1 目前常用的視覺腦信號解碼數(shù)據(jù)集

如表1所示，目前常用的視覺腦信號解碼數(shù)據(jù)集（NSD、BOLD）大多只有不到十名受試者，而且許多研究實際只使用了部分受試者數(shù)據(jù)。這使得現(xiàn)有數(shù)據(jù)集很難支持泛化性研究，從根本上限制了對跨受試者泛化能力的系統(tǒng)性研究。

（2）現(xiàn)有方法

由于數(shù)據(jù)集的限制，現(xiàn)有視覺腦解碼的方法大多針對幾個受試者而設(shè)計，比如MindEye1為每個受試者單獨訓(xùn)練模型、UMBRAE為每個受試者準備一個分別的網(wǎng)絡(luò)頭。此外，一些方法還需要獲得每個受試者的一部分數(shù)據(jù)做微調(diào)訓(xùn)練或者對齊。這些方法無法推廣至大規(guī)模的新受試者。

表2 UMBRAE和我們的方法面對不同數(shù)量受試者時的網(wǎng)絡(luò)參數(shù)量

如表2所示，UMBRAE僅僅為每個受試者準備了10M左右的網(wǎng)絡(luò)頭，在面對大量受試者時，網(wǎng)絡(luò)規(guī)模會線性增大，更不用說對每個受試者都需要訓(xùn)練或微調(diào)對齊的方法。除此之外，這些方法在不微調(diào)的情況下，即使可以在新受試者上進行推理，但性能也基本完全喪失。

探索視覺腦解碼的泛化能力

現(xiàn)有的數(shù)據(jù)集和方法都只針對少量受試者，不具備探索泛化能力的條件。作者選擇了基礎(chǔ)的fMRI-圖像檢索任務(wù)，構(gòu)建了大規(guī)模的受試者數(shù)據(jù)集以及新的學(xué)習(xí)范式，這使得探索泛化性成為可能。

（1）構(gòu)建大規(guī)模受試者數(shù)據(jù)集

圖1 fMRI-圖像對數(shù)據(jù)集的構(gòu)建

作者使用從HCP數(shù)據(jù)集的電影觀看任務(wù)中提取fMRI信號-圖像對，提取每秒末幀為刺激圖像，基于4秒血流動力學(xué)延遲，平均后續(xù)4個TR的fMRI信號作為圖像對應(yīng)的fMRI信號。共收集了177名受試者的數(shù)據(jù)，每名受試者3,127對數(shù)據(jù)，總規(guī)模超55萬對。

（2）統(tǒng)一的學(xué)習(xí)范式

圖2 統(tǒng)一處理所有受試者的學(xué)習(xí)范式

作者同時提出了統(tǒng)一的學(xué)習(xí)范式，使得網(wǎng)絡(luò)去除對受試者的特異性設(shè)計，可以接受大量受試者同時進行訓(xùn)練。具體來說，先上采樣所有受試者全腦的fMRI體素至統(tǒng)一尺寸，再使用MLP/CNN/Transformer等網(wǎng)絡(luò)結(jié)構(gòu)將體素映射至CLIP特征空間，在CLIP空間中使用雙向?qū)Ρ葥p失（CLIP Loss），最大化對應(yīng)fMRI-圖像對的特征相似性。

實驗與結(jié)論

作者使用fMRI-圖像檢索任務(wù)來進行實驗，記錄在300個fMRI-圖像數(shù)據(jù)對的檢索準確率，以探究解碼模型在新受試者上有無泛化能力，以及泛化能力受哪些因素影響。

（1）受試者數(shù)量

圖3 在新受試者上檢索準確率與訓(xùn)練受試者數(shù)目之間的關(guān)系

如圖3所示，當受試者數(shù)量很少時，網(wǎng)絡(luò)在新受試者上幾乎表現(xiàn)不出泛化能力。但隨著訓(xùn)練受試者數(shù)量增多，網(wǎng)絡(luò)在新受試者上的泛化能力逐漸增強。直到達到167名受試者全部參與訓(xùn)練，泛化能力的增長也沒有達到飽和。

（2）網(wǎng)絡(luò)架構(gòu)

表3 不同網(wǎng)絡(luò)結(jié)構(gòu)對檢索結(jié)果的影響

如表3所示，在都使用167名受試者訓(xùn)練時，不同網(wǎng)絡(luò)結(jié)構(gòu)都在新受試者上表現(xiàn)出了泛化能力。說明視覺腦解碼的泛化能力并非是由特定的網(wǎng)絡(luò)結(jié)構(gòu)帶來的，而更可能是人腦活動的相似性帶來的。

（3）影響泛化性的因素

表3 不同相似程度的受試者訓(xùn)練組對檢索結(jié)果的影響

表3展示了性別和相似程度對泛化能力的影響。第一行使用了50名男性受試者訓(xùn)練模型，結(jié)果在未見過的男性測試者上取得了比未見過的女性測試者更好的泛化結(jié)果，第二行則相反，使用女性受試者訓(xùn)練的模型也在未見過的女性測試者上取得了更好的結(jié)果。

第4-8行顯示了更相似的受試者能得到更好的泛化能力，相比于隨機選取的20名訓(xùn)練受試者（第8行），使用20名與Subj1更相似（第4行）/更不相似（第5行）的訓(xùn)練受試者都會得到更好/更差的泛化結(jié)果。這個結(jié)論對于Subj2也成立（第6-7行），說明該現(xiàn)象不依賴于個體個例，而具有廣泛適用性。

表3說明泛化能力受受試者之間相似程度的影響，受試者之間越相似，越容易相互泛化。

泛化能力的來源

首先，作者認為泛化能力并非源自復(fù)雜的上采樣（對齊）模塊或其他類似機制，而是源于對不同受試者模式的“包含”而非單純的“對齊”。換言之，本方法在未見受試者上的優(yōu)異表現(xiàn)源于：訓(xùn)練數(shù)據(jù)很可能覆蓋了這些未見過受試者的某些特征映射模式。所以，隨著訓(xùn)練受試者數(shù)量增加，泛化性能持續(xù)提升。這是因為，訓(xùn)練集更可能包含了新受試者的某些映射模式。同樣地，在固定訓(xùn)練人數(shù)時，與測試受試者相似性更高的訓(xùn)練組（如性別匹配）往往表現(xiàn)出更強的泛化能力。這同樣是因為，相似的受試者更容易“包含”他們之間的相似特征。本研究的核心貢獻在于提出一種新視角：泛化能力可通過“包含”足夠多樣化的受試者群體獲得，而非依賴對齊或微調(diào)機制；同時，泛化性能亦受個體間相似性影響。

總結(jié)

先前視覺腦解碼研究主要集中于具體受試者，本研究旨在探究視覺腦解碼在新受試者上的泛化能力。作者基于HCP大規(guī)模數(shù)據(jù)集，構(gòu)建了177名受試者的圖像-fMRI配對數(shù)據(jù)。利用該數(shù)據(jù)集，作者提出了一種統(tǒng)一的學(xué)習(xí)范式，無需個體特異性適配（即無需為每位受試者單獨訓(xùn)練或微調(diào)模型），使得探索泛化能力成為可能。通過詳細實驗，作者發(fā)現(xiàn)模型的泛化能力隨訓(xùn)練受試者數(shù)量增加而逐漸顯現(xiàn)，且該能力在不同網(wǎng)絡(luò)架構(gòu)（如MLP、CNN、Transformer）中均得以體現(xiàn)。此外，泛化能力會顯著被受試者間的相似程度影響。這些發(fā)現(xiàn)揭示了人腦活動跨個體的固有相似性，對后續(xù)研究具有重要啟示。隨著更大規(guī)模、更多樣化數(shù)據(jù)集的涌現(xiàn)，本工作可為未來訓(xùn)練腦編碼基礎(chǔ)模型提供理論與方法基礎(chǔ)。

僅用于學(xué)術(shù)分享，若侵權(quán)請留言，即時刪侵！