神經(jīng)元是通過電信號(hào)和化學(xué)信號(hào)在全身傳遞信息的神經(jīng)細(xì)胞，它們?cè)诮M織中按照一定規(guī)律排列，通常會(huì)根據(jù)功能聚集。例如，語(yǔ)言研究發(fā)現(xiàn)，一些神經(jīng)元簇似乎專注于處理動(dòng)詞，而另一些則專門負(fù)責(zé)名詞。不過，這些功能區(qū)是如何形成的，科學(xué)界尚未得出明確結(jié)論。
以往的人工智能語(yǔ)言模型已經(jīng)能夠成功識(shí)別這些功能性的神經(jīng)元簇，但對(duì)它們?cè)诖竽X中如何排列尚未涉及。
近日，研究人員開發(fā)了一種名為 TopoLM 的全新語(yǔ)言模型。它不僅可以模擬神經(jīng)元的功能聚集特性，還首次再現(xiàn)了這些細(xì)胞在大腦中的空間排列模式。在題為《TopoLM: brain-like spatio-functional organization in a topographic language model》的論文中，研究團(tuán)隊(duì)詳細(xì)介紹了 TopoLM 如何成功預(yù)測(cè)大腦皮層語(yǔ)言系統(tǒng)的空間功能分布。這篇論文入選 ICLR 2025（國(guó)際學(xué)習(xí)表征會(huì)議）口頭報(bào)告。
“我們借鑒了大腦視覺處理機(jī)制的研究，對(duì)語(yǔ)言模型的內(nèi)部結(jié)構(gòu)做了一些細(xì)微調(diào)整，引入了一條新規(guī)則，使得模型的內(nèi)部表征在空間上更加‘平滑’。最終形成的 TopoLM 模型構(gòu)建了空間聚類結(jié)構(gòu)，其功能與人腦語(yǔ)言處理過程中觀察到的活動(dòng)高度一致?！盢euroAI 實(shí)驗(yàn)室負(fù)責(zé)人、助理教授 Martin Schrimpf 表示。
“這是一個(gè)基礎(chǔ)性問題，我們希望了解大腦中的空間或功能集群最初是如何產(chǎn)生的?！盨chrimpf 補(bǔ)充道：“TopoLM 顯示，可能僅憑一條簡(jiǎn)單規(guī)則——即相鄰神經(jīng)元傾向于執(zhí)行相似功能——就能實(shí)現(xiàn)這樣的組織結(jié)構(gòu)?！?/p>
構(gòu)建具有類腦空間功能組織的地形語(yǔ)言模型
研究人員認(rèn)為，TopoLM 為提升人工智能系統(tǒng)與人類認(rèn)知功能的一致性提供了新思路，也為腦啟發(fā)計(jì)算和神經(jīng)語(yǔ)言學(xué)的研究提供了實(shí)踐框架。
“這代表我們朝著打造更具類腦結(jié)構(gòu)的人工智能系統(tǒng)邁出了激動(dòng)人心的一步。我們的核心目標(biāo)之一是構(gòu)建更好的大腦模型，而 TopoLM 將我們距離實(shí)際臨床應(yīng)用又推進(jìn)了一步，未來(lái)有望用于幫助患有語(yǔ)言障礙或相關(guān)語(yǔ)言缺陷的人群?！闭撐淖髡咧?、NeuroAI 與 IC 自然語(yǔ)言處理實(shí)驗(yàn)室（NLP）博士助理 Badr AlKhamissi 表示。
TopoLM：跨語(yǔ)言選擇聚類的個(gè)體反應(yīng)
這項(xiàng)研究還帶來(lái)了在可解釋性方面的進(jìn)展，也就是對(duì)大型語(yǔ)言模型（LLM）內(nèi)部運(yùn)行機(jī)制的理解。LLM 通常通過“向量”來(lái)表示每一個(gè)人工“神經(jīng)元”，而要理解模型學(xué)到的內(nèi)容，往往需要對(duì)每個(gè)向量逐個(gè)或成組分析。
TopoLM 則通過將內(nèi)部結(jié)構(gòu)組織為功能簇，使研究人員能夠直接觀察這些簇及其組成，從而更清晰地理解模型如何表示和處理語(yǔ)言。這種聚類結(jié)構(gòu)本身就體現(xiàn)了語(yǔ)義上的重要類別。
接下來(lái)，這項(xiàng)前沿研究將進(jìn)入新階段：EPFL 團(tuán)隊(duì)計(jì)劃在人體大腦中驗(yàn)證模型預(yù)測(cè)的準(zhǔn)確性。
“TopoLM 的表現(xiàn)遠(yuǎn)超我們的預(yù)期，我們希望驗(yàn)證它的預(yù)測(cè)是否在真實(shí)大腦中成立。模型中有一些尚未在人腦中發(fā)現(xiàn)的神經(jīng)元簇，可能是因?yàn)榇饲皬奈从腥藝L試尋找。我們將與在美從事人體實(shí)驗(yàn)的同事合作，啟動(dòng)一項(xiàng)成像研究，以確定這些簇是否真實(shí)存在?！盨chrimpf 總結(jié)道。
參考內(nèi)容：
Neil Rathi et al, TopoLM: brain-like spatio-functional organization in a topographic language model, arXiv (2024). DOI: 10.48550/arxiv.2410.11516
僅用于學(xué)術(shù)分享，若侵權(quán)請(qǐng)留言，即時(shí)刪侵！
歡迎加入腦機(jī)接口社區(qū)交流群，
探討腦機(jī)接口領(lǐng)域話題，實(shí)時(shí)跟蹤腦機(jī)接口前沿。
加微信群：
添加微信:RoseBCI【備注：姓名+行業(yè)/專業(yè)】。
歡迎來(lái)稿
1.歡迎來(lái)稿。投稿咨詢，請(qǐng)聯(lián)系微信：RoseBCI
點(diǎn)擊投稿：
2.加入社區(qū)成為兼職創(chuàng)作者，請(qǐng)聯(lián)系微信：RoseBCI
一鍵三連「分享」、「點(diǎn)贊」和「在看」
不錯(cuò)過每一條腦機(jī)前沿進(jìn)展
熱門跟貼