打開(kāi)網(wǎng)易新聞 查看精彩圖片

追問(wèn)快讀:當(dāng)我們遇到新問(wèn)題時(shí),往往會(huì)通過(guò)類(lèi)比過(guò)去的經(jīng)驗(yàn)來(lái)尋找解決方案,大語(yǔ)言模型能否如同人類(lèi)一樣類(lèi)比?在對(duì)大模型的眾多批判中,人們常說(shuō)大模型只是記住了訓(xùn)練數(shù)據(jù)集中的模式,并沒(méi)有進(jìn)行真正的推理。本文總結(jié)最近發(fā)布的多項(xiàng)關(guān)于大模型類(lèi)比能力的研究,并指出未來(lái)類(lèi)似研究的可能方向。

當(dāng)下想要找到些“普通人類(lèi)擅長(zhǎng),而大模型不擅長(zhǎng)”的任務(wù),似乎越來(lái)越難了?!邦?lèi)比”可能就是這樣的任務(wù),這不只是人工智能的“阿克琉斯之踵”,更顯露出不同大模型間以及大模型與人類(lèi)之間的本質(zhì)差異。

在《表象與本質(zhì)》一書(shū)中,認(rèn)知科學(xué)家侯世達(dá)(Douglas Hofstadter)指出:

類(lèi)比不僅僅是語(yǔ)言或邏輯的工具,更是思維的基本單位。

我們?nèi)粘UZ(yǔ)言中充滿(mǎn)了類(lèi)比和隱喻,就如同“充滿(mǎn)”一詞本身。類(lèi)比能夠激活創(chuàng)造力。例如,愛(ài)因斯坦將引力場(chǎng)類(lèi)比為一個(gè)重物被放入蹦床后造成的表面彎曲,這啟發(fā)他提出了廣義相對(duì)論。類(lèi)比還能解釋難以理解的現(xiàn)象。就像為人所熟知的類(lèi)比“意識(shí)就像冰山”,通過(guò)將意識(shí)與冰山聯(lián)系起來(lái),人們可以直觀(guān)地推斷出意識(shí)在水面下的深度和復(fù)雜性。

那么,大語(yǔ)言模型是否也具有類(lèi)比能力?

在機(jī)器學(xué)習(xí)中,類(lèi)比體現(xiàn)為“0嘗試推理”,即不給大模型可供學(xué)習(xí)的示例,而是讓大模型自行根據(jù)題目進(jìn)行推理。為了驗(yàn)證大模型能否進(jìn)行類(lèi)比推理,Webb等人(2023)設(shè)計(jì)并使用了三種類(lèi)比推理任務(wù)——字符串類(lèi)比、數(shù)字矩陣和故事類(lèi)比,以此測(cè)試GPT3面對(duì)不同類(lèi)型任務(wù)的推理能力。通過(guò)這套測(cè)試,研究人員認(rèn)為他們證明了GPT-3具有類(lèi)比推理能力[1]。

但是,更進(jìn)一步的問(wèn)題是,這些大模型會(huì)不會(huì)只是在回憶訓(xùn)練數(shù)據(jù),而并非真正的類(lèi)比呢?當(dāng)面對(duì)更變化多樣的問(wèn)題時(shí),大模型能否具有穩(wěn)定的類(lèi)比能力?

大模型能讀懂題目“馬甲”下的本質(zhì)嗎?

為了檢測(cè)模型是否依賴(lài)表面特征或捷徑,而非真正的抽象推理,圣塔菲研究院的Lewis & Mitchell,基于Webb等人設(shè)計(jì)的基本轉(zhuǎn)換和泛化類(lèi)型,設(shè)計(jì)了更進(jìn)一步的變體測(cè)試[2]。

他們給題目套一些“馬甲”,在不改變本質(zhì)的同時(shí),讓題目看起來(lái)不同;然后用新的測(cè)試對(duì)GPT-3(text-davinci-003)以及近期更新的大模型GPT-3.5(gpt-3.5-turbo-0613)、GPT-4(gpt-4-0613)進(jìn)行類(lèi)比能力測(cè)試,包括字符串、數(shù)字矩陣和故事類(lèi)比實(shí)驗(yàn)。這類(lèi)研究中,最常用到的是侯世達(dá)于1985年提出的“字符串類(lèi)比”*。

* 字符串類(lèi)比:a b c d → a b c e; i j k l → ?

其中,第一部分是"源轉(zhuǎn)換",第二部分是"目標(biāo)",任務(wù)是以類(lèi)似于源轉(zhuǎn)換的方式轉(zhuǎn)換目標(biāo)字符串。

2023年,Webb等人提出了六種轉(zhuǎn)換類(lèi)型(如序列擴(kuò)展、后繼、前驅(qū)等)和多種泛化類(lèi)型(如字母到數(shù)字、分組、更長(zhǎng)目標(biāo)等)的組合。他們?yōu)槊糠N問(wèn)題類(lèi)型生成了大量問(wèn)題,并將這些問(wèn)題給到GPT-3(text-davinci-003)以及57名UCLA本科生進(jìn)行測(cè)試。結(jié)果發(fā)現(xiàn),人類(lèi)參與者的準(zhǔn)確率表現(xiàn)出很大的差異,但總體而言,GPT-3在大多數(shù)問(wèn)題類(lèi)型上的表現(xiàn)甚至優(yōu)于平均人類(lèi)表現(xiàn)[1]。

但是,這項(xiàng)研究中所使用的字母表均為標(biāo)準(zhǔn)英文字母表及其固有順序,測(cè)試中大模型表現(xiàn)出來(lái)的“類(lèi)比能力”是否可能依賴(lài)表面特征走了“捷徑”?為此,Lewis & Mitchell保留了基本轉(zhuǎn)換和泛化類(lèi)型,又進(jìn)一步創(chuàng)建了兩類(lèi)變體[2]:

- 虛構(gòu)字母表:隨機(jī)打亂2-20個(gè)字母的順序,創(chuàng)建28種不同的打亂字母表

- 符號(hào)字母表:用非字母符號(hào)完全替代字母,創(chuàng)建9種不同的符號(hào)字母表

研究人員對(duì)真實(shí)的拉丁字母表,隨機(jī)選取1-3對(duì)進(jìn)行替換,然后分別給人類(lèi)和GPT-3、GPT-3.5、GPT-4進(jìn)行了測(cè)試。

打開(kāi)網(wǎng)易新聞 查看精彩圖片

?圖1. Lewis & Mitchell給受試人類(lèi)和大模型的類(lèi)比問(wèn)題示例. 圖源:[2]

結(jié)果顯示,當(dāng)字母表的替換次數(shù)增加后,不論是GPT3、GPT3.5或到GPT4,其回答準(zhǔn)確性都有下降,且都顯著低于在線(xiàn)招募的人類(lèi)受試者[2]。

打開(kāi)網(wǎng)易新聞 查看精彩圖片

?圖2:不同字母表替換次數(shù)下,GPT模型和人類(lèi)被試者的準(zhǔn)確性對(duì)比. 圖源:[2]

Mitchell團(tuán)隊(duì)還做過(guò)一項(xiàng)嘗試,他們讓42名兒童(7-9歲)、62名成人以及4種大模型(Anthropic的Claude-3.5、Google的Gemma-2 27B、Open AI的GPT-4o和Meta的Llama-3.1 405B),接受拉丁字母表、希臘字母表和符號(hào)列表三種條件的字符串類(lèi)比任務(wù)[3]。

打開(kāi)網(wǎng)易新聞 查看精彩圖片

?圖3:不同類(lèi)型的字母推理問(wèn)題. 圖源:[3]

結(jié)果顯示,大模型面對(duì)類(lèi)比問(wèn)題時(shí),準(zhǔn)確性就會(huì)顯著下降,表現(xiàn)甚至不如兒童。就拿GPT-4o和Claude-3.5來(lái)說(shuō),在拉丁語(yǔ)字母表上,其平均準(zhǔn)確性要高于兒童并接近成人;但當(dāng)題目換成希臘字母,準(zhǔn)確性就會(huì)顯著下降;而到了符號(hào)時(shí),其準(zhǔn)確性甚至不如孩童。而其他開(kāi)源模型如Llama-3.1 405B和Gemma-2 27B,其準(zhǔn)確性下降更為明顯[3]。

打開(kāi)網(wǎng)易新聞 查看精彩圖片
打開(kāi)網(wǎng)易新聞 查看精彩圖片

?圖4:不同大模型和人類(lèi)在三類(lèi)字符串類(lèi)比中的表現(xiàn)對(duì)比. 圖源:[3]

上述結(jié)果說(shuō)明,當(dāng)實(shí)驗(yàn)引入“異構(gòu)”字母表時(shí),人類(lèi)甚至兒童仍然能夠解決問(wèn)題,而大模型則會(huì)出錯(cuò)。一個(gè)能夠真正理解和類(lèi)比的系統(tǒng),應(yīng)該在變化的情況下也能保持高性能——這正是GPT系列大模型不具備的能力。

讀者也許會(huì)好奇,其他推理大模型能否回答這樣的問(wèn)題。筆者簡(jiǎn)單嘗試了一下,在DeepSeek官方的全尺寸R1及V3模型,以及阿里通義千問(wèn)的QwQ 32B推理模型中,對(duì)于多次替換后的虛構(gòu)字母表,模型能夠正確回答,并給出符合人類(lèi)思考過(guò)程的推理過(guò)程的。

但當(dāng)DeepSeek模型變?yōu)檎麴sQwen或lamma的32B、14B、8B或1.5B尺寸時(shí),筆者有限的幾次觀(guān)察發(fā)現(xiàn),模型都呈現(xiàn)出過(guò)度思考的特征,即會(huì)在思考過(guò)程中嘗試眾多過(guò)于復(fù)雜的模式,展示數(shù)萬(wàn)token的繁雜思考過(guò)程,最終仍然給出了錯(cuò)誤的回答。筆者還遇到在思考過(guò)程中,已經(jīng)發(fā)現(xiàn)正確答案,但又在接下來(lái)的思考過(guò)程中,大模型將其否決的案例。

筆者認(rèn)為,基于強(qiáng)化學(xué)習(xí)的大模型能否進(jìn)行類(lèi)比,還需要進(jìn)一步的定量研究,以考察不同尺寸模型的準(zhǔn)確度。例如,對(duì)于模型將問(wèn)題過(guò)度復(fù)雜化的傾向,可以根據(jù)思考過(guò)程,對(duì)模型的錯(cuò)誤進(jìn)行進(jìn)一步的分類(lèi),以此或可創(chuàng)建出一個(gè)評(píng)估一般思維能力的考核指標(biāo)。

此外,還可以組合字符串類(lèi)比的6個(gè)變種,設(shè)計(jì)更多的題目,例如在字母表中包含數(shù)字、英文字母、漢字及符號(hào),這樣的改變或許對(duì)人類(lèi)不會(huì)影響準(zhǔn)確性,但可能會(huì)導(dǎo)致大模型的準(zhǔn)確度下降。同時(shí),還需要考察推理模型對(duì)于這類(lèi)問(wèn)題的思考時(shí)所用的token數(shù)量,從而減少計(jì)算成本。

大模型能理解推理規(guī)則嗎?

除了字母表推理,還可以使用數(shù)字矩陣類(lèi)問(wèn)題(分析數(shù)字模式以確定缺失的數(shù)字)。數(shù)字矩陣測(cè)試的設(shè)計(jì)思路源于經(jīng)典的瑞文漸進(jìn)矩陣測(cè)試(Raven's Progressive Matrices),這是一種廣泛用于測(cè)量抽象推理能力的非語(yǔ)言智力測(cè)試。相比之前字母表類(lèi)比中改變問(wèn)題的表現(xiàn)形式,數(shù)字矩陣問(wèn)題通過(guò)組合規(guī)則,考察了大模型所謂的推理能力是真正的抽象理解還是模式匹配。

這類(lèi)問(wèn)題中,涉及的基礎(chǔ)規(guī)則有4種,題目由這些基礎(chǔ)規(guī)則組合而成:

打開(kāi)網(wǎng)易新聞 查看精彩圖片

研究者對(duì)原始數(shù)字矩陣測(cè)試進(jìn)行了兩個(gè)關(guān)鍵變化:空白位置變化(將空白位置變?yōu)榫仃嚨钠渌恢?如[1,3]或[2,2])和規(guī)則復(fù)雜度變化(設(shè)計(jì)了不同復(fù)雜度級(jí)別的矩陣問(wèn)題,從簡(jiǎn)單到復(fù)雜)[2]。

打開(kāi)網(wǎng)易新聞 查看精彩圖片

?圖5:涉及到多個(gè)規(guī)則的數(shù)字矩陣推理問(wèn)題以及將數(shù)字換為符號(hào)的數(shù)字矩陣推理問(wèn)題. 圖源:[2]

結(jié)果顯示,僅改變空白位置這一表面特征,就導(dǎo)致GPT模型表現(xiàn)大幅下滑。盡管GPT-4在標(biāo)準(zhǔn)測(cè)試中接近人類(lèi)表現(xiàn)(83% vs 87%);但在變體測(cè)試中,GPT-4的表現(xiàn)下降幅度(26%)遠(yuǎn)大于人類(lèi)(4%)[2]。這意味著,即使是最先進(jìn)的模型也表現(xiàn)出對(duì)格式變化的高度敏感性,同樣表明了大模型的推理能力不那么魯棒。

打開(kāi)網(wǎng)易新聞 查看精彩圖片

?圖6:數(shù)字矩陣推理問(wèn)題的準(zhǔn)確度. 圖源:[2]

在數(shù)字矩陣問(wèn)題中,當(dāng)缺失數(shù)字的位置改變時(shí),GPT 模型的表現(xiàn)顯著下降。這表明了大模型不僅不理解題目考察的是什么,更沒(méi)有理解進(jìn)行類(lèi)比所依賴(lài)的規(guī)則。其在單一規(guī)則或原始字母表上的優(yōu)異表現(xiàn),依賴(lài)于題目與示例之間在的表面相似性,而非更深層次的因果推理。

與之類(lèi)似的,還包括下面的矩陣變換問(wèn)題。一項(xiàng)研究通過(guò)簡(jiǎn)化版ARC(抽象與推理語(yǔ)料庫(kù))任務(wù)對(duì)比了不同年齡人類(lèi)(兒童與成人)和大型語(yǔ)言模型的視覺(jué)類(lèi)比推理表現(xiàn),結(jié)果同樣發(fā)現(xiàn)人類(lèi)在復(fù)雜任務(wù)中顯著優(yōu)于大模型,而大模型常依賴(lài)復(fù)制或矩陣組合策略,缺乏抽象概念理解能力[4]。

打開(kāi)網(wǎng)易新聞 查看精彩圖片
打開(kāi)網(wǎng)易新聞 查看精彩圖片

?圖6: 給人類(lèi)和大模型的視覺(jué)類(lèi)比推理問(wèn)題示例,以及不同推理規(guī)則對(duì)應(yīng)題目的大模型與人類(lèi)的準(zhǔn)確度對(duì)比. 圖源:[4]

在基于常識(shí)的文科推理上,

大模型表現(xiàn)如何?

上述兩類(lèi)類(lèi)比問(wèn)題都可以算是“理科題目”,對(duì)于“文科生”的大模型,或許確實(shí)有些難了。相比之下,故事類(lèi)比則主要考察大模型基于常識(shí)的類(lèi)比能力。

這類(lèi)題目通常給出1個(gè)幾句話(huà)組成的短故事,然后要求參與者判斷故事1和故事A或B哪一個(gè)更為相似,即識(shí)別短故事之間的相似性,并從多個(gè)選項(xiàng)中選擇最符合類(lèi)比關(guān)系的答案。

打開(kāi)網(wǎng)易新聞 查看精彩圖片

?圖7:相似故事的類(lèi)比判斷,題目的故事是一個(gè)吃不到葡萄說(shuō)葡萄酸的騾子版本,故事A將主角換成了一個(gè)女孩,而在故事B中,主角沒(méi)有獲得相似的東西,是由于不喜歡而非拿不到. 圖源:[2]

在Lewis & Mitchell的研究中,他們嘗試了兩種變體:一是隨機(jī)打亂答案選項(xiàng)的順序,二是保持核心關(guān)系不變,但重寫(xiě)故事的表述方式[2]。

在故事類(lèi)比中,GPT-4 傾向于更頻繁地選擇第一個(gè)給出的答案作為正確答案,而人類(lèi)則不受答案順序的影響。此外,對(duì)于大模型,將故事用不同的話(huà)重述,也會(huì)降低在故事類(lèi)比問(wèn)題上的準(zhǔn)確性[2]。

打開(kāi)網(wǎng)易新聞 查看精彩圖片

?圖8:文字類(lèi)比問(wèn)題上大模型的表現(xiàn)差異. 圖源:[2]

故事類(lèi)比更接近自然語(yǔ)言處理的實(shí)際應(yīng)用場(chǎng)景,但研究結(jié)果卻表明即使在語(yǔ)言模型的"主場(chǎng)"上,它們的類(lèi)比推理能力仍然缺乏真正的靈活性和魯棒性,過(guò)度依賴(lài)于表面特征與特定的答案格式,而非深層理解抽象關(guān)系。

為此,筆者也設(shè)想了一種判別方式,例如對(duì)比大模型和人類(lèi)回答這類(lèi)問(wèn)題的準(zhǔn)確性??梢陨珊芏嘟M類(lèi)比問(wèn)題,并招募讀過(guò)相關(guān)小說(shuō)的普通人,以獲取大眾認(rèn)知中的一般性回答,然后對(duì)比不同大模型和人類(lèi)回答的差異性。

通過(guò)設(shè)置不同的細(xì)分問(wèn)題,可以考察大模型與人類(lèi)在類(lèi)比能力方面的相似度及價(jià)值觀(guān)對(duì)齊情況。

- 跨文體類(lèi)比能力:在風(fēng)格差異較大的作品間,如中文的金庸武俠或《紅樓夢(mèng)》與英文的《哈利波特》,大模型的類(lèi)比準(zhǔn)確性能否達(dá)到人類(lèi)水平?

- 角色理解差異:大模型在處理男性和女性角色類(lèi)比時(shí),是否存在準(zhǔn)確性差異?

- 群體偏好特征:大模型的類(lèi)比偏好是否更接近特定人群(如不同性別、年齡段的人群)?

- 邏輯遞推性:大模型的類(lèi)比是否具有傳遞性特征(即當(dāng)A>B且B>C時(shí),是否必然推導(dǎo)出A>C)?

打開(kāi)網(wǎng)易新聞 查看精彩圖片

?圖9:大模型能夠在跨越文學(xué)作品進(jìn)行類(lèi)比嗎?本文作者與DeepSeek對(duì)話(huà)截圖,其中前一道基本不會(huì)存在爭(zhēng)議的人物類(lèi)比,以及后一道可能存在回答差異的人物類(lèi)比題目。

除了上述假想的對(duì)復(fù)雜人物性格的類(lèi)比,還有研究測(cè)試了大模型在無(wú)預(yù)設(shè)條件下將抽象概念(如pull、flee)與空間符號(hào)(上下左右)進(jìn)行類(lèi)比推理的能力,結(jié)果顯示,大模型和人類(lèi)的相似性不算高[5]。不過(guò)考慮到這項(xiàng)研究強(qiáng)行要求將抽象概念(給定單詞)和方位對(duì)應(yīng)缺少現(xiàn)實(shí)意義,這里就不詳細(xì)論述。

打開(kāi)網(wǎng)易新聞 查看精彩圖片

?圖10:大模型對(duì)抽象概念和人類(lèi)類(lèi)比的準(zhǔn)確性評(píng)估.圖源:[5]

提升大模型類(lèi)比能力,還任重道遠(yuǎn)

基于以上研究發(fā)現(xiàn),我們大致可以得到一個(gè)結(jié)論:聲稱(chēng)大語(yǔ)言模型已具備一般推理能力或許為時(shí)過(guò)早。

盡管早期研究中大模型在特定任務(wù)上表現(xiàn)良好,但當(dāng)測(cè)試難度提升時(shí),它們的表現(xiàn)就不穩(wěn)定了。一個(gè)模型在一組特定任務(wù)上表現(xiàn)良好,并不意味著它具有魯棒性。之前有研究表明,在面對(duì)數(shù)學(xué)應(yīng)用題時(shí),只是更換題目中的人名,大模型的解答準(zhǔn)確度都會(huì)明顯下降,而增加無(wú)關(guān)的背景論述時(shí),模型的性能下降則更加明顯[6]。

這一發(fā)現(xiàn)對(duì)于在教育、法律和醫(yī)療等關(guān)鍵決策領(lǐng)域應(yīng)用人工智能敲響了警鐘,人工智能可以是一個(gè)強(qiáng)大的工具,但它還不能取代人類(lèi)的思考和推理。例如,在教育領(lǐng)域,大模型生成的比喻確實(shí)能為教學(xué)提供幫助;然而,如果缺乏專(zhuān)業(yè)人士的審核與修正,這些類(lèi)比可能存在潛在風(fēng)險(xiǎn)。

打開(kāi)網(wǎng)易新聞 查看精彩圖片

?Micha Huigen

因此,研究人員需要開(kāi)發(fā)和實(shí)施穩(wěn)健性測(cè)試,以適應(yīng)問(wèn)題或情況中細(xì)微變化的能力。新的穩(wěn)健性測(cè)試應(yīng)包括一組公認(rèn)的標(biāo)準(zhǔn)化任務(wù),用以評(píng)估 AI 系統(tǒng)以及人類(lèi)如何適應(yīng)新情況。在實(shí)踐中,大模型常會(huì)遇到之前分析數(shù)據(jù)中未曾遇到的新情況和挑戰(zhàn),而穩(wěn)健性測(cè)試將為用戶(hù)提供衡量大型語(yǔ)言模型可信度的方式。

與此同時(shí),24年的機(jī)器學(xué)習(xí)頂會(huì)ICLR的一項(xiàng)研究展示了另一個(gè)發(fā)展方向:通過(guò)類(lèi)比推理框架,讓大模型自動(dòng)生成新的規(guī)則來(lái)應(yīng)對(duì)未知場(chǎng)景[7]。這種基于提示詞工程的方法在多個(gè)測(cè)試基準(zhǔn)上都取得了顯著性能提升,表明提升大模型的類(lèi)比能力不僅是評(píng)估其穩(wěn)健性的重要維度,更是增強(qiáng)模型泛化能力的關(guān)鍵路徑。這兩種方法相輔相成,共同推動(dòng)著大模型向更可靠、更智能的方向發(fā)展。

展望未來(lái),大模型類(lèi)比思維的研究,或可從中國(guó)傳統(tǒng)中汲取靈感。中國(guó)古典文學(xué)中的對(duì)聯(lián)與律詩(shī),本質(zhì)上就是一種精妙的類(lèi)比系統(tǒng),其中蘊(yùn)含著嚴(yán)謹(jǐn)?shù)膶?duì)應(yīng)規(guī)則和豐富的語(yǔ)義關(guān)聯(lián)。通過(guò)這些結(jié)構(gòu)化的語(yǔ)言數(shù)據(jù)集對(duì)大模型進(jìn)行微調(diào),可能為增強(qiáng)其類(lèi)比推理能力開(kāi)辟新途徑。

就像中文指令微調(diào)數(shù)據(jù)集 COIG-CQIA,為了提升模型在編程及數(shù)學(xué)問(wèn)題上的表現(xiàn),也曾使用了中文互聯(lián)網(wǎng)社區(qū)數(shù)據(jù)“弱智吧”的標(biāo)題作為訓(xùn)練指令。這些來(lái)自不同領(lǐng)域的實(shí)踐表明,結(jié)構(gòu)化的類(lèi)比思維模式,無(wú)論是傳統(tǒng)文學(xué)還是現(xiàn)代網(wǎng)絡(luò)社群數(shù)據(jù)集,都可能成為提升人工智能認(rèn)知能力的重要工具。

畢竟,類(lèi)比思維的本質(zhì)是通用的。

[1] Taylor Webb, Keith J. Holyoak, and Hongjing Lu. Emergent analogical reasoning in large language models. Nature Human Behaviour, 7(9):1526–1541, 2023.

[2] Lewis, Martha & Mitchell, Melanie. (2024). Evaluating the Robustness of Analogical Reasoning in Large Language Models. 10.48550/arXiv.2411.14215.

[3] Stevenson CE, Pafford A, van der Maas HLJ, Mitchell M. (2024). Can large language models generalize analogy solving like children can? arXiv.2411.02348v1.

[4] Opie?ka GJ, Rosenbusch H, Vijverberg VP, Stevenson CE. Do large language models solve ARC visual analogies like people do? [Internet]. arXiv.org. 2024 May 13 [cited 2025 Apr 2]. Available from: https://arxiv.org/pdf/2403.09734v2

[5] Wicke, P., Hirlimann, L., & Cunha, J. M. (2024). Using Analogical Reasoning to Prompt LLMs for their Intuitions of Abstract Spatial Schemas. Retrieved from https://analogy-angle.github.io/assets/Wicke.pdf

[6] Mirzadeh S I, Alizadeh K, Shahrokhi H, Tuzel O, Bengio S, Farajtabar M. GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models. *arXiv preprint arXiv:2410.05229*. 2024.

[7] Yasunaga M, Chen X, Li Y, Pasupat P, Leskovec J, Liang P, Chi EH, Zhou D. Large language models as analogical reasoners. In *International Conference on Learning Representations (ICLR)* 2024.

打開(kāi)網(wǎng)易新聞 查看精彩圖片
打開(kāi)網(wǎng)易新聞 查看精彩圖片
打開(kāi)網(wǎng)易新聞 查看精彩圖片
打開(kāi)網(wǎng)易新聞 查看精彩圖片

關(guān)于追問(wèn)nextquestion

天橋腦科學(xué)研究院旗下科學(xué)媒體,旨在以科學(xué)追問(wèn)為紐帶,深入探究人工智能與人類(lèi)智能相互融合與促進(jìn),不斷探索科學(xué)的邊界。如果您有進(jìn)一步想要討論的內(nèi)容,歡迎評(píng)論區(qū)留言,或后臺(tái)留言“社群”即可加入社群與我們互動(dòng)。

關(guān)于天橋腦科學(xué)研究院

天橋腦科學(xué)研究院(Tianqiao and Chrissy Chen Institute)是由陳天橋、雒芊芊夫婦出資10億美元?jiǎng)?chuàng)建的世界最大私人腦科學(xué)研究機(jī)構(gòu)之一,圍繞全球化、跨學(xué)科和青年科學(xué)家三大重點(diǎn),支持腦科學(xué)研究,造福人類(lèi)。

Chen Institute與華山醫(yī)院、上海市精神衛(wèi)生中心設(shè)立了應(yīng)用神經(jīng)技術(shù)前沿實(shí)驗(yàn)室、人工智能與精神健康前沿實(shí)驗(yàn)室;與加州理工學(xué)院合作成立了加州理工天橋神經(jīng)科學(xué)研究院。

Chen Institute建成了支持腦科學(xué)和人工智能領(lǐng)域研究的生態(tài)系統(tǒng),項(xiàng)目遍布?xì)W美、亞洲和大洋洲,包括、、、科研型臨床醫(yī)生獎(jiǎng)勵(lì)計(jì)劃、、等。