本文有三位共同第一作者，分別為 Zhining Zhang（張芷寧）、Chuanyang Jin（金川楊）、Mung Yao Jia。他們在約翰霍普金斯大學(xué) Social Cognitive AI Lab 共同完成這篇論文。本文的指導(dǎo)老師為 Tianmin Shu（舒天民），是 JHU Social Cognitive AI Lab 的主任。該實(shí)驗(yàn)室致力于構(gòu)建能夠在現(xiàn)實(shí)世界中理解、推理和與人類互動的社會智能系統(tǒng)，從而推進(jìn)以人為中心的 AI。
如何讓 AI 像人一樣思考？如何擁有像人一樣的認(rèn)知能力和社會能力？
心智能力（Theory of Mind, ToM）是指通過觀察他人的行為來理解他們內(nèi)心想法的能力，這一能力對開發(fā)具備社會智能的智能體至關(guān)重要。
近日，來自JHU 的研究團(tuán)隊提出了 AutoToM，一種全自動、開放式的心智推理方法。作為首個面向開放場景的 model-based ToM 方法，以類似人類的思維模式，AutoToM 在 5 個基準(zhǔn)測試中都取得了最好成績，并展現(xiàn)出良好的可擴(kuò)展性、魯棒性以及可解釋性。
- 論文標(biāo)題：AutoToM: Automated Bayesian Inverse Planning and Model Discovery for Open-ended Theory of Mind
- 論文地址:https://arxiv.org/abs/2502.15676
- 項目主頁:https://chuanyangjin.com/AutoToM/
- 代碼地址:https://github.com/SCAI-JHU/AutoToM
基于模型的心智推理
當(dāng)前在實(shí)現(xiàn)心智能力的推理方面主要有兩種方法：
- 使用大型語言模型（LLM）來推理他人的心理狀態(tài)。然而，即使使用了換位思考、變化追蹤和時空推理等提示策略，LLM 在復(fù)雜情境中仍然會出現(xiàn)系統(tǒng)性的錯誤。
- 采用基于模型的推理方法。特別是貝葉斯逆向規(guī)劃（Bayesian Inverse Planning, BIP）。BIP 假設(shè) agent 會根據(jù)一個貝葉斯心智模型（Bayesian Theory of Mind, BToM）做出理性行為。這個模型使用 MDP、POMDP、I-POMDP 等給定框架描述 observation、belief、action、goal 等心理變量之間的依賴關(guān)系，來模擬 agent 做出行為的過程。BIP 通過逆推這個生成過程，來判斷哪些潛在心理狀態(tài)可能導(dǎo)致我們觀察到的行為。
JHU 該團(tuán)隊之前的論文（ACL 2024 杰出論文獎）將 BIP 和 LLM 結(jié)合，以實(shí)現(xiàn)既具可擴(kuò)展性又穩(wěn)健的模型化心智推理。這類方法更加穩(wěn)健，在特定領(lǐng)域中相較于直接使用 LLM 有明顯優(yōu)勢，但它們依賴的是固定、人工設(shè)計的模型，沒有辦法泛化到不同的領(lǐng)域。
不同基準(zhǔn)測試中的示例問題及其所需的 BToM 模型。
AutoToM
第一個適應(yīng)開放場景的 model-based ToM 方法
AutoToM 引入了一種全新范式。它是一種完全自動化、開放式的基于模型的 ToM 推理方法。AutoToM 實(shí)現(xiàn)了對貝葉斯逆向規(guī)劃的全流程自動化，包括模型結(jié)構(gòu)的提出與調(diào)整、關(guān)鍵時間點(diǎn)的識別、假設(shè)的生成以及貝葉斯推理的執(zhí)行。
它無需任何領(lǐng)域知識，可在任意情境中運(yùn)行，能夠推斷任何心理狀態(tài)，推理涉及任意數(shù)量的智能體，并支持任意層級的遞歸推理。這體現(xiàn)了團(tuán)隊對一種開放、通用且穩(wěn)健的機(jī)器心理理論的愿景。
AutoToM 的流程圖。X 是已知的可觀測變量，V 是潛在的心理變量，q 表示問題中查詢的變量。ts:t 表示用于推理的信息來自 ts 到 t 的時間段。變量 s、o、b、a、g 分別表示 state、observation、belief、action、goal，圖中的實(shí)線箭頭表示模型中它們的依賴關(guān)系。
全自動的貝葉斯逆向規(guī)劃
給定一個貝葉斯心智理論模型（BToM）中，我們引入大語言模型（LLM）作為計算后端，用于實(shí)現(xiàn)貝葉斯逆向規(guī)劃（BIP）的各個關(guān)鍵環(huán)節(jié)。
假設(shè)采樣（Hypothesis Sampling）
傳統(tǒng)的 BIP 方法通常依賴人為設(shè)定的假設(shè)空間，以及為每個潛在心理變量指定具體的假設(shè)表示方式。而我們的假設(shè)采樣模塊則利用 LLM，根據(jù)上下文中可觀測變量及其取值，生成一小集合的高質(zhì)量假設(shè)。隨后，我們還會通過假設(shè)篩選機(jī)制，去除不太可能的假設(shè)，從而壓縮假設(shè)空間。
貝葉斯推理（Bayesian Inference）
我們使用 LLM 來估計 BToM 模型中每個局部條件概率。接著，通過對非目標(biāo)潛在變量進(jìn)行邊緣化，我們得到目標(biāo)變量的后驗(yàn)概率。與以往方法相比，我們的方法具有更強(qiáng)的通用性：支持任意結(jié)構(gòu)的 BToM 模型，能夠同時考慮多個潛在變量，并支持任意層級的高階的心智推理。
在給定的 BToM 模型下，AutoToM 進(jìn)行全自動的貝葉斯逆向規(guī)劃。
全自動的模型發(fā)現(xiàn)與改進(jìn)
之前的方法依賴于人工設(shè)計的 BToM 模型，這限制了它們在特定領(lǐng)域外的適用性。相比之下，AutoToM 能夠自動提出模型，并動態(tài)調(diào)整模型結(jié)構(gòu)，從而在推理過程中兼顧有效性（即準(zhǔn)確地推斷出智能體的心理狀態(tài)）和高效性（即盡可能簡化模型和計算復(fù)雜度）。
信息提取
信息提取模塊會處理給定的信息，識別可觀測變量的取值，包括狀態(tài)、動作和言語等信息，并按時間順序組織。
提出初始模型
我們使用 LLM 根據(jù)已有的信息和任務(wù)提出一個初始的 BToM 模型?；谠撃Ｐ停覀儓?zhí)行自動化的 BIP。如果該模型的效用超過某個閾值，我們便接受該模型的推理結(jié)果，否則將進(jìn)行后續(xù)的模型調(diào)整。
模型調(diào)整
我們通過兩種方式迭代式地優(yōu)化初始模型：變量調(diào)整和時間節(jié)點(diǎn)調(diào)整。
- 變量調(diào)整：在某個具體時間點(diǎn)上，我們會引入新的、相關(guān)的潛變量來擴(kuò)展模型結(jié)構(gòu)，從而緩解推理過程中的不確定性。每引入一個變量，我們都會重新計算模型效用，并選擇提升效用最大的修改方案進(jìn)行保留。
- 時間節(jié)點(diǎn)調(diào)整：以往的研究通常假設(shè)所有歷史都是相關(guān)的，而 AutoToM 能夠在上下文中發(fā)現(xiàn)相關(guān)的歷史信息，這種能力對于 AutoToM 在長上下文環(huán)境中成功進(jìn)行心理理論推理并降低計算成本至關(guān)重要。從最小的時間范圍開始，如果在當(dāng)前的時間范圍內(nèi)，變量調(diào)整仍無法顯著提升模型效用，我們會考慮加入新的時間節(jié)點(diǎn)以引入更多上下文信息。在考慮新的時間節(jié)點(diǎn)后，會在此基礎(chǔ)上繼續(xù)執(zhí)行變量調(diào)整。
AutoToM 通過在變量調(diào)整和時間節(jié)點(diǎn)調(diào)整之間交替進(jìn)行，自動優(yōu)化 BToM 模型。
自動適應(yīng)情境，橫掃五大基準(zhǔn)測試
該團(tuán)隊在 ToMi、BigToM、MMToM-QA、MuMA-ToM 和 Hi-ToM 五個測試基準(zhǔn)上進(jìn)行了測試。這些基準(zhǔn)覆蓋了不同的心理變量、環(huán)境、agent 數(shù)量、有無語言表達(dá)、措辭風(fēng)格以及模態(tài)類型。
與 AutoToM 不同，許多近年來的 ToM 方法只能應(yīng)用于特定的基準(zhǔn)測試。而在通用的方法中，AutoToM 在所有基準(zhǔn)測試中都取得了最優(yōu)的表現(xiàn)。
AutoToM 和 baselines 在所有基準(zhǔn)測試上的表現(xiàn)。
本文的消融研究突出了 AutoToM 在變量調(diào)整、時間步調(diào)整和假設(shè)減少方面的優(yōu)勢。AutoToM 能夠構(gòu)建一個合適的模型，該模型不僅支持豐富的 ToM 推理，還能減少計算量，在準(zhǔn)確性和成本之間取得平衡。
AutoToM 及其消融方法在所有基準(zhǔn)測試中的平均正確率與計算量。
總結(jié)和展望
總的來說，AutoToM 是一個 ToM 推理任務(wù)的新穎框架。面對任何 ToM 推理問題，AutoToM 都可以自動構(gòu)建一個合適的 BToM 模型，并借助 LLM 執(zhí)行自動的貝葉斯逆向規(guī)劃。
AutoToM 在所有測試上取得了最好的結(jié)果，這是因?yàn)?BIP 在面對復(fù)雜環(huán)境和較長上下文時可以穩(wěn)健地推理。此外，AutoToM 具有可解釋性，能夠通過其發(fā)現(xiàn)的概率模型來解釋模型的判斷過程。
該論文為實(shí)現(xiàn)更具人類思維特征的推理方式，以及構(gòu)建具有人類認(rèn)知基礎(chǔ)、具備可擴(kuò)展性、穩(wěn)健性和開放性的心理能力模型，指明了一個有前景的方向。該論文也引發(fā)了關(guān)于 inference-time compute，以及可擴(kuò)展的 model-based inference 的廣泛討論。
熱門跟貼