文 | 腦極體
圖靈獎得主楊立昆認為，目前AI界持續(xù)追捧的大語言模型并非十全十美，它隱藏著四個難以突破的致命弱點：一是理解物理世界，二是擁有持久記憶，三是具備推理能力，四是復雜規(guī)劃能力。
而能夠克服第一個“致命弱點”的技術，叫作世界模型。
這聽起來或許很抽象，但你一定知道谷歌的3D游戲、特斯拉的自動駕駛。
世界模型意味著機器能夠像人一樣辨別物理空間、理解物理規(guī)律、根據(jù)經(jīng)驗做出推理決策。
與大語言模型不同的是，世界模型不再遵循從海量文本語料生成概率的邏輯，而是在深度分析大規(guī)?，F(xiàn)實世界視頻后推測因果。
就像人類世界的嬰兒一樣，在交互學習中構建對這個世界的認知。
想象一個剛出生的嬰兒，她的眼睛尚未完全聚焦，卻能通過觸摸、溫度、聲音的碎片拼湊出世界的輪廓。人類大腦用數(shù)百萬年進化出這種能力——將感官信息轉化為對物理規(guī)律的理解。
而這恰是今天人工智能所欠缺的，世界模型正在努力發(fā)展的——從數(shù)據(jù)中重構對重力、時間等知識的理解。
世界模型的概念最早可追溯至1980s到1990s的認知科學和控制理論，那時的研究者受心理學影響，提出AI系統(tǒng)需要構建對環(huán)境的內(nèi)部模擬，從而進行預測和決策，即AI的環(huán)境建模能力。
這里有一個重要的要素：環(huán)境。
從生物學上來講，不論是微生物、動物還是人，行為都遵循著一個最基本的規(guī)則：刺激－反應模式，即生物反應是對環(huán)境刺激的直接響應。
隨著生物千億年漫長的進化，動物發(fā)展出感覺和心理，通過視覺、聽覺、嗅覺等感官感知外界，產(chǎn)生出興奮、恐懼等簡單情緒；人類進一步發(fā)展出自我意識，而人類意識和動物感覺最大的區(qū)別是能否自主規(guī)劃、有目的地進行決策和行動。
拿生物進化過程和AI的發(fā)展歷程相比，我們不難發(fā)現(xiàn)，其實AI的終極形態(tài)AGI就是要發(fā)展出自主感知現(xiàn)實、自我規(guī)劃、有目的決策的能力。
世界模型的雛形就萌芽于心理學家對人類和動物認知理解世界并做出決策的觀察。這個理論叫作心智模型，1990年由David Rumelhart提出，強調(diào)智能體需對環(huán)境形成抽象表征。
以我們自身舉例，人類大腦對周圍世界有一種習得的內(nèi)在認知框架，根據(jù)經(jīng)驗做決策，如看到烏云就聯(lián)想到下雨。再比如，我們不會記住每片樹葉的形狀，卻能瞬間判斷樹枝能否承受體重。同理，世界模型就是讓機器構建起對周圍環(huán)境和世界的理解和預測能力，比如看到火就聯(lián)想到燙傷。這種抽象能力，正是這一時期學者希望機器具有的稟賦。
但是，這階段的世界模型研究停留在理論構想階段，雖有了較為清晰的定義和目標，仍沒有具體的技術路徑。
世界模型研究開始落地是2000s到2010s的計算建模階段，隨著強化學習和深度學習的深入發(fā)展，學者開始嘗試用神經(jīng)網(wǎng)絡構建可訓練的世界模型。
強化學習通過獎懲機制讓其在與環(huán)境交互過程中不斷習得策略，類似于“訓狗”，深度學習通過分層特征提取讓其從海量數(shù)據(jù)中自動學習規(guī)律，類似于“煉金”。
2018年，DeepMind 《World Models》（Ha & Schmidhuber）論文首次用“VAE+RNN+控制器”的三段式架構，構建可預測環(huán)境的神經(jīng)網(wǎng)絡模型，成為現(xiàn)代世界模型的里程碑。
這一過程類似于“造夢”——先通過自動編碼器VAE將現(xiàn)實場景壓縮成數(shù)據(jù)，再利用RNN循環(huán)神經(jīng)網(wǎng)絡推演未來可能的情節(jié)，最后用精簡的控制器指導行動。這意味著世界模型首次具備了顱內(nèi)推演的能力，像人類一樣在行動前預判后果，大大降低了試錯成本。
2022年后，世界模型進入大模型時代，借助Transformer的序列建模能力和多模態(tài)學習技術，應用范圍從單一模態(tài)擴展到跨模態(tài)仿真，世界模型的推演也從2D走向3D（如OpenAI的GATO、DeepMind的Genie）。
近期研究如Meta的VC-1、Google的PaLM-E進一步將世界模型的概念帶入公眾視野，將世界模型與大語言模型結合以實現(xiàn)更通用的環(huán)境推理成為一種技術發(fā)展路徑。
Google的PaLM-E（5620億參數(shù)）模型成功將語言模型與視覺、傳感器數(shù)據(jù)等物理世界信息結合，機器人能夠理解復雜指令（如“撿起掉落的錘子”）并適應新環(huán)境執(zhí)行任務。Meta Llama系列的開源多模態(tài)框架（如MultiPLY）進一步促進了對物理環(huán)境的3D感知研究。
由上，從概念推演到落地實踐，世界模型在發(fā)展中逐步摸索，漸漸走出一條從混沌到清明的路。
Transformer架構的進化、多模態(tài)數(shù)據(jù)的爆發(fā)，讓世界模型走出訓練場，走進游戲場，再走向真實世界——谷歌、騰訊通過其生成逼真的游戲場景，特斯拉用神經(jīng)網(wǎng)絡預測車輛軌跡，DeepMind通過建模預測全球天氣。
就這樣，在實驗室中蹣跚學步的世界模型開始了他對現(xiàn)實物理規(guī)律的探索之路。
就像人類幼年通過游戲感受規(guī)則完成社會化一樣，世界模型的第一關也是游戲。
初期的模型應用仰賴規(guī)則明確的虛擬環(huán)境和邊界清晰的離散空間，如Atari游戲（DQN）、星際爭霸（AlphaStar），采用表格型模型（如Dyna），后期結合CNN/RNN處理圖像輸入。
進化至3D版后，谷歌DeepMind的Genie 2可通過單張圖片生成可交互的無限3D世界，時長達1min，用戶可自由探索動態(tài)環(huán)境（如地形變化、物體互動）。由騰訊、港科大、中國科大聯(lián)合推出的GameGen-O模型可一鍵生成西部牛仔、魔法師、馴獸師等游戲角色，還能以更高保真度、更復雜的物理效果生成海嘯、龍卷風、激光等各種場景。
經(jīng)過大量訓練后，世界模型由游戲過渡到工業(yè)場景。
游戲引擎的核心能力在于構建高保真、可交互的3D虛擬環(huán)境。這種能力被直接遷移到工業(yè)場景中，用于模擬工業(yè)場景中各種可能出現(xiàn)故障的復雜場景。
機器人公司波士頓動力在虛擬環(huán)境中預演機器人動作（如摔倒恢復），再遷移到實體機器；特斯拉2023年提出的世界模型直接整合了游戲引擎的仿真技術，利用合成數(shù)據(jù)訓練自動駕駛系統(tǒng)，減少對真實路測數(shù)據(jù)的依賴；蔚來的智能世界模型能夠在極短時間內(nèi)推演數(shù)百種可能情境并做好預案和決策。
最近，世界模型還走進了基礎研究領域。
DeepMind的GraphCast靠世界模型處理百萬級網(wǎng)格氣象變量，預測天氣能力比傳統(tǒng)數(shù)值模擬快1000倍，能耗降低1000倍。它通過圖神經(jīng)網(wǎng)絡架構，能夠直接從歷史再分析數(shù)據(jù)中學習天氣系統(tǒng)的復雜動力學，精準、高效預測全球天氣。
從游戲般的虛擬場景到自動駕駛等現(xiàn)實場景，世界模型的本質是通過大量多模態(tài)資料理解物理世界的規(guī)律。未來，“世界模型+大語言模型”可能成為AGI的核心架構，讓AI不僅能聊天，還能真正理解并做出決策改變現(xiàn)實世界。
不過，我們?yōu)楹涡枰澜缒Ｐ停吭诖笳Z言模型火爆全球的今天，是什么讓其顯得不可替代呢？
讓AI真正從模仿表征到感知本質，克服其各種恐怖谷效應的關鍵是：讓它真正理解這個世界，了解現(xiàn)實空間和物理規(guī)律，進而理解它為什么會做這件事，而不是機械地根據(jù)海量數(shù)據(jù)的關聯(lián)概率推測下一個token是什么。
這是基于大規(guī)模文本語料的大語言模型和不斷試錯優(yōu)化尋找最優(yōu)路徑的強化學習做不到的，只有世界模型能做到。
傳統(tǒng)AI是數(shù)據(jù)驅動型的被動反應系統(tǒng)，而世界模型通過構建內(nèi)部虛擬環(huán)境理解了物理、碰撞等現(xiàn)實規(guī)律，能夠像人類一樣通過想象預演行動后果，并在游戲、機器人等領域共享底層推理算力。
首先是通過底層建模和多模態(tài)整合構建出跟人類一樣的心智模型。外部，世界模型不僅模擬物理規(guī)律，還試圖理解社會規(guī)則和生物行為，從而在復雜場景中趨利避害。內(nèi)部，世界模型根據(jù)感知、預測、規(guī)劃和學習的協(xié)同，形成類似人類心智的時空認知能力。
其次是因果預測和反事實推理能力。世界模型能夠基于當前狀態(tài)和行動，預測未來的演變結果。其具備類似人類的常識庫，能填補缺失信息并進行反事實推理（what if），即使未直接觀察某事件，也能推斷“如果采取不同行動會如何”。這種能力使其在數(shù)據(jù)稀缺時仍能有效決策，減少對海量標注數(shù)據(jù)的依賴，在自動駕駛領域應用較多。
最后，世界模型通過自監(jiān)督學習構建對世界的通用表征，獲得了跨任務、跨場景的泛化能力，而傳統(tǒng)模型通常需針對特定領域的具體任務微調(diào)。
但是，這些能力，為什么火極一時的大語言模型做不到呢？
要弄清為什么世界模型的預測能力和大語言模型的推測token能力不一樣，我們需要弄清一個概念：相關性≠因果性。前者是概率關聯(lián)、后者是因果推理。
大語言模型（如GPT系列）側重于大數(shù)據(jù)驅動的自回歸學習，通過海量文本數(shù)據(jù)訓練模型以生成文本，本質是預測概率，而世界模型學派認為自回歸的Transformer無法通往AGI。AI需要具備真正的常識性理解能力，這些能力只能通過深度分析大量照片、音視頻等多模態(tài)數(shù)據(jù)對世界的內(nèi)在表征來獲得。
模型結構層面，大語言模型主要依賴Transformer架構，通過自注意力機制處理文本序列。世界模型則包含多個模塊，如配置器、感知、世界模型、角色等，能夠估計世界狀態(tài)、預測變化、尋找最優(yōu)方案。
通俗地講，大語言模型訓練出的文本天才是紙上談兵的文將，對常識可能一竅不通。而世界模型更像在建模環(huán)境里身經(jīng)百戰(zhàn)的武將，可以憑直覺和經(jīng)驗預判對手如何出招。
世界模型雖前景可期，目前依然面臨著一些瓶頸。
算力上，訓練世界模型所需要的計算資源遠超大語言模型，且存在“幻覺”（錯誤預測）問題；泛化能力上，如何平衡模型復雜度與跨場景適應性仍需突破；訓練集上，多模態(tài)的數(shù)據(jù)規(guī)模更少，且需深度標注，質量把關是重中之重。
如果說類似GPT一樣的大語言模型已經(jīng)到了能言善辯的青春期，世界模型實則還處于牙牙學語的幼年期。
總的來講，世界模型是深度學習之外的另一條探索道路。如果未來深度學習陷入發(fā)展瓶頸，世界模型可能是一種備選方案。但現(xiàn)階段，世界模型仍在探索期，我們?nèi)砸獙⒅餍墓欠旁诖笳Z言模型和深度學習這條技術線上。
多點發(fā)力，協(xié)同并進，才能讓AI的成長有更多道路可走。
熱門跟貼