近日，上海人工智能實(shí)驗(yàn)室（上海 AI 實(shí)驗(yàn)室）開源了生成式世界模型 AETHER。該模型全部由合成數(shù)據(jù)訓(xùn)練而成，不僅在傳統(tǒng)重建與生成任務(wù)中表現(xiàn)領(lǐng)先，更首次賦予大模型在真實(shí)世界中的 3D 空間決策與規(guī)劃能力，可助力機(jī)器人完成目標(biāo)導(dǎo)向的視覺規(guī)劃、4D 動(dòng)態(tài)重建、動(dòng)作條件的視頻預(yù)測等復(fù)雜任務(wù)。
研究團(tuán)隊(duì)將幾何重建與生成式建模深度融合，首創(chuàng)「重建 — 預(yù)測 — 規(guī)劃」 一體化框架，通過 AETHER 使大模型能夠感知周圍環(huán)境，理解物體之間的位置、運(yùn)動(dòng)和因果關(guān)系，從而做出更智能的行動(dòng)決策。
實(shí)驗(yàn)表明，傳統(tǒng)世界模型通常聚焦于 RGB 圖像的預(yù)測而忽略了背后隱含的幾何信息，引入空間建模后，各項(xiàng)指標(biāo)均顯著提升，其中視頻一致性指標(biāo)提升約 4%。更重要的是，即使只使用合成數(shù)據(jù)進(jìn)行訓(xùn)練，模型在真實(shí)環(huán)境中依然展現(xiàn)出強(qiáng)大的零樣本泛化能力。
論文與模型已經(jīng)同步開源。
- 論文標(biāo)題：AETHER: Geometric-Aware Unified World Modeling
- 論文鏈接：https://arxiv.org/abs/2503.18945
- 項(xiàng)目主頁：https://aether-world.github.io
三大核心技術(shù)
攻克動(dòng)態(tài)環(huán)境中的智能決策困境
傳統(tǒng)世界模型主要應(yīng)用于自動(dòng)駕駛與游戲開發(fā)等領(lǐng)域，通過其豐富的動(dòng)作標(biāo)簽來預(yù)測接下來的視覺畫面。
但由于缺乏對真實(shí)三維空間的建模能力，這容易導(dǎo)致模型預(yù)測結(jié)果出現(xiàn)不符合物理規(guī)律的現(xiàn)象。同時(shí)，由于依賴且缺乏真實(shí)數(shù)據(jù)，面對更復(fù)雜多變的場景時(shí)，其泛化能力也明顯不足。
針對以上問題，研究團(tuán)隊(duì)提出了生成式世界模型 AETHER，基于三維時(shí)空建模，通過引入并構(gòu)建幾何空間，大幅提升了模型空間推理的準(zhǔn)確性與一致性。
具體而言，研究團(tuán)隊(duì)利用海量仿真 RGBD 數(shù)據(jù)，開發(fā)了一套完整的數(shù)據(jù)清洗與動(dòng)態(tài)重建流程，并標(biāo)注了豐富的動(dòng)作序列。同時(shí)，他們提出一種多模態(tài)數(shù)據(jù)的動(dòng)態(tài)融合機(jī)制，首次將動(dòng)態(tài)重建、視頻預(yù)測和動(dòng)作規(guī)劃這三項(xiàng)任務(wù)融合在一個(gè)統(tǒng)一的框架中進(jìn)行優(yōu)化，從而實(shí)現(xiàn)了真正的一體化多任務(wù)協(xié)同，大幅提高了模型的穩(wěn)定性與魯棒性。
面對復(fù)雜多變的現(xiàn)實(shí)世界，如何讓具身智能系統(tǒng)實(shí)現(xiàn)可靠、高效的決策是人工智能領(lǐng)域的一項(xiàng)重大挑戰(zhàn)。研究團(tuán)隊(duì)在AETHER 框架中通過三項(xiàng)關(guān)鍵技術(shù)突破，顯著提升了具身系統(tǒng)在動(dòng)態(tài)環(huán)境中的感知、建模與決策能力。
- 目標(biāo)導(dǎo)向視覺規(guī)劃：可根據(jù)起始與目標(biāo)場景，自動(dòng)生成一條實(shí)現(xiàn)視覺目標(biāo)的合理路徑，并以視頻形式呈現(xiàn)全過程。通過聯(lián)合優(yōu)化重建與預(yù)測目標(biāo)，AETHER 內(nèi)嵌空間幾何先驗(yàn)知識，使生成結(jié)果兼具物理合理性。這使得具身智能系統(tǒng)能像人類一樣「看路規(guī)劃」—— 通過攝像頭觀察環(huán)境后，自動(dòng)生成既安全又符合物理規(guī)律的行動(dòng)路線。
- 4D 動(dòng)態(tài)重建：通過自動(dòng)標(biāo)注流水線，構(gòu)建合成 4D 數(shù)據(jù)集，無需真實(shí)世界數(shù)據(jù)即可實(shí)現(xiàn)零樣本遷移，精準(zhǔn)捕捉并重建時(shí)空環(huán)境的動(dòng)態(tài)變化。例如，輸入一段街景視頻，系統(tǒng)即可重建包含時(shí)間維度的三維場景模型，精確呈現(xiàn)行人行走、車輛運(yùn)動(dòng)等動(dòng)態(tài)過程，建模精度可達(dá)毫米級。
自動(dòng)相機(jī)標(biāo)注 pipeline。
- 動(dòng)作條件視頻預(yù)測：創(chuàng)新性地采用相機(jī)軌跡作為全局動(dòng)作表征，可直接基于初始視覺觀察和潛在動(dòng)作，預(yù)測未來場景的變化趨勢。相當(dāng)于給具身智能系統(tǒng)裝上了預(yù)測未來的「鏡頭」。
可零樣本泛化至真實(shí)場景
不同于傳統(tǒng)僅預(yù)測圖像變化的世界模型，AETHER 不僅能同時(shí)完成四維時(shí)空的重建與預(yù)測，還支持由動(dòng)作控制驅(qū)動(dòng)的場景推演與路徑規(guī)劃。值得強(qiáng)調(diào)的是，該方法完全在虛擬數(shù)據(jù)上訓(xùn)練，即可實(shí)現(xiàn)對真實(shí)世界的零樣本泛化，展現(xiàn)出強(qiáng)大的跨域遷移能力。
具體流程如下圖所示，圖中黃色、藍(lán)色和紅色分別表示圖像、動(dòng)作與深度的潛在變量，灰色表示噪聲項(xiàng)，白色框?yàn)榱闾畛鋮^(qū)域。模型通過組合不同的條件輸入（如觀察幀、目標(biāo)幀和動(dòng)作軌跡），結(jié)合擴(kuò)散過程，實(shí)現(xiàn)對多種任務(wù)的統(tǒng)一建模與生成。
就像在拼一副完整的動(dòng)態(tài)拼圖，觀察幀提供了「現(xiàn)在的樣子」，目標(biāo)幀給出了「未來的樣子」，動(dòng)作軌跡則是「怎么從這里走到那里」，而擴(kuò)散過程則像是拼圖的拼接邏輯，把這些零散信息有序組合起來，最終還原出一個(gè)連續(xù)、合理且可預(yù)測的時(shí)空過程。
為了支持同時(shí)完成重建、預(yù)測和規(guī)劃這三類不同任務(wù)，AETHER 設(shè)計(jì)了一種統(tǒng)一的多任務(wù)框架，首次實(shí)現(xiàn)在同一個(gè)系統(tǒng)中整合動(dòng)態(tài)重建、視頻預(yù)測和動(dòng)作規(guī)劃。
其核心在于：能夠融合圖像、動(dòng)作、深度等多模態(tài)信息，建立一個(gè)跨模態(tài)共享的時(shí)空一致性建?？臻g，實(shí)現(xiàn)不同任務(wù)在同一認(rèn)知基礎(chǔ)上的協(xié)同優(yōu)化。
實(shí)驗(yàn)結(jié)果
在多個(gè)實(shí)驗(yàn)任務(wù)中，AETHER 在動(dòng)態(tài)場景重建方面已達(dá)到甚至超過現(xiàn)有 SOTA 水平。同時(shí)發(fā)現(xiàn)在多任務(wù)框架下，各個(gè)任務(wù)有很好的促進(jìn)，尤其在動(dòng)作跟隨的準(zhǔn)確度上面有較大的提升。
該方法有望為具身智能大模型在數(shù)據(jù)增強(qiáng)、路徑規(guī)劃以及基于模型的強(qiáng)化學(xué)習(xí)等方向研究提供技術(shù)支撐。
熱門跟貼