本文的作者均來(lái)自新加坡國(guó)立大學(xué) LinS Lab。本文第一作者為新加坡國(guó)立大學(xué)博士生高崇凱，其余作者為北京大學(xué)實(shí)習(xí)生張浩卓，新加坡國(guó)立大學(xué)博士生徐志軒，新加坡國(guó)立大學(xué)碩士生蔡哲豪。本文的通訊作者為新加坡國(guó)立大學(xué)助理教授邵林。
人類具有通用的、解決長(zhǎng)時(shí)序復(fù)雜任務(wù)的規(guī)劃能力，這在我們處理生活中的復(fù)雜操作任務(wù)時(shí)很有用。這種能力可以被描述為這樣的過(guò)程：首先，人們會(huì)在面臨一個(gè)任務(wù)時(shí)思考當(dāng)前可能的動(dòng)作，然后通過(guò)想象能力預(yù)測(cè)這些步驟可能帶來(lái)的結(jié)果，最后基于常識(shí)對(duì)這些結(jié)果進(jìn)行打分，選擇最佳動(dòng)作來(lái)執(zhí)行并完成任務(wù)。這種基于世界模型的搜索算法是人類解決開(kāi)放世界操作任務(wù)的能力基礎(chǔ)。這種能力背后的核心在于，人類大腦構(gòu)建了一個(gè)關(guān)于物理世界的 “世界模型” 和一個(gè)通用的價(jià)值函數(shù)，他們模型賦予了我們對(duì)于物體未來(lái)狀態(tài)的想象能力和規(guī)劃能力。那么，機(jī)器人能否也具備這樣的對(duì)物理世界的理解和想像能力，使得能夠在執(zhí)行任務(wù)之前就能規(guī)劃好未來(lái)的步驟？
近年來(lái)，機(jī)器人技術(shù)飛速發(fā)展，我們見(jiàn)證了越來(lái)越多智能化機(jī)器人的出現(xiàn)。然而，與人類相比，現(xiàn)有機(jī)器人在處理復(fù)雜、多階段任務(wù)時(shí)仍顯得力不從心。它們往往依賴于特定任務(wù)的數(shù)據(jù)和預(yù)設(shè)指令，或者借助大模型在簡(jiǎn)單的抓取技能上進(jìn)行規(guī)劃，難以像人類一樣靈活地規(guī)劃和執(zhí)行復(fù)雜通用的操作任務(wù)。如何為機(jī)器人構(gòu)建類似于人類的 “世界模型”，從而實(shí)現(xiàn)通用任務(wù)規(guī)劃能力，一直是機(jī)器人研究中的核心挑戰(zhàn)。
近日，來(lái)自新加坡國(guó)立大學(xué)的邵林團(tuán)隊(duì)提出了 FLIP：一種基于世界模型的視頻空間任務(wù)搜索和規(guī)劃框架。該方法能夠適用于通用的機(jī)器人操作任務(wù)上，包括可行變物體操作和靈巧手操作任務(wù)。該方法直接基于機(jī)器人視覺(jué)空間進(jìn)行任務(wù)規(guī)劃，通過(guò)特殊設(shè)計(jì)的動(dòng)作提出模塊、動(dòng)力學(xué)預(yù)測(cè)模塊、和價(jià)值函數(shù)預(yù)測(cè)模塊進(jìn)行基于世界模型的任務(wù)規(guī)劃，且具有模型參數(shù)量的可擴(kuò)展性。該論文已發(fā)表在 ICLR 2025 上，并在 CoRL 2024 LEAP Workshop 中被選為 Oral Presentation。
- 論文標(biāo)題：FLIP : Flow-Centric Generative Planning as General-Purpose Manipulation World Model
- 項(xiàng)目主頁(yè)：https://nus-lins-lab.github.io/flipweb/
- 論文鏈接：https://arxiv.org/abs/2412.08261
- 代碼鏈接：https://github.com/HeegerGao/FLIP
一、引言
世界模型（World Models）指的是基于學(xué)習(xí)的方法，用于模擬環(huán)境的表示或模型。借助世界模型，智能體可以在模型內(nèi)部進(jìn)行想象、推理和規(guī)劃，從而更加安全且高效地完成任務(wù)。近期生成模型的進(jìn)展，特別是在視頻生成領(lǐng)域，展示了利用互聯(lián)網(wǎng)規(guī)模的訓(xùn)練數(shù)據(jù)生成高質(zhì)量視頻，以作為世界模擬器的應(yīng)用潛力。世界模型在多個(gè)領(lǐng)域開(kāi)辟了新途徑，尤其是在機(jī)器人操縱任務(wù)方面，這也是本文的研究重點(diǎn)。
通用機(jī)器人的智能主要分為兩個(gè)層次：第一，通過(guò)多模態(tài)輸入對(duì)任務(wù)進(jìn)行高層次的抽象規(guī)劃；第二，通過(guò)與現(xiàn)實(shí)環(huán)境交互實(shí)現(xiàn)計(jì)劃的具體執(zhí)行。設(shè)計(jì)良好的世界模型能夠有效地實(shí)現(xiàn)第一個(gè)功能，即實(shí)現(xiàn)基于模型的規(guī)劃。這種模型需要具備交互性，能夠根據(jù)給定的動(dòng)作來(lái)模擬環(huán)境狀態(tài)?？蚣艿暮诵脑谟谡业揭环N通用且可擴(kuò)展的動(dòng)作表示，連接高層規(guī)劃和低層執(zhí)行。這種動(dòng)作表示需滿足兩個(gè)要求：一是能表達(dá)場(chǎng)景中不同物體、機(jī)器人及任務(wù)的多種運(yùn)動(dòng)；二是容易獲得大量的訓(xùn)練數(shù)據(jù)以支持?jǐn)U展?，F(xiàn)有方法或是依賴語(yǔ)言描述作為高層動(dòng)作，或是直接采用底層的機(jī)器人動(dòng)作與世界模型互動(dòng)，但這些方法存在一些限制，比如需要額外的數(shù)據(jù)或標(biāo)注過(guò)程，或者無(wú)法描述精細(xì)復(fù)雜的動(dòng)作細(xì)節(jié)，例如靈巧手的精細(xì)動(dòng)作。這些限制激勵(lì)我們探索其他更有效的動(dòng)作表示。同時(shí)，現(xiàn)有的世界模型缺乏合適的價(jià)值函數(shù)作為結(jié)果的評(píng)價(jià)標(biāo)準(zhǔn)，對(duì)未來(lái)的規(guī)劃常常限制在貪心搜索層面，難以實(shí)現(xiàn)真正的任務(wù)空間的搜索能力。
圖像流是一種描述圖像中像素隨時(shí)間變化的動(dòng)態(tài)表示，能夠通用且簡(jiǎn)潔地表示不同機(jī)器人和物體的運(yùn)動(dòng)，比語(yǔ)言更加精細(xì)和準(zhǔn)確。此外，圖像流可以直接通過(guò)已有的視頻追蹤工具從視頻數(shù)據(jù)中獲取。同時(shí)，已有研究表明，圖像流對(duì)于訓(xùn)練低層次的操控策略也具有很高的有效性。因此，圖像流非常適合作為世界模型的動(dòng)作表示。然而，目前如何使用圖像流來(lái)規(guī)劃?rùn)C(jī)器人操控任務(wù)仍有待探索。
在本文中，我們提出了以圖像流為中心的通用機(jī)器人操控規(guī)劃方法（FLIP）。具體而言，我們從帶有語(yǔ)言標(biāo)注的視頻數(shù)據(jù)中訓(xùn)練出以圖像流為核心的世界模型。該世界模型包括三個(gè)模塊：一是負(fù)責(zé)動(dòng)作生成的圖像流生成網(wǎng)絡(luò)；二是根據(jù)圖像流生成視頻的動(dòng)力學(xué)模型；三是進(jìn)行視覺(jué)語(yǔ)言評(píng)估的價(jià)值模型。我們?cè)O(shè)計(jì)了一種新的訓(xùn)練方式，用于整合這三個(gè)模塊，以實(shí)現(xiàn)基于模型的規(guī)劃：給定初始圖像和任務(wù)目標(biāo)，動(dòng)作模塊生成多個(gè)圖像流方案，動(dòng)力學(xué)模型預(yù)測(cè)短期視頻結(jié)果，價(jià)值模塊評(píng)估視頻生成結(jié)果的優(yōu)劣，通過(guò)樹搜索方法合成長(zhǎng)期規(guī)劃。
實(shí)驗(yàn)結(jié)果表明，F(xiàn)LIP 方法不僅可以成功解決模擬和真實(shí)環(huán)境下的多種機(jī)器人操控任務(wù)，如布料折疊、展開(kāi)等，還能生成高質(zhì)量的長(zhǎng)期視頻結(jié)果。同時(shí)，這些圖像流和視頻規(guī)劃也能用于指導(dǎo)低層次策略的訓(xùn)練。此外，我們還證明了 FLIP 的三個(gè)模塊均優(yōu)于現(xiàn)有相關(guān)方法。進(jìn)一步的實(shí)驗(yàn)也顯示，F(xiàn)LIP 能有效模擬各種復(fù)雜的機(jī)器人操控任務(wù)，展現(xiàn)了其良好的交互性、零樣本遷移和可擴(kuò)展能力。本文的主要貢獻(xiàn)如下：
- 提出了以圖像流為中心的通用機(jī)器人操控規(guī)劃方法（FLIP），實(shí)現(xiàn)了交互式的世界模型。
- 設(shè)計(jì)了圖像流生成網(wǎng)絡(luò)、流條件視頻生成網(wǎng)絡(luò)，以及一種新的視覺(jué)語(yǔ)言表示模型訓(xùn)練方法作為 FLIP 的核心模塊。
- 通過(guò)實(shí)驗(yàn)驗(yàn)證了 FLIP 方法在多種任務(wù)上的通用性與優(yōu)越性，展現(xiàn)了出色的長(zhǎng)期規(guī)劃能力、視頻生成質(zhì)量和策略指導(dǎo)能力。
圖 1 FLIP 框架介紹
二、FLIP 的三個(gè)模塊
我們把機(jī)器人操作任務(wù)建模為 MDP，我們旨在通過(guò)學(xué)習(xí)一個(gè)世界模型和一個(gè)低層策略來(lái)解決這一問(wèn)題。世界模型在圖像和圖像流空間上進(jìn)行基于模型的規(guī)劃，以最大化回報(bào)，合成長(zhǎng)時(shí)程的規(guī)劃方案；而低層策略則負(fù)責(zé)在真實(shí)環(huán)境中執(zhí)行這些規(guī)劃。我們計(jì)劃僅使用帶有語(yǔ)言標(biāo)注的視頻數(shù)據(jù)集來(lái)訓(xùn)練世界模型，使其具備通用性和可擴(kuò)展性，而低層策略則利用少量帶有動(dòng)作標(biāo)注的數(shù)據(jù)集進(jìn)行訓(xùn)練。為了實(shí)現(xiàn)基于模型的規(guī)劃，我們的世界模型包含以下三個(gè)關(guān)鍵模塊，具體將在接下來(lái)的章節(jié)中介紹。
2.1 圖像流生成作為通用的動(dòng)作模塊
FLIP 的動(dòng)作模塊是一個(gè)圖像流生成網(wǎng)絡(luò)，其作用是生成圖像流（即查詢點(diǎn)在未來(lái)時(shí)刻的軌跡）作為規(guī)劃的動(dòng)作。我們之所以使用生成模型而非預(yù)測(cè)模型，是因?yàn)樵诨谀Ｐ偷囊?guī)劃過(guò)程中，動(dòng)作模塊需要提供多種不同的動(dòng)作候選，以用于基于采樣的規(guī)劃方法。具體來(lái)說(shuō)，給定時(shí)刻 t 之前 h 步的圖像觀測(cè)歷史、語(yǔ)言目標(biāo)，以及一組二維查詢點(diǎn)坐標(biāo)，圖像流生成網(wǎng)絡(luò)會(huì)生成未來(lái) L 個(gè)時(shí)間步內(nèi)（含當(dāng)前時(shí)間步）的查詢點(diǎn)坐標(biāo)。
一個(gè)關(guān)鍵的問(wèn)題是訓(xùn)練數(shù)據(jù)標(biāo)注。查詢點(diǎn)的圖像流可以直接使用現(xiàn)有的視頻點(diǎn)跟蹤模型（例如 CoTracker）從純視頻數(shù)據(jù)中提取。然而，如何選取查詢點(diǎn)成為問(wèn)題。以往的方法或是使用自動(dòng)分割模型在感興趣區(qū)域選取查詢點(diǎn)，或是按照預(yù)定義的比例在運(yùn)動(dòng)和靜止區(qū)域選取查詢點(diǎn)。這些方法存在兩個(gè)問(wèn)題：一是現(xiàn)代分割模型（例如 SAM）很難在復(fù)雜場(chǎng)景下準(zhǔn)確無(wú)誤地分割出目標(biāo)區(qū)域；二是在長(zhǎng)時(shí)間的視頻中，可能出現(xiàn)物體的進(jìn)入或離開(kāi)，僅使用初始幀的查詢點(diǎn)會(huì)產(chǎn)生問(wèn)題。因此，我們?cè)诿總€(gè)時(shí)間步對(duì)整幅圖像均勻采樣密集的網(wǎng)格查詢點(diǎn)，以解決第一個(gè)問(wèn)題；同時(shí)，僅對(duì)短時(shí)程的視頻片段進(jìn)行跟蹤，即從長(zhǎng)視頻的每一幀開(kāi)始進(jìn)行短時(shí)程跟蹤，以緩解第二個(gè)問(wèn)題。這樣，即便有物體進(jìn)出，其影響也被限制在短時(shí)程內(nèi)。具體來(lái)說(shuō)，對(duì)數(shù)據(jù)集中每一幀，我們均勻采樣一個(gè)候選點(diǎn)網(wǎng)格，并利用現(xiàn)有的 Co-Tracker 工具生成未來(lái) L 步的視頻片段中的圖像流。
如圖 2 所示，我們?cè)O(shè)計(jì)了一個(gè)以 Transformer 架構(gòu)為基礎(chǔ)的條件變分自編碼器（VAE）進(jìn)行圖像流生成。與之前預(yù)測(cè)絕對(duì)坐標(biāo)的方法不同，我們發(fā)現(xiàn)預(yù)測(cè)相對(duì)位移的表現(xiàn)更好，即預(yù)測(cè)每個(gè)查詢點(diǎn)的坐標(biāo)變化量。在 VAE 編碼器端，我們對(duì)真實(shí)圖像流進(jìn)行編碼，將觀測(cè)歷史轉(zhuǎn)換成圖像區(qū)塊（patches），并利用語(yǔ)言模型 Llama 進(jìn)行語(yǔ)言嵌入編碼成 token，將它們與一個(gè)用于信息匯聚的 CLS token 拼接后送入 Transformer 編碼器，將 CLS 位置的輸出提取為 VAE 的隱變量。在 VAE 解碼器端，我們首先將當(dāng)前時(shí)刻 t 的查詢點(diǎn)編碼成查詢 token，將它們與圖像和語(yǔ)言 token 以及重參數(shù)化采樣出的隱變量 z 拼接后送入另一個(gè) Transformer 編碼器，提取查詢 token 位置的輸出，通過(guò)兩個(gè) MLP 網(wǎng)絡(luò)預(yù)測(cè)未來(lái) L 步的位移幅度和位移方向，從而逐步重構(gòu)完整的未來(lái)圖像流。同時(shí)，我們還對(duì)圖像 token 位置的輸出進(jìn)行圖像重建任務(wù)的輔助訓(xùn)練，這被證明對(duì)提高模型訓(xùn)練的準(zhǔn)確性有幫助。
圖 2 動(dòng)作模塊和動(dòng)力學(xué)模塊
2.2 基于圖像流的視頻生成模型作為動(dòng)力學(xué)模塊
我們的第二個(gè)模塊是一個(gè)動(dòng)力學(xué)模塊，是以圖像流為條件的視頻生成網(wǎng)絡(luò)，根據(jù)當(dāng)前的圖像觀測(cè)歷史、語(yǔ)言目標(biāo)和預(yù)測(cè)的圖像流生成后續(xù) L 幀視頻，以實(shí)現(xiàn)下一步的迭代規(guī)劃。
我們?cè)O(shè)計(jì)了一種新的基于潛在空間的視頻擴(kuò)散模型，能夠有效地接受多種條件輸入，如圖像、圖像流和語(yǔ)言。該模型基于 DiT 架構(gòu)構(gòu)建，并結(jié)合了空間 - 時(shí)間注意力機(jī)制。在此我們著重介紹多模態(tài)條件處理機(jī)制的設(shè)計(jì)。在原始的 DiT 及之前基于軌跡條件的視頻擴(kuò)散模型中，通常使用自適應(yīng)層歸一化（AdaLN-Zero）處理?xiàng)l件輸入（例如擴(kuò)散步驟和類別標(biāo)簽），其通過(guò)零初始化的 MLP 網(wǎng)絡(luò)回歸出層歸一化的縮放和平移參數(shù)。然而，這種機(jī)制會(huì)將所有條件信息壓縮為標(biāo)量，無(wú)法實(shí)現(xiàn)條件與輸入之間更精細(xì)的交互，因此不適用于圖像與圖像流等復(fù)雜條件。為了解決這一問(wèn)題，我們提出了一種混合條件處理機(jī)制，用于多模態(tài)條件生成。
具體而言，我們使用交叉注意力機(jī)制，使圖像流條件（表示為目標(biāo)點(diǎn)的 tokens）與觀測(cè)條件及帶噪幀之間進(jìn)行細(xì)粒度的交互。對(duì)于歷史圖像觀測(cè)條件，我們將其直接拼接到高斯噪聲幀上。此外，我們?nèi)匀皇褂?AdaLN-Zero 機(jī)制處理全局條件，包括擴(kuò)散步驟和語(yǔ)言指令，以整體指導(dǎo)擴(kuò)散過(guò)程。為了保證觀測(cè)條件的清晰性，在擴(kuò)散過(guò)程中我們既不向觀測(cè)歷史添加噪聲，也不對(duì)其進(jìn)行去噪處理。
2.3 視覺(jué) - 語(yǔ)言表征學(xué)習(xí)作為價(jià)值函數(shù)模塊
FLIP 的價(jià)值模塊基于語(yǔ)言目標(biāo)對(duì)當(dāng)前圖像進(jìn)行評(píng)估，從而生成一個(gè)價(jià)值函數(shù)估計(jì) V?t，用于在圖像空間進(jìn)行基于模型的規(guī)劃：V?t = V (ot, g)。在本研究中，我們采用了 LIV 模型作為價(jià)值函數(shù)。LIV 首先從帶語(yǔ)言標(biāo)注的無(wú)動(dòng)作視頻中學(xué)習(xí)語(yǔ)言 - 視覺(jué)的共享表示，隨后基于當(dāng)前圖像與目標(biāo)語(yǔ)言的相似度計(jì)算價(jià)值。具體而言，LIV 計(jì)算圖像與語(yǔ)言表示的加權(quán)余弦相似度，作為價(jià)值的衡量標(biāo)準(zhǔn)。預(yù)訓(xùn)練的 LIV 模型在應(yīng)用于新任務(wù)時(shí)需要進(jìn)行微調(diào)以獲得良好的價(jià)值表示。原始的微調(diào)損失包括圖像損失和語(yǔ)言圖像損失，前者通過(guò)時(shí)間對(duì)比學(xué)習(xí)增加起始幀與結(jié)束幀的相似性，同時(shí)將相鄰幀的嵌入距離維持為（經(jīng)過(guò)折扣的）固定值；后者則鼓勵(lì)目標(biāo)圖像與目標(biāo)語(yǔ)言的相似性提升。
熱門跟貼