好消息！好消息～ 歡迎科研團(tuán)隊(duì)供稿 免費(fèi)分享學(xué)術(shù)、項(xiàng)目成果
綜合多樣且物理上合理的人類-場(chǎng)景交互（HSI）對(duì)于計(jì)算機(jī)動(dòng)畫和具身AI至關(guān)重要。盡管已有一些較好的進(jìn)展，但現(xiàn)有方法主要集中在開(kāi)發(fā)各自獨(dú)立的控制器，每個(gè)控制器專門針對(duì)特定的交互任務(wù)。這顯著限制了應(yīng)對(duì)各種復(fù)雜HSI任務(wù)的能力，而這些任務(wù)通常需要多項(xiàng)技能的結(jié)合，例如在搬運(yùn)物品的同時(shí)坐下。
為了解決這一問(wèn)題，上海人工智能實(shí)驗(yàn)室提出了TokenHSI，一種統(tǒng)一模型，使基于物理的角色能夠執(zhí)行多樣的人類-場(chǎng)景交互任務(wù)。它擅長(zhǎng)在單一的變換器網(wǎng)絡(luò)中無(wú)縫地整合多項(xiàng)基礎(chǔ)HSI技能，并靈活地將學(xué)到的技能適應(yīng)于具有挑戰(zhàn)性的全新任務(wù)，包括技能組合、物體/地形形狀變化和長(zhǎng)時(shí)間任務(wù)的完成。（鏈接在文章底部）
01 技術(shù)原理
TokenHSI包含兩個(gè)階段：（左）基礎(chǔ)技能學(xué)習(xí)和（右）策略適應(yīng)。通過(guò)多任務(wù)策略訓(xùn)練，所提出的框架在單一的變換器網(wǎng)絡(luò)中學(xué)習(xí)多樣化的交互技能。這些學(xué)到的技能可以通過(guò)訓(xùn)練輕量級(jí)模塊（例如 、 和 ξ = { ξ , ξ }靈活地適應(yīng)更具挑戰(zhàn)性的HSI任務(wù)。
TokenHSI是一種基于變換器（Transformer）的單一統(tǒng)一策略，能夠?qū)崿F(xiàn)多技能整合和靈活適應(yīng)。關(guān)鍵的見(jiàn)解在于將人體本體感知建模為一個(gè)獨(dú)立的共享標(biāo)記，并通過(guò)掩碼機(jī)制將其與不同的任務(wù)標(biāo)記結(jié)合起來(lái)。
這樣的統(tǒng)一策略能夠有效地跨技能共享知識(shí)，從而促進(jìn)多任務(wù)訓(xùn)練。此外，策略架構(gòu)支持可變長(zhǎng)度的輸入，使得學(xué)習(xí)到的技能能夠靈活地適應(yīng)新的場(chǎng)景。通過(guò)訓(xùn)練額外的任務(wù)標(biāo)記器，不僅能夠修改交互目標(biāo)的幾何形狀，還能協(xié)調(diào)多項(xiàng)技能來(lái)解決復(fù)雜任務(wù)。
02 演示效果
訓(xùn)練了一個(gè)新的任務(wù)標(biāo)記器，將路徑跟隨、坐下和爬升與搬運(yùn)結(jié)合起來(lái)，創(chuàng)造出新的復(fù)合技能。
對(duì)任務(wù)標(biāo)記器進(jìn)行微調(diào)（之前已為搬運(yùn)箱子訓(xùn)練），使其能夠推廣到更多物體，例如椅子和桌子。
引入了一種新的高度圖標(biāo)記器，使類人角色能夠在不平坦的地形上執(zhí)行路徑跟隨和搬運(yùn)任務(wù)。
聯(lián)合微調(diào)多個(gè)任務(wù)標(biāo)記器，以應(yīng)對(duì)長(zhǎng)時(shí)間任務(wù)中的挑戰(zhàn)，如技能過(guò)渡和碰撞避免。
https://github.com/liangpan99/TokenHSI
https://arxiv.org/pdf/2503.19901歡迎交流～，帶你學(xué)習(xí)AI，了解AI
熱門跟貼