大規(guī)模數據集和標準化評估基準顯著促進了自然語言處理和計算機視覺領域的發(fā)展。然而，機器人領域在如何構建大規(guī)模數據集并建立可靠的評估體系方面仍面臨巨大挑戰(zhàn)。
一方面，采集真實世界的機器人數據需要消耗大量資源（如時間、硬件成本），且效率低下；另一方面，在現實場景中測試機器人性能面臨復雜的環(huán)境配置，難以控制變量并標準化。
雖然合成數據和仿真模擬被視為潛在解決方案，但目前仍存在數據質量不足、多樣性有限，缺乏統(tǒng)一的評估標準等問題。
目前，機器人仿真領域還處于相對碎片化的狀態(tài) —— 不同的仿真器標準不一、接口割裂，極大限制了研究集成與社區(qū)協(xié)作的效率。
為了應對這些挑戰(zhàn)，一個致力于跨越隔閡、統(tǒng)一標準的全新平臺應運而生。來自 UC 伯克利、北京大學等機構的研究人員打造了 RoboVerse，一個統(tǒng)一的平臺、數據集與評測體系，專為可擴展、可泛化的機器人學習而生。
- 論文標題：RoboVerse: Towards a Unified Platform, Dataset and Benchmark for Scalable and Generalizable Robot Learning
- 論文主頁：https://roboverseorg.github.io/
- Github 鏈接: https://github.com/RoboVerseOrg/RoboVerse
團隊作者有我們熟悉的機器人和強化學習領域大牛、UC 伯克利教授 Pieter Abbeel，以及同樣來自 UC 伯克利的計算機視覺與機器人領域泰斗 Jitendra Malik 教授。
這項研究在 X 上引起了廣泛討論：「機器人需要 MMLU 基準時刻，打造真實高質量的機器人仿真極端困難，RoboVerse 令人激動地提供了統(tǒng)一的仿真平臺，數據集和測試基準！」
「RoboVerse 解決了機器人仿真領域長期存在的分散化，發(fā)展緩慢的問題，使得構建，測試，scale up 都變得更容易！」
RoboVerse 介紹
核心亮點一：MetaSim —— 讓仿真不再 “各說各話”
RoboVerse 團隊設計了 MetaSim：一個通用的配置系統(tǒng) (configuration system) 與標準接口 (standard interface)，能夠無縫對接目前主流的機器人仿真器。
這意味著，同一段代碼，可以在多個仿真平臺上運行！無論你用的是 MuJoCo、IsaacLab、Genesis 還是其他平臺，都可以在 MetaSim 的框架下順暢集成。整個社區(qū)的努力，從此可以更好地整合到統(tǒng)一的框架。
核心亮點二：統(tǒng)一的大規(guī)模數據集與標準評測體系
RoboVerse 還構建了一個前所未有的大規(guī)模合成數據集，涵蓋多種任務類型，兼具數據質量和多樣性，是目前最具代表性的大規(guī)模仿真數據集之一。
同時，平臺也提出了適用于模仿學習與強化學習的標準化評測體系，實現跨平臺、跨基準的可比性 —— 讓算法的性能得到更完整的展現。
核心亮點三：混合仿真 —— 真正 “強強聯合”，實現更高保真度
得益于統(tǒng)一的接口，RoboVerse 還解鎖了一個 “超能力”：混合仿真（Hybrid Simulation）。
基于 RoboVerse, 你可以用 MuJoCo 提供精準的物理引擎，同時搭配 Isaac Lab 實現高質量的圖像渲染 —— 實現物理與視覺的強強組合。它不僅讓仿真看起來更像現實世界，更極大提升了真實環(huán)境中的遷移效果，讓機器人從仿真走進現實。
遙操作 (Teleoperation) 也不再復雜：RoboVerse 支持多種遙操作方式，并實現了高度的可拓展性與易用性。團隊專門開發(fā)了一款移動端 App，借助手機內置傳感器，讓用戶可以直接通過手機進行機器人遠程控制，操作自然流暢、毫無障礙。
此外，RoboVerse 還支持多種其他遙操作設備，包括 Mocap 動作捕捉系統(tǒng)、VR 頭顯、鍵盤、手柄等，最大程度上兼顧了不同用戶的控制習慣與實驗需求。
Real2Sim 工具鏈：RoboVerse 支持從現實世界單目視頻中重建可用于仿真的 3D 資產，基于 3DGS（3D Gaussian Splatting）等先進技術，打通從現實到仿真的通道，大大降低了仿真環(huán)境構建的門檻。
AI 自動生成任務（AI-Generate Tasks）：借助 MetaSim 的統(tǒng)一任務配置能力，RoboVerse 還探索了利用大語言模型（LLM）進行任務創(chuàng)作。它能夠自動組合數據集中的資產并生成全新任務，展現出 LLM 在機器人任務生成上的巨大潛力。
原生支持 GPU 并行訓練：RoboVerse 對任務和基準系統(tǒng)進行了深度優(yōu)化，讓過去難以并行擴展的仿真任務，可以輕松遷移到 GPU 上進行大規(guī)模并行強化學習訓練，大大提高了研究效率與實驗規(guī)模。
RoboVerse 平臺和數據集在模型訓練上展現了強大的能力。使用 RoboVerse 提供的大規(guī)模高質量數據集，訓練 Vision-Language-Action (VLA) Model 可以無需真機樣本直接泛化到未見過的真機場景:
RoboVerse 跨模擬器的能力進一步支持了 Sim2Sim2Real 的 humanoid 部署。在 RoboVerse 平臺上訓練的機器人，可以實現無縫仿真切換，支持訓練，驗證，部署全流程。
注：以上部分視頻，GIF有倍速
在 AI 與機器人技術飛速發(fā)展的今天，RoboVerse 的出現，無疑為機器人社區(qū)帶來了更好的資源整合機會和更大的協(xié)同發(fā)展?jié)摿?。無論你是研究者、開發(fā)者，還是對機器人充滿好奇的探索者，都值得關注這個正在快速成型的 “機器人宇宙”！
熱門跟貼