近年來，端到端（End-to-End，E2E）自動駕駛技術不斷進步，但在復雜的閉環(huán)交互環(huán)境中，由于其因果推理能力有限，仍然難以做出準確決策。雖然視覺 - 語言大模型（Vision-Language Model，VLM）憑借其卓越的理解和推理能力，為端到端自動駕駛帶來了新的希望，但現(xiàn)有方法在 VLM 的語義推理空間和純數(shù)值軌跡的行動空間之間仍然存在巨大鴻溝。
除此之外，現(xiàn)有的方法常常通過疊加多幀的圖像信息完成時序建模，這會受到 VLM 的 Token 長度限制，并且會增加額外的計算開銷。
為了解決上述問題，本文提出了 ORION，這是一個通過視覺語言指令指導軌跡生成的端到端自動駕駛框架。ORION 巧妙地引入了 QT-Former 用于聚合長期歷史上下文信息，VLM 用于駕駛場景理解和推理，并啟發(fā)式地利用生成模型對齊了推理空間與動作空間，實現(xiàn)了視覺問答（VQA）和規(guī)劃任務的統(tǒng)一端到端優(yōu)化。
圖 1：不同的端到端自動駕駛范式的對比
ORION 在具有挑戰(zhàn)性的閉環(huán)評測 Bench2Drive 數(shù)據(jù)集上實現(xiàn)了優(yōu)秀的性能，駕駛得分為 77.74 分，成功率為 54.62%，相比之前的SOTA方法分別高出 14.28分和 19.61% 的成功率。
此外，ORION 的代碼、模型和數(shù)據(jù)集將很快開源。
論文標題：ORION: A Holistic End-to-End Autonomous Driving Framework by Vision-Language Instructed Action Generation
論文地址：https://arxiv.org/abs/2503.19755
項目地址：https://xiaomi-mlab.github.io/Orion/
代碼地址：https://github.com/xiaomi-mlab/Orion
單位：華中科技大學、小米汽車
我們來看一下ORION 框架下的閉環(huán)駕駛能力：
ORION 檢測到騎自行車的人并向左變道避免了碰撞。
ORION 檢測到右前方的車輛，先執(zhí)行減速，然后再改變車道。
ORION 識別停車標志并停車，等待一段時間，然后重新啟動成功通過十字路口。
主要貢獻
本文提出了一個簡單且有效的端到端自動駕駛框架 ORION，主要包含如下幾方面的貢獻:
VLM + 生成模型：利用生成模型彌補了 VLM 的推理空間與軌跡的動作空間之間的差距，從而使 ORION 能夠理解場景并指導軌跡生成。
QT-Former：引入 QT-Former 聚合歷史場景信息，使模型能夠?qū)v史信息整合到當前推理和動作空間中。
可擴展性：ORION 可以與多種生成模型兼容，實驗證明了所提出框架的靈活性。
性能優(yōu)異：在仿真數(shù)據(jù)集 Bench2drive 的閉環(huán)測試上取得 SOTA 的性能。
研究動機
經(jīng)典的 E2E 自動駕駛方法通過多任務學習整合感知、預測和規(guī)劃模塊，在開環(huán)評估中表現(xiàn)出優(yōu)秀的能力。然而，在需要自主決策和動態(tài)環(huán)境交互的閉環(huán)基準測試中，由于缺少因果推理能力，這些方法往往表現(xiàn)不佳。
近年來，VLM 憑借其強大的理解和推理能力，為 E2E 自動駕駛帶來了新的解決思路。但直接使用 VLM 進行端到端自動駕駛也面臨諸多挑戰(zhàn)，例如，VLM 的能力主要集中在語義推理空間，而 E2E 方法的輸出是動作空間中的數(shù)值規(guī)劃結果。
一些方法嘗試直接用 VLM 輸出基于文本的規(guī)劃結果，但 VLM 在處理數(shù)學計算和數(shù)值推理方面存在不足，且其自回歸機制導致只能推斷單一結果，無法適應復雜場景。還有些方法通過設計接口，利用 VLM 輔助經(jīng)典 E2E 方法，但這種方式解耦了 VLM 的推理空間和輸出軌跡的動作空間，阻礙了兩者的協(xié)同優(yōu)化。
除此之外，長期記憶對于端到端自動駕駛是必要的，因為歷史信息通常會影響當前場景中的軌跡規(guī)劃?，F(xiàn)有使用 VLM 進行端到端自動駕駛的方法通常通過拼接多幀圖像來進行時間建模。但這會受到 VLM 的輸入 Token 的長度限制，并且會增加額外的計算開銷。
為了解決上述問題，本文提出了 ORION。ORION 的結構包括 QT-Former、VLM 和生成模型。 ORION 通過 QT-Former 聚合長時間上下文信息，并巧妙地結合了生成模型和 VLM，有效對齊了推理空間和動作空間，實現(xiàn)了視覺問答（VQA）和規(guī)劃任務的統(tǒng)一端到端優(yōu)化。
方法概覽
具體來說，ORION 通過以下三大核心模塊，顯著提升了自動駕駛系統(tǒng)的決策能力：
1. QT-Former：長時序上下文聚合
ORION 引入了 QT-Former，通過引入歷史查詢和記憶庫，有效聚合長時視覺上下文信息，增強了模型對歷史場景的理解能力。相比現(xiàn)有方法，QT-Former 不僅減少了計算開銷，還能更好地捕捉靜態(tài)交通元素和動態(tài)物體的運動狀態(tài)。
2. VLM：場景推理與指令生成
ORION 利用 VLM 的強大推理能力，結合用戶指令、長時和當前的視覺信息，能夠?qū)︸{駛場景進行多維度分析，包括場景描述、關鍵物體行為分析、歷史信息回顧和動作推理，并且利用自回歸特性聚合整個場景信息以生成規(guī)劃 token，用來指導生成模型進行軌跡預測。
3. 生成模型：推理與動作空間對齊
ORION 通過生成模型，將 VLM 的推理空間與預測軌跡的動作空間對齊。生成模型使用變分自編碼器（VAE）或擴散模型，以規(guī)劃 token 作為條件去控制多模態(tài)軌跡的生成，確保模型在復雜場景中做出合理的駕駛決策。
圖 2：ORION 整體架構圖
實驗結果
本文在 Bench2Drive 數(shù)據(jù)集上進行閉環(huán)評估測試，如表 1 所示，ORION 取得了卓越的性能，其駕駛得分（DS）和成功率（SR）分別達到了 77.74 和 54.62%，相比現(xiàn)在的 SOTA 方法提升了 14.28 DS 和 19.61% SR，展現(xiàn)了 ORION 強大的駕駛能力。
表 1：Bench2Drive 上閉環(huán)評估和開環(huán)評估的性能對比
此外，如表 2 所示，ORION 還在 Bench2Drive 的多能力評估中表現(xiàn)優(yōu)異，特別是在超車（71.11%）、緊急剎車（78.33%）和交通標志識別（69.15%）等場景中，ORION 的表現(xiàn)遠超其他方法。這得益于 ORION 通過 VLM 對駕駛場景的理解，能夠更好地捕捉駕駛場景之間的因果關系。
表 2：Bench2Drive 上多能力評估測試對比
可解釋性結果
下圖展示了 ORION 在 Bench2Drive 的閉環(huán)評估場景中的可解釋性結果。ORION 可以理解場景中正確的因果關系，并做出準確的駕駛決策，然后根據(jù)推理信息指導規(guī)劃軌跡預測。
圖 3：可解釋性結果圖
總結
ORION 框架為端到端自動駕駛提供了一種全新的解決方案。ORION 通過生成模型實現(xiàn)語義與動作空間對齊，引入 QT-Former 模塊聚合長時序場景上下文信息，并聯(lián)合優(yōu)化視覺理解與路徑規(guī)劃任務，在閉環(huán)仿真中取得了卓越的性能。
熱門跟貼