
文/陳鋒
編輯/子夜
AI對于理想汽車意味著什么?
幾個(gè)月前的“2024理想AI Talk”上,理想汽車董事長兼CEO李想的回答是:(在愿景上)意味著未來的全部。
“電動(dòng)化是上半場,智能化是下半場,但我認(rèn)為,這個(gè)智能化講的不是傳統(tǒng)的軟件智能,而是真正的人工智能,這是造車往下延續(xù)的一個(gè)必經(jīng)之路。汽車將從工業(yè)時(shí)代的交通工具,進(jìn)化成為人工智能時(shí)代的空間機(jī)器人。”李想這么說道。
在當(dāng)下的新能源汽車市場中,理想也是在AI戰(zhàn)略上布局更早、投入更堅(jiān)決的車企之一。
從2022年9月在內(nèi)部將發(fā)展AI定為戰(zhàn)略核心,到2023年初正式將這一戰(zhàn)略對外,再到去年底“2024理想AI Talk”分享了對人工智能的最新思考和戰(zhàn)略成果,理想已經(jīng)跑出了更快的AI“加速度”。
近期,圍繞AI戰(zhàn)略布局,以及AI在智能駕駛上的落地,理想汽車又迎來了一個(gè)關(guān)鍵里程碑,發(fā)布了理想汽車自動(dòng)駕駛架構(gòu)——MindVLA。

圖源理想汽車官方微信公眾號(hào)
理想汽車自動(dòng)駕駛技術(shù)研發(fā)負(fù)責(zé)人賈鵬表示:“就像iPhone 4重新定義了手機(jī),MindVLA也將重新定義自動(dòng)駕駛”。在理想汽車2024年第四季度及全年財(cái)報(bào)業(yè)績會(huì)上,李想表示今年計(jì)劃將MindVLA和首款純電SUV車型理想i8同時(shí)發(fā)布。
1、MindVLA,一個(gè)司機(jī)Agent究竟能做什么?
MindVLA到底是什么?
它是視覺-語言-行為大模型,是機(jī)器人大模型的新范式,非簡單的將端到端模型和VLM模型結(jié)合在一起。它所有的模塊都是全新設(shè)計(jì)的,將空間智能、語言智能和行為智能統(tǒng)一在了同一個(gè)模型里。
具體來看,3D空間編碼器通過語言模型,和邏輯推理結(jié)合在一起后,給出合理的駕駛決策,并輸出一組ActionToken(動(dòng)作詞元),Action Token指的是對周圍環(huán)境和自車駕駛行為的編碼,并通過Difusion(擴(kuò)散模型)進(jìn)一步優(yōu)化出最佳的駕駛軌跡,整個(gè)推理過程都要發(fā)生在車端,并且要做到實(shí)時(shí)運(yùn)行。
理想汽車在VLA上的率先布局,源于其對自動(dòng)駕駛以及大模型前沿技術(shù)的敏銳洞察,也源于更早、更堅(jiān)定的AI戰(zhàn)略。
“我們認(rèn)為,基座模型到一定時(shí)刻,一定會(huì)變成VLA?!?/strong>此前,李想如此表示。在他看來,語言模型也要看三維世界,也要通過語言、認(rèn)知理解三維世界,同時(shí)自動(dòng)駕駛走向L4,也要有極強(qiáng)的認(rèn)知能力。

圖源理想汽車官方微信公眾號(hào)
這意味著,未來在MindVLA模型加持下的理想汽車,能更好地感知、思考和適應(yīng)環(huán)境,成為一個(gè)能聽懂用戶說話、看懂用戶需求、幫用戶解決問題的“專職司機(jī)”。具體來說:
一來,用戶可以通過語音指令來改變車輛的路線和行為。
比如你正在陌生園區(qū)尋找超市,這時(shí)你只需要通過理想同學(xué)對車輛說“帶我去超市”,車輛將在沒有導(dǎo)航信息的情況下,自主漫游找到目的地;車輛在行駛的過程中,你還可以跟理想同學(xué)說“開太快了”“應(yīng)該走左邊這條路”,MindVLA都能理解并執(zhí)行這些指令。
二來,基于強(qiáng)大的通識(shí)能力,MindVLA能更好地識(shí)別周圍環(huán)境。
比如MindVLA能認(rèn)識(shí)星巴克、肯德基等不同的商店招牌,當(dāng)你在陌生地點(diǎn)找不到車輛時(shí),可以拍一張附近環(huán)境的照片發(fā)送給車輛,擁有MindVLA賦能的車輛能夠搜尋照片中的位置,并自動(dòng)找到你。
第三,基于空間理解和邏輯推理能力,搭載了MindVLA的車輛,“找得到”的能力也提升了。
搭載MindVLA的車型可以自主地在地庫、園區(qū)和公共道路上漫游。典型的場景是“找車位”。比如用戶在商場地庫找不到車位時(shí),用戶只需要對著車輛說“去找個(gè)車位停好”,車輛無需依賴地圖或?qū)Ш叫畔?,并?shí)現(xiàn)自主尋找合適的車位停下。
總結(jié)來看,在有了MindVLA賦能后,每一輛車其實(shí)都不再是單純的駕駛工具了,而是真正成了能與用戶溝通、理解用戶意圖的智能體。
2、MindVLA賦能的車輛,為何能成為“專職司機(jī)”?
MindVLA能成為一名聽得懂、看得見、找得到的專職司機(jī),強(qiáng)大的功能背后在于MindVLA六大關(guān)鍵技術(shù)賦能。
MindVLA打破了自動(dòng)駕駛技術(shù)框架設(shè)計(jì)的傳統(tǒng)模式,使用了能夠承載豐富語義,且具備出色多粒度、多尺度3D幾何表達(dá)能力的3D高斯這一中間表征,能幫系統(tǒng)更高效地感知、理解周圍環(huán)境,同時(shí)充分利用海量數(shù)據(jù)進(jìn)行自監(jiān)督訓(xùn)練,進(jìn)而極大提升了下游任務(wù)性能。

圖源理想汽車官方微信公眾號(hào)
理想從0開始設(shè)計(jì)和訓(xùn)練了適合MindVLA的LLM基座模型,采用MoE混合專家架構(gòu),引入Sparse Attention(稀疏注意力),實(shí)現(xiàn)模型稀疏化,保證模型規(guī)模增長的同時(shí),不降低端側(cè)的推理效率。
基座模型訓(xùn)練過程中,理想加入大量3D數(shù)據(jù),使模型具備3D空間理解和推理能力。為了進(jìn)一步激發(fā)模型的空間智能,理想加入了未來幀的預(yù)測生成和稠密深度的預(yù)測等訓(xùn)練任務(wù)。
LLM基座模型獲得3D空間智能的同時(shí),還需要進(jìn)一步提升邏輯推理能力。理想訓(xùn)練LLM基座模型學(xué)習(xí)人類的思考過程,讓快慢思考有機(jī)結(jié)合到同一模型中,并可以實(shí)現(xiàn)自主切換快思考和慢思考。
為了把NVIDIA Drive AGX的性能發(fā)揮到極致,MindVLA采取小詞表結(jié)合投機(jī)推理,以及創(chuàng)新性地應(yīng)用并行解碼技術(shù),進(jìn)一步提升了實(shí)時(shí)推理的速度。至此,MindVLA實(shí)現(xiàn)了模型參數(shù)規(guī)模與實(shí)時(shí)推理性能之間的平衡。
MindVLA利用Diffusion將Action Token解碼成優(yōu)化的軌跡,并通過自車行為生成和他車軌跡預(yù)測的聯(lián)合建模,提升在復(fù)雜交通環(huán)境中的博弈能力。同時(shí)Diffusion可以根據(jù)外部條件,例如風(fēng)格指令,動(dòng)態(tài)調(diào)整生成結(jié)果。為了解決Diffusion模型效率低的問題,MindVLA采用Ordinary Differential Equation(常微分方程)采樣器,實(shí)現(xiàn)了2-3步就能完成高質(zhì)量軌跡的生成。
面對部分長尾場景,理想建立起人類偏好數(shù)據(jù)集,并且創(chuàng)新性地應(yīng)用RLHF(基于人類反饋的強(qiáng)化學(xué)習(xí))微調(diào)模型的采樣過程,最終使MindVLA能夠?qū)W習(xí)和對齊人類駕駛行為,顯著提升安全下限。

與此同時(shí),基于理想自研的重建+生成云端統(tǒng)一世界模型,MindVLA深度融合了模型的三維場景還原能力與生成模型的新視角補(bǔ)全,以及未見視角的預(yù)測能力,構(gòu)建了接近真實(shí)的仿真環(huán)境。
源于理想在世界模型上的技術(shù)積累與充足計(jì)算資源的支撐,MindVLA也實(shí)現(xiàn)了基于仿真環(huán)境的大規(guī)模強(qiáng)化學(xué)習(xí),即真正意義上的從“錯(cuò)誤中學(xué)習(xí)”。
我們了解到,過去一年里,理想自動(dòng)駕駛團(tuán)隊(duì)完成了世界模型大量的工程優(yōu)化,顯著提升了場景重建與生成的質(zhì)量和效率,其中一項(xiàng)工作,是將3D GS的訓(xùn)練速度提升了7倍以上。
理想通過創(chuàng)新性的預(yù)訓(xùn)練和后訓(xùn)練方法,讓MindVLA的泛化能力和涌現(xiàn)特性,都更明顯了。其不僅在駕駛場景下表現(xiàn)優(yōu)異,在室內(nèi)環(huán)境也展示出了一定的適應(yīng)性和延展性。
3、自動(dòng)駕駛,將被MindVLA重新定義?
從OpenAI到DeepSeek,大模型推理能力不斷更新與進(jìn)化下,VLA將成為車企探索智駕能力上限的新出口。
“端到端+VLM可以解決L3,比如實(shí)現(xiàn)500公里到1000公里一次接管,讓你在車上相對輕松。但僅靠端到端實(shí)現(xiàn)不了L4?!崩钕肴绱苏f道。
他還提到,自動(dòng)駕駛實(shí)現(xiàn)L4,必須使用VLA。
李想的這一判斷,正加速成為車企共識(shí)——2025年以來,VLA所呈現(xiàn)出來的強(qiáng)大感知、思考和適應(yīng)環(huán)境的能力,正重新定義自動(dòng)駕駛,也將成為車企競逐自動(dòng)駕駛的新錨點(diǎn)。
“VLA模型極有可能在未來兩年內(nèi)改寫智能駕駛市場的競爭格局。”最近,中國自動(dòng)駕駛產(chǎn)業(yè)創(chuàng)新聯(lián)盟調(diào)研員高超如此表示。
他提到,預(yù)計(jì)2025年VLA模型的量產(chǎn)落地,將推動(dòng)城區(qū)NOA滲透率提升。
高盛發(fā)布的一則自動(dòng)駕駛報(bào)告也提到,到2030年,VLA模型主導(dǎo)的端到端方案,或?qū)⒄紦?jù)L4級(jí)自動(dòng)駕駛市場60%的份額。
連線Insight也注意到,理想汽車之外,元戎啟行、小鵬、華為等玩家已經(jīng)在加速布局。市場上也有聲音認(rèn)為,2025年將是“VLA上車元年”。
基于上述背景討論MindVLA,其不僅是理想在通向L4級(jí)別自動(dòng)駕駛路上的一次率先搶跑,也是AI推動(dòng)自動(dòng)駕駛能力持續(xù)上探的一個(gè)范本。
從最核心的用戶體驗(yàn)來看,MindVLA加持之下,傳統(tǒng)的駕乘關(guān)系,正加速迎來新一輪變革。過往的智駕體驗(yàn)中,主駕必須監(jiān)管、監(jiān)督車輛行為,但當(dāng)加持了MindVLA的車能夠真正“看得見”“聽得懂”“找得到”,疊加車本身的智駕能力不斷上探,這帶來的是人與車更絲滑的交互體驗(yàn)、更舒適的駕乘生活,乃至更便捷的出行方式。

圖源理想汽車官網(wǎng)
某種程度上,這與早些年智能手機(jī)領(lǐng)域的“iPhone 4時(shí)刻”有一定相似之處——同樣是最大限度變革了人與“機(jī)器”的交互方式和交互體驗(yàn)。
由此,如果說“iPhone 4”的推出重新定義了手機(jī)行業(yè),那如今MindVLA的推出,以及后續(xù)陸續(xù)上車,實(shí)際上已經(jīng)在“重新定義自動(dòng)駕駛”。
從更長遠(yuǎn)視角來看,MindVLA所呈現(xiàn)出來的對物理世界和數(shù)字世界結(jié)合范式的探索,也有望賦予更多行業(yè)協(xié)同發(fā)展。
(本文頭圖來源于理想汽車官網(wǎng)。)
熱門跟貼