來(lái)源：環(huán)球網(wǎng)
【環(huán)球網(wǎng)科技綜合報(bào)道】4月15日消息，小鵬汽車(chē)在AI分享會(huì)上首次對(duì)外披露正在研發(fā)720億參數(shù)的超大規(guī)模自動(dòng)駕駛大模型，即“小鵬世界基座模型”。未來(lái)，小鵬將通過(guò)云端蒸餾小模型的方式將基模部署到車(chē)端，給“AI汽車(chē)”配備全新的大腦。這款模型同時(shí)也將賦能小鵬的AI機(jī)器人、飛行汽車(chē)等。
小鵬汽車(chē)自動(dòng)駕駛負(fù)責(zé)人李力耘介紹，小鵬基模是一個(gè)以大語(yǔ)言模型為骨干網(wǎng)絡(luò)，使用海量?jī)?yōu)質(zhì)駕駛數(shù)據(jù)訓(xùn)練的多模態(tài)大模型，具備視覺(jué)理解能力、鏈?zhǔn)酵评砟芰蛣?dòng)作生成能力。通過(guò)強(qiáng)大的強(qiáng)化學(xué)習(xí)訓(xùn)練，基座模型不斷自我進(jìn)化，將逐步發(fā)展出媲美甚至超越人類(lèi)的自動(dòng)駕駛技術(shù)。
李力耘透露，為了研發(fā)基模，小鵬汽車(chē)早在去年就開(kāi)始布局AI基礎(chǔ)設(shè)施，現(xiàn)已建成國(guó)內(nèi)汽車(chē)行業(yè)首個(gè)萬(wàn)卡智算集群，用以支持基座模型的預(yù)訓(xùn)練、后訓(xùn)練、模型蒸餾、車(chē)端模型訓(xùn)練等任務(wù)，小鵬汽車(chē)將這套從云到端的生產(chǎn)流程稱之為“云端模型工廠”。目前，小鵬“云端模型工廠”擁有10 EFLOPS的算力，集群運(yùn)行效率常年保持在90%以上，從云到端的全鏈路迭代周期可達(dá)平均5天一次。
早在2024年下半年，小鵬汽車(chē)已開(kāi)始面向L4級(jí)別的自動(dòng)駕駛研發(fā)全新的“AI大腦”，即小鵬世界基座模型。
小鵬研發(fā)團(tuán)隊(duì)利用優(yōu)質(zhì)自動(dòng)駕駛訓(xùn)練數(shù)據(jù)，先后開(kāi)發(fā)了多個(gè)尺寸的基座模型，目前已經(jīng)著手推進(jìn)72B（72 Billion，即720億）超大規(guī)模參數(shù)世界基座模型的研發(fā)，參數(shù)量是主流 VLA 模型的35 倍左右。
小鵬世界基座模型的一大優(yōu)勢(shì)是具備鏈?zhǔn)酵评砟芰Γ–oT），在充分理解現(xiàn)實(shí)世界的基礎(chǔ)上，能夠像人類(lèi)一樣進(jìn)行復(fù)雜的常識(shí)推理，并將推理結(jié)果轉(zhuǎn)化為行動(dòng)，例如輸出方向盤(pán)、剎車(chē)等控制信號(hào)，實(shí)現(xiàn)和物理世界的交互。
從設(shè)計(jì)之初，小鵬汽車(chē)就將基模定位為一個(gè)可以泛化到多種具身終端的基座模型。李力耘表示：“小鵬世界基座模型是小鵬自動(dòng)駕駛真正走向L3、L4的基礎(chǔ)，也會(huì)是未來(lái)小鵬所有物理AI終端的通用模型?！焙罄m(xù)，小鵬世界基座模型將全面賦能小鵬AI體系全圖譜，應(yīng)用到小鵬汽車(chē)的AI汽車(chē)、AI機(jī)器人、飛行汽車(chē)上。
為了開(kāi)發(fā)小鵬世界基座模型，小鵬汽車(chē)打造了一座“云端模型工廠”，工廠“車(chē)間”涵蓋基座模型預(yù)訓(xùn)練和后訓(xùn)練（強(qiáng)化學(xué)習(xí)訓(xùn)練）、模型蒸餾、車(chē)端模型預(yù)訓(xùn)練到部署上車(chē)的完整生產(chǎn)鏈路?！霸贫四Ｐ凸S”采用強(qiáng)化學(xué)習(xí)、模型蒸餾的技術(shù)路線，能夠高效生產(chǎn)“小身材、大智商”的端側(cè)模型，甚至為不同需求的汽車(chē)定制不同的“大腦”，讓“千人千面”的模型研發(fā)成為可能。
小鵬世界基座模型負(fù)責(zé)人劉博士介紹，多模態(tài)模型訓(xùn)練的主要瓶頸不僅是 GPU，也需要解決數(shù)據(jù)訪問(wèn)的效率問(wèn)題。小鵬汽車(chē)自主開(kāi)發(fā)了底層的數(shù)據(jù)基礎(chǔ)設(shè)施（Data Infra），使數(shù)據(jù)上傳規(guī)模提升22倍、訓(xùn)練中的數(shù)據(jù)帶寬提升15倍；通過(guò)聯(lián)合優(yōu)化 GPU / CPU 以及網(wǎng)絡(luò) I/O，最終使模型訓(xùn)練速度提升了 5 倍。目前，小鵬汽車(chē)用于訓(xùn)練基座模型的視頻數(shù)據(jù)量高達(dá)2000萬(wàn)clips，這一數(shù)字今年將增加到2億clips。
小鵬團(tuán)隊(duì)首次驗(yàn)證了規(guī)模法則在自動(dòng)駕駛領(lǐng)域持續(xù)生效，劉博士表示：“過(guò)去一年，我們做了大量實(shí)驗(yàn)，在10億、30億、70億、720億參數(shù)的模型上都看到了明顯的規(guī)模法則效應(yīng)：參數(shù)規(guī)模越大，模型的能力越強(qiáng)。同樣的模型大小，訓(xùn)練數(shù)據(jù)量越大，模型的能力也會(huì)越強(qiáng)?！?/p>
同時(shí)，小鵬汽車(chē)已經(jīng)著手開(kāi)發(fā)世界模型(World Model），作為“云端模型工廠”的重要一環(huán)，支持基座模型的性能優(yōu)化。劉博士介紹，小鵬的世界模型是一種實(shí)時(shí)建模和反饋系統(tǒng)，能夠基于動(dòng)作信號(hào)模擬出真實(shí)環(huán)境狀態(tài)，渲染場(chǎng)景，并生成場(chǎng)景內(nèi)其他智能體（也即交通參與者）的響應(yīng)，從而構(gòu)建一個(gè)閉環(huán)的反饋網(wǎng)絡(luò)，幫助基座模型不斷進(jìn)化，逐漸突破過(guò)去“模仿學(xué)習(xí)”的天花板。
據(jù)了解，關(guān)于小鵬世界基座模型研發(fā)和訓(xùn)練成果更多的細(xì)節(jié)，今年6月小鵬汽車(chē)將會(huì)在計(jì)算機(jī)視覺(jué)國(guó)際頂會(huì)CVPR上進(jìn)一步分享。（青山）
熱門(mén)跟貼