在日前舉辦AI技術(shù)分享會(huì)，小鵬汽車首次披露了正在研發(fā)720億參數(shù)的超大規(guī)模自動(dòng)駕駛大模型項(xiàng)目，并命名為“小鵬世界基座模型”。未來(lái)，該基模將通過(guò)云端蒸餾小模型的方式部署到車端，成為小鵬汽車、機(jī)器人及飛行汽車的“超級(jí)AI大腦”。
小鵬基模以大語(yǔ)言模型為骨干，通過(guò)海量?jī)?yōu)質(zhì)駕駛數(shù)據(jù)進(jìn)行訓(xùn)練，具備視覺(jué)理解、鏈?zhǔn)酵评砗蛣?dòng)作生成能力。小鵬汽車自動(dòng)駕駛負(fù)責(zé)人李力耘表示，通過(guò)持續(xù)不斷自我進(jìn)化，它將逐步發(fā)展出媲美甚至超越人類的自動(dòng)駕駛技術(shù)。
為支撐基模研發(fā)，小鵬汽車已建成國(guó)內(nèi)汽車行業(yè)首個(gè)萬(wàn)卡智算集群，算力儲(chǔ)備達(dá)到10 EFLOPS，集群運(yùn)行效率超90%，可支持基座模型的預(yù)訓(xùn)練、后訓(xùn)練、模型蒸餾、車端模型訓(xùn)練等關(guān)鍵技術(shù)，從云到端的全鏈路迭代周期可達(dá)平均5天一次。
小鵬世界基座模型：參數(shù)規(guī)模高達(dá)720億
早在2024年下半年，小鵬汽車已開(kāi)始面向L4級(jí)別的自動(dòng)駕駛研發(fā)全新的“AI大腦”，即小鵬世界基座模型。研發(fā)團(tuán)隊(duì)利用優(yōu)質(zhì)自動(dòng)駕駛訓(xùn)練數(shù)據(jù)，先后開(kāi)發(fā)了多個(gè)尺寸的基座模型，已經(jīng)著手推進(jìn)72B（72 Billion，即720億）超大規(guī)模參數(shù)世界基座模型的研發(fā)，參數(shù)量是主流VLA模型的35倍左右。
小鵬世界基座模型具備鏈?zhǔn)酵评砟芰Γ–oT），能在充分理解現(xiàn)實(shí)世界的基礎(chǔ)上，像人類一樣進(jìn)行復(fù)雜的常識(shí)推理，并將推理結(jié)果轉(zhuǎn)化為行動(dòng)，例如輸出方向盤、剎車等控制信號(hào)，實(shí)現(xiàn)和物理世界的交互。
未來(lái)，經(jīng)由基座模型的賦能，智能駕駛系統(tǒng)有望從“模仿人類”進(jìn)化到“超越人類”，最終能夠處理全場(chǎng)景的自動(dòng)駕駛問(wèn)題，包括一些模型從來(lái)沒(méi)在訓(xùn)練數(shù)據(jù)中遇到的問(wèn)題。
李力耘表示：“小鵬世界基座模型是小鵬自動(dòng)駕駛真正走向L3、L4的基礎(chǔ)，也會(huì)是未來(lái)小鵬所有物理AI終端的通用模型?！焙罄m(xù)，小鵬世界基座模型將應(yīng)用到小鵬汽車的AI汽車、AI機(jī)器人、飛行汽車上。
打造云端模型工廠，開(kāi)啟AI時(shí)代模型生產(chǎn)新范式
為了開(kāi)發(fā)小鵬世界基座模型，小鵬汽車打造了一座“云端模型工廠”，工廠“車間”涵蓋基座模型預(yù)訓(xùn)練和后訓(xùn)練（強(qiáng)化學(xué)習(xí)訓(xùn)練）、模型蒸餾、車端模型預(yù)訓(xùn)練到部署上車的完整生產(chǎn)鏈路?！霸贫四Ｐ凸S”采用強(qiáng)化學(xué)習(xí)、模型蒸餾的技術(shù)路線，能夠高效生產(chǎn)“小身材、大智商”的端側(cè)模型，甚至為不同需求的汽車定制不同的“大腦”，讓“千人千面”的模型研發(fā)成為可能。
小鵬汽車從2024年開(kāi)始搭建AI基礎(chǔ)設(shè)施（AI Infra），當(dāng)前已建立起萬(wàn)卡規(guī)模的智能算力集群，是目前國(guó)內(nèi)汽車行業(yè)最大的自動(dòng)駕駛算力集群。小鵬汽車的算力儲(chǔ)備達(dá)到10EFLOPS，集群利用率常年高達(dá)90%以上，高峰時(shí)期的運(yùn)行效率甚至達(dá)到98%。
小鵬世界基座模型負(fù)責(zé)人劉博士介紹，多模態(tài)模型訓(xùn)練的主要瓶頸不僅是 GPU，也需要解決數(shù)據(jù)訪問(wèn)的效率問(wèn)題。小鵬汽車自主開(kāi)發(fā)了底層的數(shù)據(jù)基礎(chǔ)設(shè)施（Data Infra），使數(shù)據(jù)上傳規(guī)模提升22倍、訓(xùn)練中的數(shù)據(jù)帶寬提升15倍；通過(guò)聯(lián)合優(yōu)化 GPU/CPU 以及網(wǎng)絡(luò) I/O，最終使模型訓(xùn)練速度提升了 5 倍。目前，小鵬汽車用于訓(xùn)練基座模型的視頻數(shù)據(jù)量高達(dá)2000萬(wàn)clips，這一數(shù)字今年將增加到2億clips。
依托強(qiáng)大的AI基礎(chǔ)設(shè)施和數(shù)據(jù)基礎(chǔ)設(shè)施，小鵬開(kāi)啟了全新的基座模型研發(fā)范式，從云端模型預(yù)訓(xùn)練到車端模型部署，整個(gè)“云端模型工廠”的迭代周期達(dá)到平均5天一次。
小鵬汽車在AI領(lǐng)域取得三大階段性成果
2024年是汽車行業(yè)的“端到端”之年，在率先量產(chǎn)端到端大模型一年之時(shí)，小鵬汽車又在物理世界大模型研發(fā)上再進(jìn)一步。小鵬汽車在分享會(huì)上披露了基模研發(fā)的三個(gè)階段性成果：
階段性成果1：驗(yàn)證規(guī)模法則在自動(dòng)駕駛領(lǐng)域持續(xù)生效；
階段性成果2：在后裝算力的車端成功實(shí)現(xiàn)基?？剀嚕?/p>
階段性成果3：?jiǎn)?dòng)72B參數(shù)基模訓(xùn)練，搭建針對(duì)強(qiáng)化學(xué)習(xí)的模型訓(xùn)練框架。
規(guī)模法則（Scaling Law）揭示了大模型的性能如何隨著模型的計(jì)算量、訓(xùn)練數(shù)據(jù)量和參數(shù)量的提升而提升，被視為AI領(lǐng)域的“摩爾定律”。規(guī)模法則在大語(yǔ)言模型（LLM，Large Language Model）領(lǐng)域已被充分驗(yàn)證，但自動(dòng)駕駛基座模型復(fù)雜得多，它的訓(xùn)練數(shù)據(jù)遠(yuǎn)不止單模態(tài)的文本數(shù)據(jù)，還包括攝像頭信息、導(dǎo)航信息等關(guān)于物理世界的多模態(tài)數(shù)據(jù)，本質(zhì)上，它要求模型對(duì)物理世界形成認(rèn)知和理解。利用駕駛數(shù)據(jù)訓(xùn)練基模，尤其是參數(shù)規(guī)模逐步擴(kuò)大到百億級(jí)別之后，規(guī)模法則是否還持續(xù)生效？此前行業(yè)內(nèi)不曾有過(guò)充分的驗(yàn)證。
小鵬團(tuán)隊(duì)首次驗(yàn)證了規(guī)模法則在自動(dòng)駕駛領(lǐng)域持續(xù)生效，劉博士表示：“過(guò)去一年，我們做了大量實(shí)驗(yàn)，在10億、30億、70億、720億參數(shù)的模型上都看到了明顯的規(guī)模法則效應(yīng)：參數(shù)規(guī)模越大，模型的能力越強(qiáng)。同樣的模型大小，訓(xùn)練數(shù)據(jù)量越大，模型的能力也會(huì)越強(qiáng)。”
不久前，小鵬汽車將理論變?yōu)楝F(xiàn)實(shí)，在后裝算力的車端上用小尺寸基模實(shí)現(xiàn)了控車。盡管只是非常早期的實(shí)車測(cè)試，全新基模已經(jīng)展現(xiàn)出令人驚喜的基礎(chǔ)駕車技能。
小鵬汽車去年就已開(kāi)始研發(fā)強(qiáng)化學(xué)習(xí)技術(shù)，用以提升基座模型的性能天花板。劉博士表示，強(qiáng)化學(xué)習(xí)能夠幫助模型自我進(jìn)化，學(xué)會(huì)處理訓(xùn)練數(shù)據(jù)中沒(méi)有的長(zhǎng)尾問(wèn)題，做到極致安全的自動(dòng)駕駛。只有足夠強(qiáng)大的基座模型，才能被強(qiáng)化學(xué)習(xí)不斷激發(fā)出能力上限。這也是小鵬汽車選擇云端蒸餾路線的原因之一：在云端不計(jì)成本地訓(xùn)練出足夠聰明且泛化能力強(qiáng)的模型，將其蒸餾到適配車端算力的小尺寸模型上，最終可讓車端模型的性能超越車端算力“一畝三分田”的限制。
值得一提的是，強(qiáng)化學(xué)習(xí)、云端蒸餾等技術(shù)方案，在DeepSeek論文中都得到了驗(yàn)證。
基模研發(fā)是小鵬汽車“AI化”轉(zhuǎn)型的重要一步，不過(guò)，即便來(lái)到“大模型時(shí)代”，過(guò)去“規(guī)則時(shí)代”的領(lǐng)先經(jīng)驗(yàn)仍在發(fā)揮作用。在開(kāi)發(fā)強(qiáng)化學(xué)習(xí)的獎(jiǎng)勵(lì)模型（Reward Model）時(shí)，研發(fā)團(tuán)隊(duì)基于規(guī)則經(jīng)驗(yàn)設(shè)計(jì)了獎(jiǎng)勵(lì)函數(shù)，將規(guī)則時(shí)代的沉淀轉(zhuǎn)化為了訓(xùn)練基座模型的生產(chǎn)力。
同時(shí)，小鵬汽車已經(jīng)著手開(kāi)發(fā)世界模型(World Model），作為“云端模型工廠”的重要一環(huán)，支持基座模型的性能優(yōu)化。劉博士介紹，小鵬的世界模型是一種實(shí)時(shí)建模和反饋系統(tǒng)，能夠基于動(dòng)作信號(hào)模擬出真實(shí)環(huán)境狀態(tài)，渲染場(chǎng)景，并生成場(chǎng)景內(nèi)其他智能體（也即交通參與者）的響應(yīng)，從而構(gòu)建一個(gè)閉環(huán)的反饋網(wǎng)絡(luò)，幫助基座模型不斷進(jìn)化，逐漸突破過(guò)去“模仿學(xué)習(xí)”的天花板。
據(jù)悉，小鵬汽車將會(huì)在今年6月舉行的計(jì)算機(jī)視覺(jué)國(guó)際頂會(huì)CVPR上，進(jìn)一步分享關(guān)于小鵬世界基座模型研發(fā)和訓(xùn)練成果更多的細(xì)節(jié)。
熱門跟貼