4月14日，在香港舉辦的AI技術(shù)分享會上，小鵬汽車投下一枚“重磅炸彈”，宣布正在研發(fā)720億參數(shù)的超大規(guī)模自動駕駛大模型——“小鵬世界基座模型”。這一消息瞬間點(diǎn)燃行業(yè)熱情，標(biāo)志著小鵬汽車在自動駕駛領(lǐng)域邁向新高度，也為汽車行業(yè)的AI變革注入強(qiáng)大動力。
小鵬汽車自動駕駛負(fù)責(zé)人李力耘介紹，這款以大語言模型為骨干網(wǎng)絡(luò)的多模態(tài)大模型，具備視覺理解、鏈?zhǔn)酵评砗蛣幼魃赡芰?。通過海量優(yōu)質(zhì)駕駛數(shù)據(jù)訓(xùn)練和強(qiáng)化學(xué)習(xí)，它能不斷自我進(jìn)化，有望實(shí)現(xiàn)媲美甚至超越人類的自動駕駛技術(shù)，處理全場景自動駕駛問題，包括從未遇到過的復(fù)雜路況。這意味著智能駕駛系統(tǒng)將從單純“模仿人類駕駛”向“超越人類駕駛”邁進(jìn)，為未來出行帶來更多可能。
為了支撐如此龐大的模型研發(fā)，小鵬汽車早在去年就開始布局AI基礎(chǔ)設(shè)施，如今已建成國內(nèi)汽車行業(yè)首個(gè)萬卡智算集群，打造出“云端模型工廠”。該工廠涵蓋從基座模型預(yù)訓(xùn)練、后訓(xùn)練到模型蒸餾、車端模型訓(xùn)練與部署的完整生產(chǎn)鏈路。其算力儲備達(dá)10EFLOPS，集群運(yùn)行效率常年保持在90%以上，全鏈路迭代周期平均5天一次，實(shí)現(xiàn)了高效的模型生產(chǎn)與優(yōu)化。
值得一提的是，小鵬汽車自主開發(fā)了底層的數(shù)據(jù)基礎(chǔ)設(shè)施，大幅提升數(shù)據(jù)上傳規(guī)模和訓(xùn)練數(shù)據(jù)帶寬，聯(lián)合優(yōu)化GPU/CPU及網(wǎng)絡(luò)I/O后，模型訓(xùn)練速度提升5倍。目前，用于訓(xùn)練基座模型的視頻數(shù)據(jù)量高達(dá)2000萬clips，預(yù)計(jì)今年將激增至2億clips。這些數(shù)據(jù)和算力的支撐，為小鵬世界基座模型的研發(fā)奠定了堅(jiān)實(shí)基礎(chǔ)。
在此次分享會上，小鵬汽車還披露了基模研發(fā)的三大階段性成果，每一項(xiàng)成果都意義非凡。
首先，小鵬團(tuán)隊(duì)首次驗(yàn)證了規(guī)模法則在自動駕駛領(lǐng)域持續(xù)生效。規(guī)模法則被視為AI領(lǐng)域的“摩爾定律”，此前在大語言模型領(lǐng)域已得到充分驗(yàn)證，但在自動駕駛領(lǐng)域，由于訓(xùn)練數(shù)據(jù)的多模態(tài)性和復(fù)雜性，其有效性一直未得到充分驗(yàn)證。小鵬通過大量實(shí)驗(yàn)，在不同參數(shù)規(guī)模的模型上均觀察到明顯的規(guī)模法則效應(yīng)，即參數(shù)規(guī)模越大、訓(xùn)練數(shù)據(jù)量越多，模型能力越強(qiáng)。這一驗(yàn)證為自動駕駛大模型的研發(fā)提供了重要理論依據(jù)，證明了加大模型投入的可行性和必要性。
其次，小鵬汽車成功在后裝算力的車端實(shí)現(xiàn)基模控車。盡管處于早期實(shí)車測試階段，但全新基模已展現(xiàn)出令人驚喜的基礎(chǔ)駕車技能，如隨前車減速、主動繞行、紅綠燈主動停車、轉(zhuǎn)彎避讓掉頭車等。這一成果標(biāo)志著小鵬世界基座模型從理論研究走向?qū)嶋H應(yīng)用邁出了關(guān)鍵一步，讓人們看到了智能駕駛在現(xiàn)實(shí)場景中的可行性。
最后，小鵬汽車啟動72B參數(shù)基模訓(xùn)練，并搭建針對強(qiáng)化學(xué)習(xí)的模型訓(xùn)練框架。強(qiáng)化學(xué)習(xí)能夠幫助模型自我進(jìn)化，處理訓(xùn)練數(shù)據(jù)中未出現(xiàn)的長尾問題，實(shí)現(xiàn)更安全的自動駕駛。小鵬選擇云端蒸餾路線，在云端訓(xùn)練強(qiáng)大的模型，再蒸餾到適配車端算力的小尺寸模型上，突破車端算力限制，提升模型性能。
在研發(fā)過程中，小鵬汽車巧妙融合“規(guī)則時(shí)代”的經(jīng)驗(yàn)與“大模型時(shí)代”的技術(shù)。在開發(fā)強(qiáng)化學(xué)習(xí)的獎(jiǎng)勵(lì)模型時(shí)，研發(fā)團(tuán)隊(duì)基于規(guī)則經(jīng)驗(yàn)設(shè)計(jì)獎(jiǎng)勵(lì)函數(shù)，將過去的沉淀轉(zhuǎn)化為訓(xùn)練基座模型的生產(chǎn)力。此外，小鵬汽車正在開發(fā)世界模型，這是一種實(shí)時(shí)建模和反饋系統(tǒng)，能模擬真實(shí)環(huán)境狀態(tài)，構(gòu)建閉環(huán)反饋網(wǎng)絡(luò)，助力基座模型不斷進(jìn)化，突破“模仿學(xué)習(xí)”的局限。
小鵬汽車致力于通過探索科技，引領(lǐng)未來出行變革。此次720億參數(shù)自駕基模的研發(fā)，不僅是小鵬汽車“AI化”轉(zhuǎn)型的關(guān)鍵一步，也為整個(gè)汽車行業(yè)的智能化發(fā)展提供了新思路和方向。今年6月，小鵬汽車還將在計(jì)算機(jī)視覺國際頂會CVPR上進(jìn)一步分享研發(fā)細(xì)節(jié)，相信會給行業(yè)帶來更多驚喜。未來，小鵬汽車有望憑借這一技術(shù)優(yōu)勢，在自動駕駛領(lǐng)域持續(xù)發(fā)力，重塑未來出行格局。
熱門跟貼