一凡 發(fā)自 副駕寺智能車(chē)參考 | 公眾號(hào) AI4Auto
接入DeepSeek后，理想又為車(chē)機(jī)自研了一個(gè)推理模型：
它能幫你編故事哄孩子，提供買(mǎi)房建議，還能制定旅游攻略，直接篩掉你不想要的體驗(yàn)。
雖然此前的推理模型也能勝任這些任務(wù)，不過(guò)理想自研推理模型有所不同——
它能自主分析，你的問(wèn)題需要不需要思考，需要深度思考還是短思考。
行業(yè)爭(zhēng)著接入了DeepSeek的當(dāng)下，理想選了一條新路徑，打造了「汽車(chē)版DeepSeek」。
汽車(chē)版DeepSeek有什么特點(diǎn)？
為什么理想要花大力氣自研推理模型，而不是直接上車(chē)DeepSeek？
帶著這些問(wèn)題，智能車(chē)參考第一時(shí)間上車(chē)“拷問(wèn)”了一番理想同學(xué)：
不是，你一句“我不喝豆汁兒”，他就真給你做北京一日游攻略啊。
實(shí)測(cè)「汽車(chē)版DeepSeek」
更新理想OTA 7.2版本后，進(jìn)入語(yǔ)音設(shè)置界面會(huì)看到一個(gè)深度思考的按鈕，就像咱們?nèi)粘Ｓ玫腄eepSeek一樣，點(diǎn)擊打開(kāi)：
你也可以用語(yǔ)音對(duì)話，讓理想同學(xué)幫你打開(kāi)。
不過(guò)與常見(jiàn)推理模型不同的是，即便打開(kāi)了深度思考開(kāi)關(guān)，理想同學(xué)也不會(huì)每條對(duì)話都陷入沉思，而是模型自主決策要不要思考，要思考多久：
- 車(chē)控命令「不思考」，理想同學(xué)直接執(zhí)行
- 簡(jiǎn)單需求「短思考」，車(chē)機(jī)上方會(huì)顯示生成中
- 復(fù)雜需求才「深度思考」，理想同學(xué)還會(huì)說(shuō)「emmm，我得想想」
實(shí)際體驗(yàn)下來(lái)，像“我好熱啊”、“腰好酸”、“還有多久到目的地”這類(lèi)對(duì)話，即便是處于「深度思考」模式下，理想同學(xué)也會(huì)分別打開(kāi)空調(diào)、座椅按摩、顯示目的地，瞬間響應(yīng)，無(wú)需思考。
而對(duì)于車(chē)主的一些復(fù)雜需求，比方說(shuō)，你想去北京旅游，但又不想品鑒老北京豆汁兒，那就直接把定制攻略的需求說(shuō)給理想同學(xué)。
稍等幾秒，私人定制的旅行攻略就出來(lái)了，精確到每個(gè)小時(shí)去哪兒玩，吃什么(pass掉了豆汁)，花多少錢(qián)。：
家孩子在車(chē)上不睡覺(jué)鬧騰，你可以讓TA現(xiàn)編個(gè)故事哄哄孩子：
老婆打電話溝通房子買(mǎi)哪兒，你也可以問(wèn)問(wèn)理想同學(xué)：
這都是理想同學(xué)深度思考后給出的答案，而且比常見(jiàn)的推理模型響應(yīng)要快一點(diǎn)。
自主選擇思考長(zhǎng)度，更快的深度思考，這背后是怎么實(shí)現(xiàn)的？
「汽車(chē)版DeepSeek」的實(shí)現(xiàn)過(guò)程
理想此前自研的MindGPT大家都比較熟悉了，「汽車(chē)版DeepSeek」實(shí)際就是以MindGPT為基座模型，進(jìn)行了后訓(xùn)練，指令微調(diào)和強(qiáng)化學(xué)習(xí)多階段優(yōu)化。
首先，由于模型能力和數(shù)據(jù)質(zhì)量直接相關(guān)，所以理想在訓(xùn)練數(shù)據(jù)上做了非常細(xì)致的工作。
據(jù)介紹，理想基于過(guò)去已有的1100多個(gè)技能體系，根據(jù)問(wèn)題復(fù)雜度和場(chǎng)景，對(duì)數(shù)據(jù)做了精細(xì)歸類(lèi)。
數(shù)據(jù)類(lèi)型主要分三種：
第一類(lèi)，適合做長(zhǎng)推理的多輪對(duì)話樣本，規(guī)模在數(shù)十萬(wàn)級(jí)，用DeepSeek去產(chǎn)出思考過(guò)程，然后將產(chǎn)出結(jié)果作為訓(xùn)練深度思考能力的數(shù)據(jù)。
第二類(lèi)，不適合做長(zhǎng)推理，但是仍然需要短思考的數(shù)據(jù)，還是借助DeepSeek加工形成的短思考數(shù)據(jù)，規(guī)模大概在十萬(wàn)級(jí)。
第三類(lèi)則是以往存儲(chǔ)的不需要思考的數(shù)據(jù)，這部分?jǐn)?shù)據(jù)最多，據(jù)了解規(guī)模在百萬(wàn)級(jí)，理想從中做了抽樣。
這三類(lèi)數(shù)據(jù)最終合在一起對(duì)模型做后訓(xùn)練，模型就具備了長(zhǎng)思考能力，同時(shí)也會(huì)自主決策是否需要思考，以及思考長(zhǎng)短。
完成模型訓(xùn)練后，理想又遇到了另一個(gè)痛點(diǎn)：
如何讓模型在深度思考的同時(shí)，又能響應(yīng)的更快？
理想關(guān)注的首要指標(biāo)是首token響應(yīng)時(shí)間，最快可達(dá)0.3秒。
背后主要是三項(xiàng)措施：
- PD分離，將Prefill和Decoder分離部署
- 由于Prefill階段對(duì)首Token影響最大，這一階段采用高性能Attention機(jī)制
- 多卡并行推理工程優(yōu)化
看上去實(shí)現(xiàn)過(guò)程并不復(fù)雜，但實(shí)際上理想遇到了很多挑戰(zhàn)，春節(jié)復(fù)工歸來(lái)就定下了4月初上新的時(shí)間點(diǎn)，然后開(kāi)啟沖刺，時(shí)間緊，任務(wù)重。
為什么理想車(chē)端不直接用DeepSeek，而是自研推理模型？
為什么自研車(chē)端推理模型？
據(jù)理想汽車(chē)透露，其打造車(chē)端推理模型有內(nèi)外兩大因素：
據(jù)介紹，實(shí)際上此前理想的車(chē)主就有這方面需求。有的車(chē)主日常會(huì)問(wèn)車(chē)機(jī)一些時(shí)事新聞，然后想了解背后的投資建議，比如最近瘋漲的金價(jià)。
也有車(chē)主上班路上突然接到通知要開(kāi)會(huì)，但是對(duì)會(huì)議主題涉及的市場(chǎng)又不夠了解，想讓模型歸納相關(guān)信息進(jìn)行分析。
過(guò)去的模型不能滿(mǎn)足車(chē)主這方面的需求，理想便考慮上車(chē)推理模型。
然后DeepSeek火爆海內(nèi)外，加速了上車(chē)過(guò)程。
DeepSeek強(qiáng)大的破圈效應(yīng)讓很多用戶(hù)第一次了解到AI的威力，原來(lái)AI可以深度思考，提供如此強(qiáng)大的分析能力。
有的車(chē)主就直接來(lái)問(wèn)理想：
- 你們什么時(shí)候接入DeepSeek？
這樣的問(wèn)題，相信業(yè)內(nèi)不只有理想收到了。這也是為什么春節(jié)復(fù)工后，一眾車(chē)企爭(zhēng)先宣布接入DeepSeek。
實(shí)際上，理想同學(xué)App此前也接入了滿(mǎn)血版的DeepSeek。
那為什么還要理想要在車(chē)端自研推理模型呢？
理想汽車(chē)認(rèn)為，DeepSeek更傾向電腦和手機(jī)等終端場(chǎng)景，車(chē)載場(chǎng)景更加垂直，不管是車(chē)主的相關(guān)知識(shí)需求，還是對(duì)話要求的響應(yīng)速度，都需要打造一個(gè)「汽車(chē)版DeepSeek」。
現(xiàn)有的推理模型，一般思考時(shí)間都比較長(zhǎng)，而且思考后輸出的內(nèi)容也很長(zhǎng)，但車(chē)主并不是每次對(duì)話都需要一個(gè)很豐富的內(nèi)容作為回應(yīng)。你是個(gè)好模型，只是咱們不合適。
所以理想認(rèn)為，需要一個(gè)「汽車(chē)版的DeepSeek」，能提高模型思考能力的同時(shí)，也能更靈活快速地響應(yīng)車(chē)主對(duì)話，避免車(chē)主問(wèn)一個(gè)問(wèn)題無(wú)法得到及時(shí)回復(fù)，而且回復(fù)顯得冗長(zhǎng)。
模型自主決策是否思考和思考長(zhǎng)度，這區(qū)別于目前的主流方案。
這一特性有希望推廣到其他場(chǎng)景嗎？
理想汽車(chē)也對(duì)未來(lái)趨勢(shì)做出了展望，這很可能會(huì)是后續(xù)AI助手應(yīng)用的一個(gè)發(fā)展方向。
結(jié)合當(dāng)前行業(yè)進(jìn)展，以及理想對(duì)理想同學(xué)的追求來(lái)看，或許理想未來(lái)會(huì)在端側(cè)部署大模型，以加快響應(yīng)車(chē)主相關(guān)需求。
也有分析指出，由于英偉達(dá)Thor即將上車(chē)，更充沛的算力和前瞻設(shè)計(jì)，也為未來(lái)實(shí)現(xiàn)「艙駕一體」提供了可能。
會(huì)深度思考的理想同學(xué)，是不是朝著李想此前提出的「硅基家人」，又近了一步doge？
理想自研推理模型，解決你的痛點(diǎn)了嗎？
熱門(mén)跟貼