夢(mèng)晨 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
DeepSeek即將發(fā)布R2？？坊間傳聞越來(lái)越多了，且難辨真假。
1.2T萬(wàn)億參數(shù)，5.2PB訓(xùn)練數(shù)據(jù)，高效利用華為芯片……只能說(shuō)如果有一半是真的都很牛了。
HuggingFace創(chuàng)始人此時(shí)推薦“以不變應(yīng)萬(wàn)變”，打開(kāi)官方認(rèn)證賬號(hào)的更新提醒，就能第一時(shí)間獲取通知。
拋開(kāi)具體泄露數(shù)據(jù)是否準(zhǔn)確，大家似乎有一個(gè)共識(shí)：如果真的有R2，它的基礎(chǔ)模型會(huì)是新版DeepSeek V3-0324。
之所以有很多人相信R2會(huì)在4月底發(fā)布，有一部分原因也是出于R1與V3之間相隔了一個(gè)月左右。
現(xiàn)在，等不及DeepSeek官方，開(kāi)源社區(qū)已經(jīng)開(kāi)始自己動(dòng)手給V3-0324加入深度思考了。
新模型DeepSeek-R1T-Chimera，能力與原版R1相當(dāng)，但速度更快，輸出token減少40%，也是基于MIT協(xié)議開(kāi)放權(quán)重。
相當(dāng)于擁有接近R1的能力和接近V3-0324的速度，結(jié)合了兩者的優(yōu)點(diǎn)。
而且做到這一點(diǎn)，不是靠微調(diào)或蒸餾，而是DeepSeek V3-0324和R1兩個(gè)模型融合而成。
R1+V3融合模型
新模型R1T-Chimera并非DeepSeek官方出品，而是來(lái)自德國(guó)團(tuán)隊(duì)TNG Technology Consulting。
該團(tuán)隊(duì)此前也探索過(guò)可調(diào)專家混合（MoTE）方法， 讓DeepSeek-R1在推理部署時(shí)可以改變行為。
新的R1T-Chimera模型權(quán)重可在HuggingFace下載，也可以在OpenRouter免費(fèi)在線試玩。
目前已知是選用了V3-0324的共享專家+R1與V3-0324的路由專家的混合體融合而來(lái)。
TNG團(tuán)隊(duì)表示最終結(jié)果令人驚訝，不僅沒(méi)有表現(xiàn)出融合模型的缺陷，相反，思考過(guò)程還比原版R1更緊湊有序。
暫沒(méi)有技術(shù)報(bào)告或更詳細(xì)的模型融合方法公布，要驗(yàn)證它是否符合描述，就只能拉出來(lái)試一試了。
我們選用最新折磨AI的難題“7米長(zhǎng)的甘蔗如何通過(guò)2米高1米寬的門？”。
原版R1思考了13秒就下了結(jié)論；R1T Chimera在這里卻足足思考了101秒，最終計(jì)算出可以通過(guò)。
雖然還是無(wú)法像人類一樣直觀的理解三維空間，讓甘蔗與門的平面垂直就可通過(guò)，但依然通過(guò)計(jì)算夾角與投影得出了結(jié)論。
在這100秒時(shí)間里R1T-Chimera如何一步步思考出答案呢？
展開(kāi)推理token可以發(fā)現(xiàn)，在簡(jiǎn)單計(jì)算二維方案不可行后，它就已經(jīng)想到了三維方案。
后面依然陷入了各種誤區(qū)，在旋轉(zhuǎn)甘蔗、彎曲甘蔗、計(jì)算“門的厚度”上走了彎路。
最終通過(guò)“揣摩出題人心理”走進(jìn)正確的路線。
最終給出的答案非常嚴(yán)謹(jǐn)了。
雖然人類直覺(jué)上就能想出把甘蔗垂直起來(lái)通過(guò)這個(gè)方法，但仔細(xì)一想，題目中確實(shí)沒(méi)有給出“門后有多少空間這個(gè)條件”。
細(xì)還是AI細(xì)。
關(guān)于R1T-Chimera的更多細(xì)節(jié)，大家還在等TNG團(tuán)隊(duì)消息和更多第三方基準(zhǔn)測(cè)試結(jié)果。
不過(guò)也有人注意到，KIMI K1.5技術(shù)報(bào)告中也探索了模型融合方法。
具體來(lái)說(shuō)是把長(zhǎng)思維鏈（long-cot）模型和短思維鏈（short-cot）模型融合，直接對(duì)兩個(gè)模型的權(quán)重取平均值，獲得一個(gè)新模型，無(wú)需重新訓(xùn)練。
不過(guò)在實(shí)驗(yàn)中，這種簡(jiǎn)單融合方法表現(xiàn)并不如這篇論文中提出的Long2short強(qiáng)化學(xué)習(xí)方法。
另一個(gè)在模型融合上有經(jīng)驗(yàn)的團(tuán)隊(duì)是Transformer作者Llion Jones創(chuàng)辦的Sakana AI。
早在24年初就結(jié)合進(jìn)化算法提出以block為單位融合的方法。
隨著更多團(tuán)隊(duì)跟進(jìn)這一路線，模型融合會(huì)不會(huì)成為2025年大模型的一大技術(shù)趨勢(shì)呢？歡迎在評(píng)論區(qū)留下你的看法。
HuggingFace：
https://huggingface.co/tngtech/DeepSeek-R1T-Chimera
在線試玩：
https://openrouter.ai/tngtech/deepseek-r1t-chimera:free
參考鏈接：
[1]https://x.com/tngtech/status/1916284566127444468
熱門跟貼