昨日晚間，玩家@deedydas在社交媒體平臺(tái)爆料了深度求索即將發(fā)布的下一代AI大模型DeepSeek-R2的參數(shù)信息。
根據(jù)爆料信息，DeepSeek-R2大模型將會(huì)采用一種更先進(jìn)的混合專家模型（MoE），結(jié)合了更加智能的門控網(wǎng)絡(luò)層（Gating Network），以優(yōu)化高負(fù)載推理任務(wù)的性能。在MoE架構(gòu)的加持下，DeepSeek-R2的模型總參數(shù)量預(yù)計(jì)將達(dá)到1.2萬(wàn)億，較之DeepSeek-R1（6710億參數(shù)）提升約1倍。從規(guī)模上來(lái)看，DeepSeek-R2與ChatGPT的GPT-4 Turbo以及谷歌的Gemini 2.0 Pro相當(dāng)。
在硬件平臺(tái)方面，DeepSeek-R2實(shí)現(xiàn)了基于華為昇騰 910B（Ascend 910B）芯片集群平臺(tái)的訓(xùn)練方案，在 FP16 精度下實(shí)現(xiàn)了 512 PetaFLOPS 的計(jì)算性能，芯片資源利用率達(dá)到 82%。根據(jù)華為實(shí)驗(yàn)室的數(shù)據(jù)，這一算力大約是英偉達(dá)上一代A100訓(xùn)練集群的91%。
可能得益于華為昇騰910B訓(xùn)練集群，DeepSeek-R2的單位推理成本較之GPT-4下降了97.4%，DeepSeek-R2的成本約為0.07美元/百萬(wàn)token，而GPT-4則高達(dá)0.27美元/百萬(wàn)token。
鑒于目前美國(guó)斷供英偉達(dá)H20芯片，采用華為昇騰910B訓(xùn)練集群無(wú)疑可以降低對(duì)海外高端AI芯片的依賴。此外，華為全新的昇騰910C芯片也已經(jīng)逐步開(kāi)始進(jìn)入大規(guī)模量產(chǎn)階段，CloudMatrix 384超節(jié)點(diǎn)采用384顆昇騰910C芯片，或?qū)⒊蔀橛ミ_(dá)NVL72集群的替代方案，有助于進(jìn)一步提高我國(guó)人工智能領(lǐng)域的硬件自主化水平。
熱門跟貼