4月29日消息,據(jù)國內(nèi)媒體報道稱,深度求索可能會在下個月有所行動,推出下一代AI大模型DeepSeek-R2。
報道稱,DeepSeek-R2大模型將會采用一種更先進(jìn)的混合專家模型(MoE),其結(jié)合了更加智能的門控網(wǎng)絡(luò)層(Gating Network)以優(yōu)化高負(fù)載推理任務(wù)的性能。
有分析師預(yù)計,DeepSeek-R2的定價可能顯著低于OpenAI同類產(chǎn)品,預(yù)示著其可能顛覆現(xiàn)有AI服務(wù)的定價模式。
此外,還有相關(guān)消息顯示,DeepSeek-R2預(yù)計比GPT-4成本下降97%;并且是在昇騰卡上做的訓(xùn)練,主打一個全方位全產(chǎn)業(yè)鏈的自主可控。
據(jù)相關(guān)人士透露的情況,DeepSeek-R2的總參數(shù)量可能會達(dá)到1.2萬億,比DeepSeek-R1的6710億參數(shù)增加大約一倍。
DeepSeek-R2是一款基于華為昇騰910B(Ascend 910B)芯片集群訓(xùn)練的模型,在FP16精度下達(dá)到512PetaFLOPS的計算能力,芯片使用效率為82%。
據(jù)華為實驗室統(tǒng)計,這個性能相當(dāng)于英偉達(dá)上一代A100訓(xùn)練集群的91%左右。至于這些是不是真實的,還有待觀察,但看起來確實更強大、更自主了。
打開網(wǎng)易新聞 查看精彩圖片
熱門跟貼