今天，聯(lián)想宣布旗下首款A(yù)MD AI大模型訓(xùn)練服務(wù)器聯(lián)想問(wèn)天WA7785a G3在單機(jī)部署671B（滿(mǎn)血版）DeepSeek大模型時(shí)，可實(shí)現(xiàn)極限吞吐量6708token/s。
一舉將單臺(tái)服務(wù)器運(yùn)行大模型的性能推向了新高，充分展現(xiàn)了聯(lián)想在A(yíng)I基礎(chǔ)設(shè)施領(lǐng)域技術(shù)的深厚積淀與研發(fā)的快速響應(yīng)能力。
在A(yíng)I算力競(jìng)爭(zhēng)日趨白熱化的今天，聯(lián)想再次以硬核技術(shù)實(shí)力樹(shù)立了行業(yè)新標(biāo)桿。
軟硬協(xié)同打造業(yè)界性能新標(biāo)桿
依托聯(lián)想萬(wàn)全異構(gòu)智算平臺(tái)，聯(lián)想通過(guò)訪(fǎng)存優(yōu)化、顯存優(yōu)化、PCIe 5.0全互聯(lián)架構(gòu)創(chuàng)新以及精選SGLang框架中性能最優(yōu)算子等諸多創(chuàng)新方式，對(duì)大模型從預(yù)訓(xùn)練、后訓(xùn)練到推理的全流程進(jìn)行持續(xù)優(yōu)化。
在單臺(tái)部署DeepSeek 671B大模型的聯(lián)想問(wèn)天WA7785a G3上實(shí)測(cè)最高吞吐量達(dá)6708 token/s。
在模擬問(wèn)題對(duì)話(huà)場(chǎng)景（上下文序列長(zhǎng)度128/1K）時(shí)，最高可支持并發(fā)數(shù)158，TPOT 93毫秒, TTFT 2.01秒；
而在模擬代碼生成（上下文序列長(zhǎng)度512/4K ）時(shí)，并發(fā)數(shù)可達(dá)140，TPOT 100毫秒, TTFT 5.53秒。
這一成績(jī)意味著單臺(tái)聯(lián)想問(wèn)天WA7785a G3可以支撐1500人規(guī)模企業(yè)的正常使用，是繼聯(lián)想問(wèn)天WA7780 G3服務(wù)器單機(jī)部署滿(mǎn)血版DeepSeek 大模型總吞吐量突破2500 token/s之后，單機(jī)部署該大模型推理性能的又一次突破。
此次突破是聯(lián)想中國(guó)基礎(chǔ)設(shè)施業(yè)務(wù)群、聯(lián)想研究院ICI實(shí)驗(yàn)室和AMD聯(lián)合設(shè)計(jì)、協(xié)同調(diào)優(yōu)、共同實(shí)現(xiàn)的。
當(dāng)然，該結(jié)果也并非最終結(jié)果， 聯(lián)想與AMD 還在持續(xù)嘗試深度調(diào)優(yōu)新方法。實(shí)現(xiàn)更高調(diào)優(yōu)突破。
硬核配置構(gòu)筑強(qiáng)大DeepSeek算力底座
聯(lián)想問(wèn)天 WA7785a G3服務(wù)器是聯(lián)想與AMD雙方深度合作的智慧結(jié)晶，正是雙方通力合作帶來(lái)的技術(shù)創(chuàng)新、軟硬協(xié)同能力與架構(gòu)突破為DeepSeek-R1滿(mǎn)血版大模型插上性能騰飛的翅膀。
▋強(qiáng)大算力引擎：
聯(lián)想問(wèn)天WA7785a G3搭載了2顆AMD處理器和8顆AMD新一代Instinct OAM GPU，它們?yōu)榇竽Ｐ陀?xùn)練、推理等場(chǎng)景提供了強(qiáng)大的算力引擎。
▋超大顯存優(yōu)勢(shì)：
聯(lián)想問(wèn)天WA7785a G3擁有超大的顯存容量，單顆GPU的HBM3e顯存容量高達(dá)192GB，總計(jì)達(dá)1.5TB。超大顯存使得單機(jī)支持全量模型推理情況下，仍保留充足的KV緩存空間。而其顯存帶寬達(dá)到了驚人的5.3TB/s，GPU聚合帶寬達(dá)896GB/s，節(jié)點(diǎn)間網(wǎng)絡(luò)帶寬3.2TB/s，更高的帶寬可為推理解碼實(shí)現(xiàn)極致加速，充分滿(mǎn)足了大模型并行計(jì)算時(shí)對(duì)跨節(jié)點(diǎn)通信的高帶寬需求，使其成為用戶(hù)首選大模型推理服務(wù)器。
▋特有創(chuàng)新架構(gòu)：
聯(lián)想問(wèn)天WA7785a G3的獨(dú)特架構(gòu)設(shè)計(jì)也為最大程度地釋放算力潛能、突破帶寬限制發(fā)揮了關(guān)鍵作用，其三重獨(dú)立風(fēng)道設(shè)計(jì)分別針對(duì)CPU節(jié)點(diǎn)、GPU節(jié)點(diǎn)和交換機(jī)節(jié)點(diǎn)進(jìn)行精準(zhǔn)散熱控制，提高了散熱效率，為服務(wù)器的穩(wěn)定性和可靠性提供了有力保障。
未來(lái)，聯(lián)想將持續(xù)深化與產(chǎn)業(yè)伙伴的技術(shù)協(xié)作，通過(guò)架構(gòu)創(chuàng)新、算法優(yōu)化與硬件技術(shù)創(chuàng)新，不斷突破性能邊界，為各行業(yè)提供更高密度、更低能耗、更易部署的AI算力基礎(chǔ)設(shè)施，推動(dòng)AI算力向更高效、更普惠、更可持續(xù)的方向演進(jìn)，助力中國(guó)智算產(chǎn)業(yè)的持續(xù)發(fā)展。
熱門(mén)跟貼