本文由半導(dǎo)體產(chǎn)業(yè)縱橫（ID：ICVIEWS）編譯自ieee spectrum
Nvidia Blackwell在AI推理領(lǐng)域領(lǐng)先，AMD 位居第二。
在 MLCommons 發(fā)布的最新一輪機(jī)器學(xué)習(xí)基準(zhǔn)測(cè)試結(jié)果中，基于 Nvidia 全新 Blackwell GPU 架構(gòu)構(gòu)建的計(jì)算機(jī)表現(xiàn)優(yōu)于其他所有計(jì)算機(jī)。但 AMD 的最新 Instinct GPU MI325 卻與其競(jìng)爭(zhēng)對(duì)手Nvidia H200相媲美。兩者的可比結(jié)果主要來(lái)自對(duì)較小規(guī)模大型語(yǔ)言模型之一Llama2 70B（700 億個(gè)參數(shù)）的測(cè)試。然而，為了跟上快速變化的人工智能格局，MLPerf增加了三個(gè)新基準(zhǔn)測(cè)試，以更好地反映機(jī)器學(xué)習(xí)的發(fā)展方向。
MLPerf 針對(duì)機(jī)器學(xué)習(xí)系統(tǒng)進(jìn)行基準(zhǔn)測(cè)試，旨在提供計(jì)算機(jī)系統(tǒng)之間的同類比較。提交者使用自己的軟件和硬件，但底層神經(jīng)網(wǎng)絡(luò)必須相同。目前共有 11 個(gè)服務(wù)器基準(zhǔn)測(cè)試，今年又增加了 3 個(gè)。
MLPerf Inference 聯(lián)合主席 Miro Hodak 表示，“很難跟上該領(lǐng)域的快速發(fā)展”。ChatGPT直到 2022 年底才出現(xiàn)，OpenAI于去年 9 月推出了其首個(gè)可以推理任務(wù)的大型語(yǔ)言模型 (LLM)，LLM 呈指數(shù)級(jí)增長(zhǎng)——GPT3 擁有 1750 億個(gè)參數(shù)，而 GPT4 被認(rèn)為擁有近 2 萬(wàn)億個(gè)參數(shù)。由于這些飛速的創(chuàng)新，“我們加快了將新基準(zhǔn)引入該領(lǐng)域的步伐，”Hodak 說(shuō)。
新的基準(zhǔn)測(cè)試包括兩個(gè) LLM。流行且相對(duì)緊湊的 Llama2 70B 已經(jīng)是成熟的 MLPerf 基準(zhǔn)測(cè)試，但該聯(lián)盟希望能夠模仿人們今天對(duì)聊天機(jī)器人的期望的響應(yīng)能力。因此，新的基準(zhǔn)測(cè)試“Llama2-70B Interactive”收緊了要求。在任何情況下，計(jì)算機(jī)每秒必須至少產(chǎn)生 25 個(gè)指令，并且開始回答的時(shí)間不能超過(guò) 450 毫秒。
在看到“代理AI”的崛起——能夠處理復(fù)雜任務(wù)的神經(jīng)網(wǎng)絡(luò)——MLPerf試圖測(cè)試一個(gè)具有所需某些特征的LLM。他們選擇了Llama3.1 405B來(lái)完成這項(xiàng)工作。這個(gè)LLM具有所謂的寬上下文窗口。這是衡量它一次可以吸收多少信息——文檔、代碼樣本等——的指標(biāo)。對(duì)于Llama3.1 405 B來(lái)說(shuō)，這是128,000個(gè)指令，是Llama2 70B的30倍以上。
最后一個(gè)新基準(zhǔn)稱為 RGAT，即所謂的圖注意力網(wǎng)絡(luò)。它的作用是對(duì)網(wǎng)絡(luò)中的信息進(jìn)行分類。例如，用于測(cè)試 RGAT 的數(shù)據(jù)集由科學(xué)論文組成，這些論文在作者、機(jī)構(gòu)和研究領(lǐng)域之間都有關(guān)系，構(gòu)成了 2TB 的數(shù)據(jù)。RGAT 必須將論文分為不到 3,000 個(gè)主題。
Blackwell，測(cè)試結(jié)果
英偉達(dá)主導(dǎo) MLPerf 基準(zhǔn)測(cè)試。其第一代和第二代 Hopper 架構(gòu) GPU——H100 和內(nèi)存增強(qiáng)型 H200——都表現(xiàn)出色。英偉達(dá)加速計(jì)算產(chǎn)品總監(jiān)戴夫·薩爾瓦托（Dave Salvator）表示，從 2022 年投入生產(chǎn)的 Hopper 架構(gòu) GPU 來(lái)看，“我們?cè)谶^(guò)去一年中又獲得了 60% 的性能提升。在性能方面，它仍有一些提升空間?！?/p>
但是，真正占據(jù)主導(dǎo)地位的是英偉達(dá)的Blackwell架構(gòu)GPU，即B200?！氨菻opper更快的唯一東西就是Blackwell，”Salvator說(shuō)。與H200相比，B200的高帶寬內(nèi)存增加了36%，但更重要的是，它可以使用精度低至4位的數(shù)字執(zhí)行關(guān)鍵的機(jī)器學(xué)習(xí)數(shù)學(xué)運(yùn)算，而不是Hopper開創(chuàng)的8位精度。精度較低的計(jì)算單元更小，因此更適合GPU，從而加快了AI計(jì)算速度。
在Llama3.1 405B基準(zhǔn)測(cè)試中，Supermicro的八臺(tái)B200系統(tǒng)每秒提供的指令數(shù)量幾乎是思科八臺(tái)H200系統(tǒng)的四倍。同樣的Supermicro系統(tǒng)比Llama2 70B交互版本中速度最快的H200計(jì)算機(jī)快三倍。
英偉達(dá)使用其Blackwell GPU和Grace CPU的組合，稱為GB200，展示了其NVL72數(shù)據(jù)鏈接如何能夠很好地整合機(jī)架中的多臺(tái)服務(wù)器，使它們像一臺(tái)巨大的GPU一樣運(yùn)行。在一項(xiàng)未經(jīng)驗(yàn)證的結(jié)果中，該公司分享，基于GB200的完整機(jī)架在Llama2 70B上每秒提供869,200個(gè)指令。在這一輪MLPerf中報(bào)告的最快系統(tǒng)是英偉達(dá)的B200服務(wù)器，其每秒提供98,443個(gè)指令。
AMD將其最新的 Instinct GPUMI325X 定位為性能可與 Nvidia 的 H200 相媲美的產(chǎn)品。MI325X 擁有與其前身 MI300 相同的架構(gòu)，但增加了更多的高帶寬內(nèi)存和內(nèi)存帶寬 — 256 GB 和 6 TB/秒（分別提高了 33% 和 13%）。
添加更多內(nèi)存是為了處理越來(lái)越大的 LLM?！案蟮哪Ｐ湍軌蚶眠@些 GPU，因?yàn)槟Ｐ涂梢匝b入單個(gè) GPU 或單個(gè)服務(wù)器中，” AMD 數(shù)據(jù)中心 GPU 營(yíng)銷總監(jiān)Mahesh Balasubramanian說(shuō)。“因此，你不必承擔(dān)從一個(gè) GPU 到另一個(gè) GPU 或從一個(gè)服務(wù)器到另一個(gè)服務(wù)器的通信開銷。當(dāng)你消除這些通信時(shí)，延遲會(huì)大大改善。”AMD 能夠通過(guò)軟件優(yōu)化利用額外的內(nèi)存，將 DeepSeek-R1 的推理速度提高八倍。
在 Llama2 70B 測(cè)試中，八 GPU MI325X 計(jì)算機(jī)的速度與同樣配置的 H200 系統(tǒng)相比，只相差 3% 到 7%。在圖像生成方面，MI325X 系統(tǒng)的速度與 Nvidia H200 計(jì)算機(jī)相比，只相差 10% 以內(nèi)。
AMD 本輪另一個(gè)值得注意的成績(jī)來(lái)自其合作伙伴 Mangoboost，通過(guò)在四臺(tái)計(jì)算機(jī)上進(jìn)行計(jì)算，它在 Llama2 70B 測(cè)試中表現(xiàn)出了近四倍的性能。
英特爾歷來(lái)在推理競(jìng)賽中推出僅使用 CPU 的系統(tǒng)，以表明對(duì)于某些工作負(fù)載，您實(shí)際上并不需要 GPU。 這次看到了來(lái)自英特爾 Xeon 6 芯片的首批數(shù)據(jù)，該芯片以前稱為 Granite Rapids，采用英特爾的 3 納米工藝制造。 在每秒 40,285 個(gè)樣本的情況下，雙 Xeon 6 計(jì)算機(jī)的最佳圖像識(shí)別結(jié)果約為配備兩個(gè) Nvidia H100 的思科計(jì)算機(jī)性能的三分之一。
與 2024 年 10 月的 Xeon 5 結(jié)果相比，新 CPU 在該基準(zhǔn)測(cè)試中提升了約 80%，在物體檢測(cè)和醫(yī)學(xué)成像方面的表現(xiàn)更是大幅提升。自 2021 年首次提交 Xeon 結(jié)果（Xeon 3）以來(lái)，該公司在 Resnet 上的性能提升了 11 倍。
目前，英特爾似乎已經(jīng)退出了 AI 加速器芯片之爭(zhēng)。其 Nvidia H100 的替代品Gaudi 3既未出現(xiàn)在新的 MLPerf 結(jié)果中，也未出現(xiàn)在去年 10 月發(fā)布的 4.1 版中。Gaudi 3 的發(fā)布時(shí)間晚于計(jì)劃，因?yàn)槠滠浖形礈?zhǔn)備好。在英特爾愿景 2025 （該公司僅限受邀參加的客戶會(huì)議）的開幕詞中，新任首席執(zhí)行官陳立武 (Lip-Bu Tan) 似乎為英特爾在 AI 方面的努力表示歉意。他告訴與會(huì)者： “我對(duì)我們目前的狀況不滿意。你們也不滿意。我清楚地聽到了你們的聲音。我們正在努力建立一個(gè)有競(jìng)爭(zhēng)力的系統(tǒng)。這不會(huì)在一夜之間發(fā)生，但我們會(huì)為你們實(shí)現(xiàn)目標(biāo)。”
谷歌的TPU v6e 芯片也表現(xiàn)出色，盡管結(jié)果僅限于圖像生成任務(wù)。在 2024 年 10 月的結(jié)果中，4-TPU 系統(tǒng)以每秒 5.48 次查詢的速度比使用其前身 TPU v5e 的類似計(jì)算機(jī)提高了 2.5 倍。即便如此，每秒 5.48 次查詢的速度與使用 Nvidia H100 的 類似尺寸的聯(lián)想計(jì)算機(jī)大致相當(dāng)。
*聲明：本文系原作者創(chuàng)作。文章內(nèi)容系其個(gè)人觀點(diǎn)，我方轉(zhuǎn)載僅為分享與討論，不代表我方贊成或認(rèn)同，如有異議，請(qǐng)聯(lián)系后臺(tái)。
熱門跟貼