本文由半導(dǎo)體產(chǎn)業(yè)縱橫（ID：ICVIEWS）編譯自ieee spectrum
Nvidia Blackwell在AI推理領(lǐng)域領(lǐng)先，AMD 位居第二。
在 MLCommons 發(fā)布的最新一輪機(jī)器學(xué)習(xí)基準(zhǔn)測試結(jié)果中，基于 Nvidia 全新 Blackwell GPU 架構(gòu)構(gòu)建的計算機(jī)表現(xiàn)優(yōu)于其他所有計算機(jī)。但 AMD 的最新 Instinct GPU MI325 卻與其競爭對手Nvidia H200相媲美。兩者的可比結(jié)果主要來自對較小規(guī)模大型語言模型之一Llama2 70B（700 億個參數(shù)）的測試。然而，為了跟上快速變化的人工智能格局，MLPerf增加了三個新基準(zhǔn)測試，以更好地反映機(jī)器學(xué)習(xí)的發(fā)展方向。
MLPerf 針對機(jī)器學(xué)習(xí)系統(tǒng)進(jìn)行基準(zhǔn)測試，旨在提供計算機(jī)系統(tǒng)之間的同類比較。提交者使用自己的軟件和硬件，但底層神經(jīng)網(wǎng)絡(luò)必須相同。目前共有 11 個服務(wù)器基準(zhǔn)測試，今年又增加了 3 個。
MLPerf Inference 聯(lián)合主席 Miro Hodak 表示，“很難跟上該領(lǐng)域的快速發(fā)展”。ChatGPT直到 2022 年底才出現(xiàn)，OpenAI于去年 9 月推出了其首個可以推理任務(wù)的大型語言模型 (LLM)，LLM 呈指數(shù)級增長——GPT3 擁有 1750 億個參數(shù)，而 GPT4 被認(rèn)為擁有近 2 萬億個參數(shù)。由于這些飛速的創(chuàng)新，“我們加快了將新基準(zhǔn)引入該領(lǐng)域的步伐，”Hodak 說。
新的基準(zhǔn)測試包括兩個 LLM。流行且相對緊湊的 Llama2 70B 已經(jīng)是成熟的 MLPerf 基準(zhǔn)測試，但該聯(lián)盟希望能夠模仿人們今天對聊天機(jī)器人的期望的響應(yīng)能力。因此，新的基準(zhǔn)測試“Llama2-70B Interactive”收緊了要求。在任何情況下，計算機(jī)每秒必須至少產(chǎn)生 25 個指令，并且開始回答的時間不能超過 450 毫秒。
在看到“代理AI”的崛起——能夠處理復(fù)雜任務(wù)的神經(jīng)網(wǎng)絡(luò)——MLPerf試圖測試一個具有所需某些特征的LLM。他們選擇了Llama3.1 405B來完成這項工作。這個LLM具有所謂的寬上下文窗口。這是衡量它一次可以吸收多少信息——文檔、代碼樣本等——的指標(biāo)。對于Llama3.1 405 B來說，這是128,000個指令，是Llama2 70B的30倍以上。
最后一個新基準(zhǔn)稱為 RGAT，即所謂的圖注意力網(wǎng)絡(luò)。它的作用是對網(wǎng)絡(luò)中的信息進(jìn)行分類。例如，用于測試 RGAT 的數(shù)據(jù)集由科學(xué)論文組成，這些論文在作者、機(jī)構(gòu)和研究領(lǐng)域之間都有關(guān)系，構(gòu)成了 2TB 的數(shù)據(jù)。RGAT 必須將論文分為不到 3,000 個主題。
Blackwell，測試結(jié)果
英偉達(dá)主導(dǎo) MLPerf 基準(zhǔn)測試。其第一代和第二代 Hopper 架構(gòu) GPU——H100 和內(nèi)存增強(qiáng)型 H200——都表現(xiàn)出色。英偉達(dá)加速計算產(chǎn)品總監(jiān)戴夫·薩爾瓦托（Dave Salvator）表示，從 2022 年投入生產(chǎn)的 Hopper 架構(gòu) GPU 來看，“我們在過去一年中又獲得了 60% 的性能提升。在性能方面，它仍有一些提升空間?！?/p>
但是，真正占據(jù)主導(dǎo)地位的是英偉達(dá)的Blackwell架構(gòu)GPU，即B200?！氨菻opper更快的唯一東西就是Blackwell，”Salvator說。與H200相比，B200的高帶寬內(nèi)存增加了36%，但更重要的是，它可以使用精度低至4位的數(shù)字執(zhí)行關(guān)鍵的機(jī)器學(xué)習(xí)數(shù)學(xué)運算，而不是Hopper開創(chuàng)的8位精度。精度較低的計算單元更小，因此更適合GPU，從而加快了AI計算速度。
在Llama3.1 405B基準(zhǔn)測試中，Supermicro的八臺B200系統(tǒng)每秒提供的指令數(shù)量幾乎是思科八臺H200系統(tǒng)的四倍。同樣的Supermicro系統(tǒng)比Llama2 70B交互版本中速度最快的H200計算機(jī)快三倍。
英偉達(dá)使用其Blackwell GPU和Grace CPU的組合，稱為GB200，展示了其NVL72數(shù)據(jù)鏈接如何能夠很好地整合機(jī)架中的多臺服務(wù)器，使它們像一臺巨大的GPU一樣運行。在一項未經(jīng)驗證的結(jié)果中，該公司分享，基于GB200的完整機(jī)架在Llama2 70B上每秒提供869,200個指令。在這一輪MLPerf中報告的最快系統(tǒng)是英偉達(dá)的B200服務(wù)器，其每秒提供98,443個指令。
AMD將其最新的 Instinct GPUMI325X 定位為性能可與 Nvidia 的 H200 相媲美的產(chǎn)品。MI325X 擁有與其前身 MI300 相同的架構(gòu)，但增加了更多的高帶寬內(nèi)存和內(nèi)存帶寬 — 256 GB 和 6 TB/秒（分別提高了 33% 和 13%）。
添加更多內(nèi)存是為了處理越來越大的 LLM?！案蟮哪Ｐ湍軌蚶眠@些 GPU，因為模型可以裝入單個 GPU 或單個服務(wù)器中，” AMD 數(shù)據(jù)中心 GPU 營銷總監(jiān)Mahesh Balasubramanian說?！耙虼耍悴槐爻袚?dān)從一個 GPU 到另一個 GPU 或從一個服務(wù)器到另一個服務(wù)器的通信開銷。當(dāng)你消除這些通信時，延遲會大大改善。”AMD 能夠通過軟件優(yōu)化利用額外的內(nèi)存，將 DeepSeek-R1 的推理速度提高八倍。
在 Llama2 70B 測試中，八 GPU MI325X 計算機(jī)的速度與同樣配置的 H200 系統(tǒng)相比，只相差 3% 到 7%。在圖像生成方面，MI325X 系統(tǒng)的速度與 Nvidia H200 計算機(jī)相比，只相差 10% 以內(nèi)。
AMD 本輪另一個值得注意的成績來自其合作伙伴 Mangoboost，通過在四臺計算機(jī)上進(jìn)行計算，它在 Llama2 70B 測試中表現(xiàn)出了近四倍的性能。
英特爾歷來在推理競賽中推出僅使用 CPU 的系統(tǒng)，以表明對于某些工作負(fù)載，您實際上并不需要 GPU。 這次看到了來自英特爾 Xeon 6 芯片的首批數(shù)據(jù)，該芯片以前稱為 Granite Rapids，采用英特爾的 3 納米工藝制造。 在每秒 40,285 個樣本的情況下，雙 Xeon 6 計算機(jī)的最佳圖像識別結(jié)果約為配備兩個 Nvidia H100 的思科計算機(jī)性能的三分之一。
與 2024 年 10 月的 Xeon 5 結(jié)果相比，新 CPU 在該基準(zhǔn)測試中提升了約 80%，在物體檢測和醫(yī)學(xué)成像方面的表現(xiàn)更是大幅提升。自 2021 年首次提交 Xeon 結(jié)果（Xeon 3）以來，該公司在 Resnet 上的性能提升了 11 倍。
目前，英特爾似乎已經(jīng)退出了 AI 加速器芯片之爭。其 Nvidia H100 的替代品Gaudi 3既未出現(xiàn)在新的 MLPerf 結(jié)果中，也未出現(xiàn)在去年 10 月發(fā)布的 4.1 版中。Gaudi 3 的發(fā)布時間晚于計劃，因為其軟件尚未準(zhǔn)備好。在英特爾愿景 2025 （該公司僅限受邀參加的客戶會議）的開幕詞中，新任首席執(zhí)行官陳立武 (Lip-Bu Tan) 似乎為英特爾在 AI 方面的努力表示歉意。他告訴與會者： “我對我們目前的狀況不滿意。你們也不滿意。我清楚地聽到了你們的聲音。我們正在努力建立一個有競爭力的系統(tǒng)。這不會在一夜之間發(fā)生，但我們會為你們實現(xiàn)目標(biāo)?！?/p>
谷歌的TPU v6e 芯片也表現(xiàn)出色，盡管結(jié)果僅限于圖像生成任務(wù)。在 2024 年 10 月的結(jié)果中，4-TPU 系統(tǒng)以每秒 5.48 次查詢的速度比使用其前身 TPU v5e 的類似計算機(jī)提高了 2.5 倍。即便如此，每秒 5.48 次查詢的速度與使用 Nvidia H100 的 類似尺寸的聯(lián)想計算機(jī)大致相當(dāng)。
*聲明：本文系原作者創(chuàng)作。文章內(nèi)容系其個人觀點，我方轉(zhuǎn)載僅為分享與討論，不代表我方贊成或認(rèn)同，如有異議，請聯(lián)系后臺。
熱門跟貼