芯東西（公眾號(hào)：aichip001）
作者 陳駿達(dá)
編輯 心緣
芯東西4月10日報(bào)道，今天，在谷歌云Next大會(huì)上，谷歌發(fā)布第七代TPU芯片Ironwood。谷歌機(jī)器學(xué)習(xí)、系統(tǒng)和云AI副總裁兼總經(jīng)理Amin Vahdat稱，Ironwood是谷歌迄今為止最強(qiáng)大、最節(jié)能的TPU，專為支持思考、推理類模型的大規(guī)模應(yīng)用而設(shè)計(jì)。
每塊Ironwood芯片的峰值算力為4614 TeraFLOPS（第六代TPU芯片Trillium的5倍），內(nèi)存高達(dá)192GB（Trillium的6倍）；HBM帶寬達(dá)到7.2 Tbps（Trillium的4.5倍）；其每瓦峰值算力為29.3 TeraFLOPS，是Trillium的2倍多。
通過芯片間互連（ICI）網(wǎng)絡(luò)，Ironwood實(shí)現(xiàn)1.2 Tbps的芯片間雙向帶寬，最高可擴(kuò)展至9216個(gè)液冷芯片組成的Pod，總算力達(dá)42.5 ExaFLOPS，是目前世界上最大超算El Capitan算力的24倍多。
對于谷歌云客戶，Ironwood提供兩種尺寸：256芯片配置和9216芯片配置。開發(fā)者還可以利用谷歌的Pathways軟件堆棧，管理數(shù)萬個(gè)Ironwood TPU的綜合計(jì)算能力。全面推出的Cluster Director允許用戶部署和管理具有計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)功能的大型加速虛擬機(jī)集群。
谷歌稱，Ironwood代表著AI及其基礎(chǔ)設(shè)施的發(fā)展迎來重大轉(zhuǎn)變，從提供實(shí)時(shí)信息供人類解讀的響應(yīng)式AI，轉(zhuǎn)變?yōu)橹鲃?dòng)生成解讀的AI模型，迎來“推理時(shí)代”。
Ironwood旨在“優(yōu)雅地管理”思考模型復(fù)雜的計(jì)算和通信需求，包括大語言模型（LLM）、混合專家模型（MoE）和高級推理任務(wù)等這些需要大規(guī)模并行處理和高效的內(nèi)存訪問的場景。
具體而言，Ironwood能在執(zhí)行大規(guī)模張量操作的同時(shí)，最大限度地減少芯片上的數(shù)據(jù)移動(dòng)和延遲。
由于頂級思維模型的計(jì)算需求遠(yuǎn)遠(yuǎn)超出了任何單個(gè)芯片的容量，谷歌為Ironwood TPU配備了低延遲、高帶寬的ICI網(wǎng)絡(luò)，以支持全TPU Pod規(guī)模的協(xié)調(diào)同步通信。
Ironwood還配備了增強(qiáng)版SparseCore專用加速器，可用于處理高級排名和推薦任務(wù)中常見的超大嵌入。增強(qiáng)版SparseCore可以加速更多領(lǐng)域的任務(wù)，從傳統(tǒng)的AI任務(wù)擴(kuò)展到金融和科學(xué)等領(lǐng)域。
大會(huì)現(xiàn)場，谷歌云宣布他們將很快推出A4X和A4 VMs（虛擬機(jī)），由英偉達(dá)GB200 NVL72和B200 Blackwell GPU提供算力支持，谷歌云也將成為首批提供Vera Rubin GPU的云服務(wù)廠商。
英偉達(dá)創(chuàng)始人兼CEO黃仁勛特地為谷歌云Next大會(huì)錄制了一段視頻，他稱英偉達(dá)與谷歌云的“超級合作伙伴關(guān)系”涵蓋了每一層面的計(jì)算，英偉達(dá)將與谷歌云一起推出加密計(jì)算服務(wù)，面向全球的高監(jiān)管與高風(fēng)險(xiǎn)行業(yè)客戶。
Ironwood的發(fā)布正值A(chǔ)I芯片領(lǐng)域的競爭不斷加劇。盡管英偉達(dá)在該領(lǐng)域處于領(lǐng)先地位，但包括亞馬遜和微軟在內(nèi)的科技巨頭也在紛紛推出自己的內(nèi)部解決方案。亞馬遜通過AWS提供了Trainium、Inferentia和Graviton處理器，而微軟則為其Cobalt 100AI芯片提供Azure實(shí)例。
隨著AI與行業(yè)、場景的集成越來越深入，谷歌正通過對Ironwood等推理場景專用硬件的投資，為這一未來做好準(zhǔn)備。
熱門跟貼