
最近兩年,大模型與算力交替演繹的正反饋效應,讓人工智能的熱潮沖上云霄。人們似乎看到了一座通天巨塔,數(shù)智化的王冠在塔頂熠熠生輝。

先是ChatGPT引爆生成式AI,高性能GPU一時洛陽紙貴,“大力出奇跡”的算力建設模式備受推崇;接著是算力基礎設施驅(qū)動大模型訓練和推理邁上更高臺階,模型參數(shù)量從千億升至萬億,訓練數(shù)據(jù)量從TB達到PB,文本、語音、視覺等多模態(tài)協(xié)同進化,ToB和ToC端的AI應用紛紛涌現(xiàn);再后來是大模型迅猛發(fā)展刺激算力“軍備競賽”不斷升級,加上復雜不確定性因素的影響,多樣化算力的博弈進入白熱化狀態(tài)。
從AI產(chǎn)業(yè)演進的角度看,大模型千帆競渡、底層算力百花齊放恰是市場活力的源泉,但由此帶來的挑戰(zhàn)亦不容忽視:各家硬件架構(gòu)、指令集的千差萬別以及算子庫的獨立實現(xiàn),導致整個生態(tài)系統(tǒng)割裂且難以形成強大合力。這會顯著抬高大模型開發(fā)與應用的門檻,曾經(jīng)的正反饋效應很可能變成負反饋夢魘。
尤值一提的是,在整體割裂的生態(tài)系統(tǒng)中還存在“一家獨大”的體系。目前,由GPU巨頭主導的CUDA生態(tài)在算子庫、開發(fā)工具鏈和芯片驅(qū)動等各個層次“自成一統(tǒng)”,占據(jù)絕對的領先地位,而新興的各種AI芯片生態(tài)都難成氣候——受限于芯片架構(gòu)的差異和底層的封閉屬性,生態(tài)適配的難度似比登天。
顯而易見,重建更具開放性、包容性的AI系統(tǒng)生態(tài)迫在眉睫,通天的“巴別塔”離不開中間層軟硬件平臺的鼎力支撐。在銜接底層算力、大模型開發(fā)與上層應用的諸多環(huán)節(jié)中,核心計算框架和通用算子庫無疑扮演著“雙子星”的角色,對構(gòu)建統(tǒng)一的AI系統(tǒng)生態(tài)至關重要。

近日,浪潮信息與智源研究院達成戰(zhàn)略合作協(xié)議,智源Triton算子庫FlagGems正式接入浪潮信息EPAI企業(yè)大模型開發(fā)平臺,與元腦企智核心計算框架TensorGlue深度融合,助力企業(yè)實現(xiàn)更快速、廣泛、高效的多元算力適配,為打造全新的AI系統(tǒng)生態(tài)開路領航。
基于開放理念的系統(tǒng)創(chuàng)新是AI生態(tài)進化的原動力
在熱帶雨林中,也存在不少自生自滅的“子系統(tǒng)”,而維系整個雨林生態(tài)繁榮的基石,則是土地下盤桓延伸、彼此連接的巨型根系。它們打破了各自為戰(zhàn)的“小圈子”,建立起開放、共榮的良性生態(tài)。

為了應對多元多模帶來的機遇與挑戰(zhàn),基于開源開放、系統(tǒng)創(chuàng)新理念進行積極實踐,堪稱改變生態(tài)割裂現(xiàn)狀的最佳路徑。據(jù)浪潮信息高級副總裁劉軍透露:在服務器領域,浪潮信息倡導并踐行的OAM(開放加速器規(guī)范)、OCM(開放計算模組規(guī)范)得到業(yè)界熱烈響應,90%以上的高端芯片廠商都已支持OAM規(guī)范,其與OCM規(guī)范聯(lián)手更有助于統(tǒng)一算力底座的真正成型。
當然,解決從芯片到服務器系統(tǒng)的多元算力問題只是萬里長征第一步,繼續(xù)向上掃除大模型開發(fā)和應用中的各種障礙,才是難度系數(shù)更高的任務。元腦企智EPAI因此應運而生,它為企業(yè)AI大模型落地構(gòu)建高效、易用、安全的端到端開發(fā)平臺,可實現(xiàn)大模型應用在跨算力平臺上的無感遷移,降低生態(tài)適配與試錯成本。
毋庸置疑,中間平臺發(fā)揮著承上啟下的關鍵作用,而核心計算框架更是綱舉目張的樞紐。作為EPAI平臺的核心計算框架,TensorGlue向上兼容 PyTorch、Paddle-Paddle、TensorFlow、vllm等常用的深度學習框架,向下適配多元算力。據(jù)了解,TensorGlue已支持10多種開源大模型的微調(diào)和推理、20+計算芯片及10+計算框架的有效適配,為催生AI系統(tǒng)新生態(tài)創(chuàng)造了必要條件。
更為重要的是,TensorGlue能實現(xiàn)多元算力芯片的統(tǒng)一運行及多板卡兼容、算子的統(tǒng)一接口和算子庫對接以及板卡的模型優(yōu)化,讓開發(fā)人員可以在EPAI平臺上專注于創(chuàng)新AI應用的開發(fā)。這不僅為客戶節(jié)省大量遷移、適配和優(yōu)化的時間,而且基于高效協(xié)同計算幫助客戶大幅提升業(yè)務運行的效率和效果。當多元異構(gòu)的軟硬件差異不再是客戶的煩惱,AI系統(tǒng)生態(tài)的春天就將來臨。
開源通用算子庫加速AI系統(tǒng)生態(tài)蛻變
如果說端到端的大模型開發(fā)平臺和核心計算框架為應對多元多模的挑戰(zhàn)奠定了堅實基礎,那么開創(chuàng)先河的開源通用算子庫則是改變AI系統(tǒng)生態(tài)混沌局面的重磅利器。

在AI軟硬件基礎底座中,編譯器和算子庫都是不可或缺的角色,能為大模型各種類型計算負載的高效運行保駕護航。具體到技術(shù)路線選擇,過往主要有兩個方向:一是統(tǒng)一中間語言,提供更自由的表達能力和靈活的優(yōu)化空間,但其顯著依賴硬件架構(gòu)的底層信息,要求相關廠商的深度參與和高度協(xié)作;二是統(tǒng)一算子接口,可對上層保持良好的一致性,對下層則要求廠商各自開發(fā)算子庫,無法確保一致的算子特性。
為了克服上述痛點,統(tǒng)一的開源算子庫日益受到青睞。其能在廠商之間做到源碼共享,省去重復開發(fā)的成本且保障一致的算子實現(xiàn),并可由廠商對編譯器進行個性化適配,最大程度發(fā)揮硬件的性能優(yōu)勢。智源研究院于2024年6月推出的開源通用算子庫FlagGems即是采用全新技術(shù)路線的典型代表,為AI系統(tǒng)生態(tài)的蛻變鋪平了道路。
值得關注的是,F(xiàn)lagGems基于Triton語言進行開發(fā),并在Triton生態(tài)開源開放的基礎上,為不同類型AI芯片提供開源、統(tǒng)一且高效的算子層生態(tài)接入方案。FlagGems以滿足大模型的計算需求為目標,利用Triton編譯器的開源性和輕量級特性,開創(chuàng)出易于適配且性能卓越的算子實現(xiàn)路徑,有助于改善大模型訓練和推理的效能。
不難看出,開源通用算子庫與核心計算框架在打通底層架構(gòu)阻隔方面可謂殊途同歸,二者雙劍合璧有望驅(qū)動AI系統(tǒng)生態(tài)全面躍遷。從這個意義上講,F(xiàn)lagGems與元腦企智EPAI平臺的深度融合將開啟新的紀元。正如智源研究院副院長兼總工程師林詠華所言:“雙方如同精密的‘齒輪組’,確保大模型跨越硬件藩籬,在各類架構(gòu)中順滑運轉(zhuǎn),滿足復雜的訓練任務和實時性要求嚴苛的推理場景需求?!?/p>
在開源開放的汪洋大海中駛向AI新境界
站在更開闊的視角,浪潮信息與智源研究院的強強合作,再次證明了開源開放才是高科技領域邁向星辰大海的終極道路。無論是早期的PC打破大型機、小型機的壟斷,還是后來的互聯(lián)網(wǎng)開源社區(qū)大行其道,開源開放的路線都將信息化、數(shù)字化推向前所未有的新高度。
當命運的齒輪轉(zhuǎn)到AI時代,開源開放依然釋放出巨大能量。據(jù)不完全統(tǒng)計,市面上2/3的大模型都選擇了開源,OAM、OCM等開放規(guī)范更得到產(chǎn)學研各界的充分認可。在大模型加速落地的關鍵節(jié)點,F(xiàn)lagGems開源通用算子庫融入元腦企智EPAI平臺,保障大模型應用開發(fā)能使用高性能、跨硬件、多框架兼容的算子集合,順利跨越各類鴻溝,譜寫了開源開放的新篇章。
這是一個嶄新的起點,沿著開源開放的航道,可以到達數(shù)智新世界的彼岸。未來,浪潮信息將與智源研究院攜手并進,持續(xù)全面擁抱硬件開放與軟件開源,共同推動多元多模產(chǎn)業(yè)的發(fā)展,打造更加高效、靈活、開放的AI系統(tǒng)新生態(tài)。
這也是一條看不到天花板的超級賽道。根據(jù)Gartner的預測,AI Infra產(chǎn)業(yè)尚處于高速增長的初期階段,今后3~5年各細分市場空間將保持30%+的增速,而開源開放是AI Infra最強勁的助推器。筆者也做個小預測——2025年,核心計算框架、通用算子庫等與AI Infra相關的關鍵詞,也許會替代算力、大模型等熱詞,成為“霸屏”的主角。倘若果真如此,AI應用落地就指日可待。
作者關健,《IT創(chuàng)事記》合伙人、主筆:曾任《電腦商報》常務副社長兼執(zhí)行總編、《中國計算機報》助理總編,媒體從業(yè)時間超過10年。
關健長期關注科技產(chǎn)業(yè)動態(tài)及趨勢,與逾百位高科技公司領導者進行過對話,亦在眾多科技會議與論壇中擔任嘉賓主持。

—— 越看越精彩 ——
【IT創(chuàng)事記】聚焦于企業(yè)級科技生態(tài)、策略及商業(yè)知識。你可以在各主流媒體平臺看到IT創(chuàng)事記的同名文字專欄和【IT創(chuàng)事記·短視頻】專欄。如果你有相應的內(nèi)容希望分享,記得在公眾號留言告訴我們。
熱門跟貼