品玩4月3日訊,據(jù)36氪報(bào)道,4月1日,中國(guó)首個(gè)自主研發(fā)、開源開放、功能豐富的深度學(xué)習(xí)平臺(tái)飛槳,宣布新一代飛槳框架3.0正式發(fā)布,以“動(dòng)靜統(tǒng)一自動(dòng)并行”等五大核心技術(shù)創(chuàng)新為大模型訓(xùn)推提速。

飛槳框架3.0提供了豐富的深度學(xué)習(xí)相關(guān)的各種開發(fā)接口;表示層專注于計(jì)算圖的表達(dá)與轉(zhuǎn)換,通過高可擴(kuò)展中間表示PIR,實(shí)現(xiàn)動(dòng)轉(zhuǎn)靜、自動(dòng)微分、自動(dòng)并行、算子組合以及計(jì)算圖優(yōu)化等核心功能;調(diào)度層負(fù)責(zé)對(duì)代碼或計(jì)算圖進(jìn)行智能編排與高效調(diào)度,支持動(dòng)態(tài)圖和靜態(tài)圖兩種不同的執(zhí)行模式;算子層由神經(jīng)網(wǎng)絡(luò)編譯器CINN和算子庫PHI共同構(gòu)成,涵蓋了張量定義、算子定義、算子自動(dòng)融合和算子內(nèi)核實(shí)現(xiàn)等關(guān)鍵功能;適配層則用于實(shí)現(xiàn)與底層芯片適配,包括設(shè)備管理、算子適配、通信適配以及編譯接入等功能。

目前,飛槳框架3.0支持文心4.5、文心X1等多款主流大模型,DeepSeek-R1滿血版單機(jī)部署吞吐提升一倍。通過技術(shù)算法創(chuàng)新,飛槳讓低時(shí)延、高吞吐、低算力成本的推理服務(wù)成為了現(xiàn)實(shí)。

打開網(wǎng)易新聞 查看精彩圖片