品玩4月18日訊，據(jù) TechCrunch 報道，微軟近日發(fā)布一款名為BitNet b1.58 2B4T的全新模型，可以在包括蘋果 M2 在內(nèi)的 CPU 上運行。

該模型本質(zhì)上是一種壓縮模型，專為在輕量級硬件上運行而設(shè)計。在標(biāo)準(zhǔn)模型中，權(quán)重（定義模型內(nèi)部結(jié)構(gòu)的值）通常被量化，這樣模型就能在各種機(jī)器上良好運行。量化權(quán)重可以降低表示這些權(quán)重所需的比特數(shù)（計算機(jī)能處理的最小單位），從而使模型能在內(nèi)存更少的芯片上更快地運行。

微軟的研究人員說，BitNet b1.58 2B4T 是第一個擁有 20 億個參數(shù)的比特網(wǎng)絡(luò)，“參數(shù) ”在很大程度上與 “權(quán)重 ”同義。研究人員稱，BitNet b1.58 2B4T 在一個包含 4 萬億個代幣的數(shù)據(jù)集（據(jù)估計相當(dāng)于約 3300 萬本書）上進(jìn)行了訓(xùn)練，其性能優(yōu)于類似規(guī)模的傳統(tǒng)模型。

打開網(wǎng)易新聞 查看精彩圖片