近期，第四范式一體機(jī)解決方案SageOne IA全新升級(jí)，推出“模型彈性伸縮”技術(shù)來應(yīng)對(duì)流量波動(dòng)。當(dāng)前企業(yè)一般采用傳統(tǒng)擴(kuò)縮容方案，即當(dāng)應(yīng)用負(fù)載增加時(shí)，通過人工干預(yù)或系統(tǒng)按既定規(guī)則擴(kuò)展計(jì)算節(jié)點(diǎn)，保證服務(wù)可用；當(dāng)負(fù)載減少時(shí)釋放多余的計(jì)算節(jié)點(diǎn)，這一定程度上增加了算力成本和IT運(yùn)維復(fù)雜度。“模型彈性伸縮”是系統(tǒng)根據(jù)負(fù)載狀況，自動(dòng)靈活切換同一系列下不同參數(shù)大小的模型提供模型服務(wù)，無需額外擴(kuò)展計(jì)算節(jié)點(diǎn)，節(jié)省算力成本，提升資源使用效率的同時(shí)還大大降低運(yùn)維工作量。

打開網(wǎng)易新聞 查看精彩圖片

例如在大模型推理場景下，負(fù)載較小時(shí)，滿血版模型提供高精度的推理服務(wù)；進(jìn)入高峰時(shí)段時(shí)，系統(tǒng)會(huì)自動(dòng)將滿血版降級(jí)為一個(gè)或多個(gè)蒸餾版/量化版模型實(shí)例，來處理大量并發(fā)請(qǐng)求。結(jié)合模型預(yù)加載等技術(shù)，可避免模型服務(wù)切換時(shí)，導(dǎo)致服務(wù)中斷或輸出質(zhì)量波動(dòng)問題，做到用戶無感知的平滑切換；當(dāng)流量回歸常態(tài)后，系統(tǒng)再自動(dòng)升級(jí)到滿血版模型服務(wù)，并釋放多余的較小參數(shù)模型實(shí)例。

同時(shí)，系統(tǒng)可預(yù)設(shè)多種基于負(fù)載的觸發(fā)條件，如結(jié)合GPU使用率、請(qǐng)求隊(duì)列長度、響應(yīng)延遲等資源健康度指標(biāo)，形成動(dòng)態(tài)切換策略和任務(wù)路由機(jī)制，使彈性方案在實(shí)際應(yīng)用中更貼近業(yè)務(wù)需求。