4月25日，Create2025百度AI開發(fā)者大會在武漢舉辦。百度創(chuàng)始人李彥宏發(fā)布了文心大模型4.5 Turbo及深度思考模型X1 Turbo兩大模型，以及多款A(yù)I應(yīng)用。百度首席技術(shù)官王海峰現(xiàn)場詳細解讀了背后的技術(shù)。
兩大模型連發(fā)！核心技術(shù)詳解
王海峰介紹，文心大模型4.5是多模態(tài)基礎(chǔ)大模型，文心4.5 Turbo源自文心4.5，效果更好、成本更低；基于文心4.5 Turbo，文心X1升級到X1 Turbo，性能提升的同時，具備更先進的思維鏈，問答、創(chuàng)作、邏輯推理、工具調(diào)用和多模態(tài)能力進一步增強。在C-Eval、CMMLU、MathVista、Math500等多個基準測試集中，文心4.5 Turbo和X1 Turbo跟DeepSeeK與GPT模型相比，效果在伯仲之間。
大會現(xiàn)場，王海峰從基礎(chǔ)模型、后訓(xùn)練、深度思考和數(shù)據(jù)等方面解讀了文心4.5 Turbo和X1 Turbo的關(guān)鍵技術(shù)。
文心4.5和4.5 Turbo都是多模態(tài)大模型，實現(xiàn)了文本、圖像和視頻的混合訓(xùn)練。針對不同模態(tài)數(shù)據(jù)在結(jié)構(gòu)、規(guī)模、知識密度上的差異，通過多模態(tài)異構(gòu)專家建模、自適應(yīng)分辨率視覺編碼、時空重排列的三維旋轉(zhuǎn)位置編碼、自適應(yīng)模態(tài)感知損失計算等技術(shù)，大幅提升跨模態(tài)學(xué)習(xí)效率和多模態(tài)融合效果，學(xué)習(xí)效率提高近2倍，多模態(tài)理解效果提升超過30%。
后訓(xùn)練方面，百度研制了自反饋增強的技術(shù)框架，基于大模型自身的生成和評估反饋能力，實現(xiàn)了“訓(xùn)練-生成-反饋-增強”的模型迭代閉環(huán)，不僅解決了大模型對齊過程中，數(shù)據(jù)生產(chǎn)難度大、成本高、速度慢等問題，而且顯著降低了模型幻覺，模型理解和處理復(fù)雜任務(wù)的能力大幅提升。
在訓(xùn)練階段，研制了融合偏好學(xué)習(xí)的強化學(xué)習(xí)技術(shù)，通過多元統(tǒng)一獎勵機制，提升了對結(jié)果質(zhì)量判別的準確率，通過離線偏好學(xué)習(xí)和在線強化學(xué)習(xí)統(tǒng)一優(yōu)化，進一步提升了數(shù)據(jù)利用效率和訓(xùn)練穩(wěn)定性，并增強了模型對高質(zhì)量結(jié)果的感知。得益于偏好信號與獎勵信號的融合運用，模型的理解、生成、邏輯和記憶等能力全面提升。
深度思考方面，突破了僅基于思維鏈優(yōu)化的范式，在思考路徑中結(jié)合工具調(diào)用，構(gòu)建了融合思考和行動的復(fù)合思維鏈，模型解決問題能力得到顯著提升。同時，結(jié)合多元統(tǒng)一的獎勵機制，實現(xiàn)了思考和行動鏈的端到端優(yōu)化，大幅提升了跨領(lǐng)域的問題解決能力。
數(shù)據(jù)方面，打造了“數(shù)據(jù)挖掘與合成 - 數(shù)據(jù)分析與評估 - 模型能力反饋”的數(shù)據(jù)建設(shè)閉環(huán)，為模型訓(xùn)練源源不斷地生產(chǎn)知識密度高、類型多樣、領(lǐng)域覆蓋廣的大規(guī)模數(shù)據(jù)。同時，數(shù)據(jù)建設(shè)流程具備良好的可擴展性，能夠輕松遷移到全新的數(shù)據(jù)類型，實現(xiàn)快速、高效的數(shù)據(jù)生產(chǎn)。
文心快碼發(fā)布3.5版本，累計服務(wù)760萬開發(fā)者
基于文心大模型的語言和代碼能力，百度研制了代碼智能體和智能代碼助手——文心快碼。代碼智能體，基于智能體的理解、規(guī)劃、反思，以及工具調(diào)用能力，用自然語言對話，即可實現(xiàn)應(yīng)用的自動開發(fā)，并支持多輪交互，迭代優(yōu)化代碼質(zhì)量，實現(xiàn)了無代碼編程，讓人人都可以成為程序員。
智能代碼助手，幫助專業(yè)的程序員更高效地寫出更好的代碼。據(jù)介紹，文心快碼3.5版主要突破了四大核心能力：一是代碼智能體引擎，支持多模態(tài)編程、開發(fā)工具調(diào)用、應(yīng)用預(yù)覽，實現(xiàn)「需求-編碼-調(diào)試-驗證」端到端生成；二是代碼預(yù)測改寫引擎，新增光標(biāo)預(yù)測與多行智能改寫，可精準實現(xiàn)復(fù)雜的代碼的增加、刪除和修改；三是上下文引擎，結(jié)合文心4.5和X1的推理能力，更懂開發(fā)者意圖，回答問題更準確；最后是更開放的研發(fā)生態(tài)，通過MCP接入?yún)f(xié)議，全面兼容主流開發(fā)工具鏈。目前百度每天新增的代碼中，文心快碼生成的代碼占比已超過40%。最新數(shù)據(jù)顯示，文心快碼向全社會開放，累計服務(wù)760萬開發(fā)者。
飛槳文心聯(lián)合優(yōu)化，開發(fā)者已達2185萬
文心大模型的能力拓展和效率提升，得益于飛槳文心的聯(lián)合優(yōu)化。比如，訓(xùn)練方面，多模態(tài)統(tǒng)一的掩碼注意力加速，在不同模態(tài)混合計算注意力時，顯著降低掩碼構(gòu)建和計算開銷，大幅提升訓(xùn)練性能；推理方面，多模態(tài)流式分塊預(yù)填充機制，減少首token耗時，同時減少推理計算的顯存峰值，提升推理批次大小，提升吞吐性能。通過這些聯(lián)合優(yōu)化技術(shù)，文心4.5 Turbo訓(xùn)練吞吐達到文心4.5的5.4倍，推理吞吐達到8倍。
從現(xiàn)場我們了解到，飛槳框架3.0既延續(xù)了動靜統(tǒng)一、訓(xùn)推一體的技術(shù)特色，更在自動并行、神經(jīng)網(wǎng)絡(luò)編譯器、高階自動微分等方面創(chuàng)新突破。例如，動靜統(tǒng)一自動并行，使得大模型分布式訓(xùn)練代碼減少80%；大模型訓(xùn)推一體，幫助強化學(xué)習(xí)訓(xùn)練提速114%；科學(xué)計算高階微分，微分方程求解速度比 PyTorch 快115%；神經(jīng)網(wǎng)絡(luò)編譯器，提升框架通用性能，模型端到端訓(xùn)練速度提升27%；異構(gòu)多芯適配，飛槳已適配國內(nèi)外60多個系列芯片。
截至目前，飛槳文心開發(fā)者數(shù)量已超過2185萬，服務(wù)超過67萬家企業(yè)，創(chuàng)建的模型達到110萬。
大模型讓文博知識觸手可及，首個“非遺武術(shù)大模型”發(fā)布
隨著人工智能技術(shù)加速進步，大模型在千行百業(yè)的應(yīng)用也越來越深入。例如，在文博領(lǐng)域，百度與中國文物交流中心達成深度合作，增強大模型在文博領(lǐng)域?qū)I(yè)知識，并發(fā)布首個文博智能體，用AI的力量讓文博知識觸手可及，讓每個人都成為文博傳承的參與者與受益者；在非遺武術(shù)傳承領(lǐng)域，百度與上海體育大學(xué)武術(shù)學(xué)院、中國武術(shù)博物館館聯(lián)合發(fā)布“非遺武術(shù)-百度文心大模型”，基于文心大模型，融合上海體育大學(xué)武術(shù)學(xué)院、中國武術(shù)博物館的專業(yè)積淀，將武術(shù)技法與算法結(jié)合，通過3D動作建模、AI動態(tài)糾錯等技術(shù)，將非遺武術(shù)技術(shù)動作以數(shù)字化的形式保存和記錄下來。
活動最后，第十二屆百度獎學(xué)金頒獎典禮在現(xiàn)場舉辦。作為國內(nèi)外AI領(lǐng)域資助金額與含金量最高的學(xué)術(shù)獎學(xué)金之一，百度獎學(xué)金自2013年設(shè)立以來，已累計發(fā)放超千萬元資金。王海峰為來自全球頂尖高校的10位獲獎選手頒發(fā)獎學(xué)金，每人20萬元。這不僅是對獲獎選手學(xué)術(shù)成果的認可，也彰顯了百度對AI人才培養(yǎng)的長期承諾。
熱門跟貼