本文作者：鮑奕龍
來(lái)源：硬AI
本周全球被關(guān)稅議題占據(jù)頭條，但科技界的目光卻聚焦在AI領(lǐng)域的密集動(dòng)作上。
周末，Meta深夜突襲發(fā)布Llama 4系列，號(hào)稱“原生多模態(tài)+千萬(wàn)級(jí)上下文窗口”，并首次披露單卡H100可運(yùn)行的輕量化版本。此前OpenAI則宣布O3和O4-mini模型即將在幾周內(nèi)上線，同時(shí)確認(rèn)GPT-5因技術(shù)整合和算力部署問(wèn)題推遲數(shù)月。
DeepSeek則與清華大學(xué)的研究團(tuán)隊(duì)本周聯(lián)合發(fā)布了一篇關(guān)于推理時(shí)Scaling的新論文，提出了一種名為自我原則點(diǎn)評(píng)調(diào)優(yōu)（SPCT）的學(xué)習(xí)方法，并構(gòu)建了DeepSeek-GRM系列模型。結(jié)合元獎(jiǎng)勵(lì)模型實(shí)現(xiàn)推理時(shí)擴(kuò)展，性能接近671B大模型，暗示DeepSeek R2臨近。
Meta強(qiáng)勢(shì)推出Llama 4，多模態(tài)與超長(zhǎng)上下文成亮點(diǎn)
周六，Meta正式發(fā)布了Llama 4系列模型，Llama 4全系采用混合專家（MoE）架構(gòu)，并實(shí)現(xiàn)了原生多模態(tài)訓(xùn)練，徹底告別了Llama 3純文本模型的時(shí)代。此次發(fā)布的模型包括：
- Llama 4 Scout（17B 激活參數(shù)，109B 總參數(shù)量，支持 1000 萬(wàn)+ Token 上下文窗口，可在單張 H100 GPU 上運(yùn)行）；
- Llama 4 Maverick（17B 激活參數(shù)，400B 總參數(shù)量，上下文窗口 100 萬(wàn)+，性能優(yōu)于 GPT-4o 和 Gemini 2.0 Flash）；
- 以及強(qiáng)大的 Llama 4 Behemoth 預(yù)覽（288B 激活參數(shù)，2 萬(wàn)億總參數(shù)量，訓(xùn)練使用 32000 塊 GPU 和 30 萬(wàn)億多模態(tài) Token）。
打開(kāi)網(wǎng)易新聞 查看精彩圖片
此次公布的Llama 4 Maverick 和 Llama 4 Scout 將是開(kāi)源軟件。然而，Llama 4 的新許可證對(duì)使用有一定限制，例如月活用戶超 7 億的公司需申請(qǐng)?zhí)厥庠S可，且使用時(shí)需遵守多項(xiàng)品牌和歸屬要求。
前kaggle總裁，fast AI 創(chuàng)始人Jeremy Howard表示，雖然感謝開(kāi)源，但Llama 4 Scout 和 Maverick 都是大型 MoE 模型，即使量化后也無(wú)法在消費(fèi)級(jí) GPU 上運(yùn)行，這對(duì)開(kāi)源社區(qū)的可及性來(lái)說(shuō)是個(gè)不小的損失
Meta強(qiáng)調(diào)，Llama 4 Scout 和 Llama 4 Maverick 是其“迄今為止最先進(jìn)的型號(hào)”，也是“同類產(chǎn)品中多模態(tài)性最好的版本”。
- Scout亮點(diǎn)：速度極快，原生支持多模態(tài)，擁有業(yè)界領(lǐng)先的 1000 萬(wàn)+ Token 多模態(tài)上下文窗口（相當(dāng)于處理 20 多個(gè)小時(shí)的視頻?。⑶夷茉趩螐?H100 GPU 上運(yùn)行（Int4 量化后）
- Maverick性能：在多個(gè)主流基準(zhǔn)測(cè)試中擊敗了 GPT-4o 和 Gemini 2.0 Flash，推理和編碼能力與新發(fā)布的 DeepSeek v3 相當(dāng)，但激活參數(shù)量不到后者一半
X網(wǎng)友也對(duì)Scout模型的性能感到震驚，尤其是其在單GPU上運(yùn)行并支持超長(zhǎng)上下文窗口的能力。
最令人矚目的是Llama 4 Behemoth。目前Behemoth仍處訓(xùn)練中，不過(guò)Meta將其定位為“世界上最智能的 LLM 之一”。這個(gè)擁有288B激活參數(shù)和2萬(wàn)億總參數(shù)量的“巨獸”，在32000塊GPU上訓(xùn)練了30萬(wàn)億多模態(tài)Token，展現(xiàn)了Meta在AI領(lǐng)域的雄厚實(shí)力。
有X網(wǎng)友指出了Behemoth訓(xùn)練的性能潛力，強(qiáng)調(diào)了它在階段就已經(jīng)表現(xiàn)出超越多個(gè)最高級(jí)模型的能力，例如Claude 3.7 和Gemini 2.0 Pro。
還有X網(wǎng)友調(diào)侃了 Meta 的“燒錢”策略，同時(shí)對(duì) Llama 4 的參數(shù)規(guī)模表示驚訝。
此前《The Information》周五報(bào)道稱，在投資者向大型科技公司施壓，要求其展示投資回報(bào)的情況下，Meta 計(jì)劃今年投入高達(dá)650 億美元來(lái)擴(kuò)展其 AI 基礎(chǔ)設(shè)施。
OpenAI確認(rèn)O3和O4-mini即將上線，GPT-5免費(fèi)策略引轟動(dòng)
在Llama 4發(fā)布的同時(shí)，OpenAI首席執(zhí)行官Sam Altman則在社交媒體上確認(rèn)，O3和O4-mini將在未來(lái)幾周內(nèi)發(fā)布，而GPT-5則將在未來(lái)幾個(gè)月與公眾見(jiàn)面。
盡管沒(méi)有更多關(guān)于o3和o4mini的細(xì)節(jié)內(nèi)容，但是Altman表示，OpenAI在很多方面真正改進(jìn)了o3模型，一定會(huì)讓用戶大為滿意。
實(shí)際上GPT-5的功能和發(fā)布時(shí)間才是市場(chǎng)關(guān)注的重點(diǎn)。據(jù)Altman透露，GPT-5將整合語(yǔ)音、Canvas、搜索、Deep Research等多項(xiàng)功能，成為OpenAI統(tǒng)一模型戰(zhàn)略的核心。
這意味著GPT-5將不再是一個(gè)單一的模型，而是一個(gè)集成了多種工具和功能的綜合系統(tǒng)。通過(guò)這種整合，GPT-5將能夠自主使用工具，判斷何時(shí)需要深入思考、何時(shí)可以快速響應(yīng)，從而勝任各類復(fù)雜任務(wù)。OpenAI的這一舉措旨在簡(jiǎn)化內(nèi)部模型和產(chǎn)品體系，讓AI真正實(shí)現(xiàn)隨開(kāi)隨用的便捷性。
更令人興奮的是，GPT-5將對(duì)免費(fèi)用戶開(kāi)放無(wú)限使用權(quán)限，而付費(fèi)用戶則能體驗(yàn)到更高智力水平的版本。此前，奧特曼在和硅谷知名分析師Ben Thompson的深度對(duì)談中，表示因?yàn)镈eepSeek 的影響， GPT-5將考慮讓用戶免費(fèi)使用。
不過(guò)對(duì)于GPT-5的發(fā)布時(shí)間反復(fù)推遲，有網(wǎng)友做出了下面這個(gè)時(shí)間表來(lái)調(diào)侃。
DeepSeek攜手清華發(fā)布新論文
DeepSeek與清華大學(xué)的研究團(tuán)隊(duì)本周聯(lián)合發(fā)布了一篇關(guān)于推理時(shí)Scaling的新論文，提出了一種名為自我原則點(diǎn)評(píng)調(diào)優(yōu)（Self-Principled Critique Tuning，簡(jiǎn)稱SPCT）的學(xué)習(xí)方法，并構(gòu)建了DeepSeek-GRM系列模型。這一方法通過(guò)在線強(qiáng)化學(xué)習(xí)（RL）動(dòng)態(tài)生成評(píng)判原則和點(diǎn)評(píng)內(nèi)容，顯著提升了通用獎(jiǎng)勵(lì)建模（RM）在推理階段的可擴(kuò)展性，并引入元獎(jiǎng)勵(lì)模型（meta RM）進(jìn)一步優(yōu)化擴(kuò)展性能。
SPCT方法的核心在于將“原則”從傳統(tǒng)的理解過(guò)程轉(zhuǎn)變?yōu)楠?jiǎng)勵(lì)生成的一部分，使模型能夠根據(jù)輸入問(wèn)題及其回答內(nèi)容動(dòng)態(tài)生成高質(zhì)量的原則和點(diǎn)評(píng)。這種方法包括兩個(gè)階段：
- 拒絕式微調(diào)（rejective fine-tuning）作為冷啟動(dòng)階段，幫助模型適應(yīng)不同輸入類型；
- 基于規(guī)則的在線強(qiáng)化學(xué)習(xí)（rule-based online RL）則進(jìn)一步優(yōu)化生成內(nèi)容，提升獎(jiǎng)勵(lì)質(zhì)量和推理擴(kuò)展性。
為了優(yōu)化投票過(guò)程，研究團(tuán)隊(duì)引入了元獎(jiǎng)勵(lì)模型（meta RM）。該模型通過(guò)判斷生成原則和評(píng)論的正確性，過(guò)濾掉低質(zhì)量樣本，從而提升最終輸出的準(zhǔn)確性和可靠性。
實(shí)驗(yàn)結(jié)果顯示，DeepSeek-GRM-27B在多個(gè)RM基準(zhǔn)測(cè)試中顯著優(yōu)于現(xiàn)有方法和模型，尤其是在推理時(shí)擴(kuò)展性方面表現(xiàn)出色。通過(guò)增加推理計(jì)算資源，DeepSeek-GRM-27B展現(xiàn)了強(qiáng)大的性能提升潛力，證明了推理階段擴(kuò)展策略的優(yōu)勢(shì)。
這一成果不僅推動(dòng)了通用獎(jiǎng)勵(lì)建模的發(fā)展，也為AI模型在復(fù)雜任務(wù)中的應(yīng)用提供了新的技術(shù)路徑，甚至可能在DeepSeek R2上能看到該成果的展示。
有海外論壇網(wǎng)友調(diào)侃道，DeepSeek一貫是“論文后發(fā)模型”的節(jié)奏，競(jìng)爭(zhēng)對(duì)手Llama-4可能因此受壓。
熱門跟貼