1000萬上下文？2萬億參數(shù)？MoE混合架構，原生多模態(tài)。清明假期，你是否也被Meta這波Llama 4系列模型發(fā)布后，各種酷炫數(shù)據(jù)和名詞炸醒？
曾經(jīng)的開源領袖，實際已經(jīng)被DeepSeek搶了各種風頭。萬眾期待的Llama 4模型，原本使命是超越GPT和Claude等閉源模型，吊打一切的存在，然后呢？實現(xiàn)了嗎？
Llama 4系列模型發(fā)布：
Llama 4 Scout（?。?/strong>
單張H100 GPU可運行，適合本地部署，支持1000萬token上下文，這是行業(yè)最牛成績。
Llama 4 Maverick（中）
總參數(shù)高達4000億，但推理時僅激活部分專家，效率更高。
多模態(tài)性能超越GPT-4o，在ChartQA、DocVQA等基準測試中領先，編程能力媲美DeepSeek v3，但參數(shù)僅一半。
Llama 4 Behemoth（大，預覽版）
Meta 2萬億參數(shù)巨獸，仍在訓練中。
超大參數(shù)，據(jù)說STEM任務超越GPT-4.5、Claude3.7等。
將作為“教師模型”，用于蒸餾優(yōu)化更小的Llama 4模型。
測評分數(shù)高居全球第二
Llama 4 Maverick 目前在 LM Arena 排行榜 上排名第二，僅次于 Gemini 2.5 Pro。
而且具備原生多模態(tài)能力：Llama 4采用了早期融合（Early Fusion）技術，可以用海量的無標簽文本、圖片和視頻數(shù)據(jù)一起來預訓練模型。
超長上下文
Scout 版本支持1000萬 tokens（約15000頁文本?。?/strong>，醫(yī)學、科研、代碼分析等超長文檔處理能力直接拉滿。
在其他大模型僅有200萬 tokens上下長度時，小扎掏出了大炸雷，不想和大家閑聊。
幾個核心技術
MoE架構效率炸裂：
Llama 4開始轉向采用混合專家模型（MoE），推理時僅激活部分參數(shù)，成本更低——Maverick 推理成本僅$0.19/百萬token，比GPT-4o便宜90%。
iRoPE實現(xiàn)超長上下文:
iRoPE（交錯旋轉位置編碼）是Meta為Llama 4設計的升級版位置編碼技術。
局部注意力層：用旋轉位置編碼（RoPE）處理短上下文（如8K token），保留位置關系。
全局注意力層：直接去掉位置編碼（NoPE），通過動態(tài)調整注意力權重處理超長內容，類似“模糊匹配”長距離關聯(lián)。
就像讀書時用書簽（RoPE）標記重點段落，同時靠記憶（NoPE）串聯(lián)全書脈絡。
埋葬RAG技術？
相比RAG技術，iRoPE無需依賴外部知識庫檢索，直接通過模型內部自身處理完整信息，減少信息丟失風險，預計未來會成為大模型技術標配，以后大模型容易忘記前文的事情，基本就不會出現(xiàn)了。
開源但有限制：商用需遵守 Meta 政策，月活超7億的公司需額外授權，且產(chǎn)品名必須帶“Llama”。
鯨哥在Together AI上體驗 了Llama 4 Scout，并沒有什么特別的強悍之處，DeepSeek對比之下體感還是強很多。Llama 4有點像Google，“參數(shù)沒輸過，實戰(zhàn)沒贏過”。
一句話總結：Meta 這次把開源AI卷到新高度，多模態(tài)+長上下文+超低成本，Llama 4 可能是目前最香的開源大模型之一。
但下周OpenAI o3和Claude等新模型發(fā)布， Llama 4估計又會被奪走注意力。只能說模型競爭，太卷了，Llama 4要成千年追趕者了。
視頻內容推薦：
主理人交流：
加入AI鯨英社群，和上千CEO、投資人和行業(yè)大牛一起共話未來！
前百度大佬“放下”AI搜索，轉做Agent瀏覽器，評分超越Manus
這些職業(yè)正在被摧毀：實測10個GPT-4o繪圖最火的案例
熱門跟貼