在 DeepSeek 掀起的這輪開源模型浪潮中,有一個(gè)開源王者似乎被遺忘了——Meta AI。
今天凌晨, Meta 突然掏出了 Llama 4。
Llama 4 全系采用混合專家(MoE)架構(gòu),目前最強(qiáng)的開源多模態(tài)大模型
??劃重點(diǎn):文本、圖像與視頻的全能選手
Llama 4 Scout
面向文檔摘要與大型代碼庫推理任務(wù),專為高效信息提取與復(fù)雜邏輯推理打造。
共有 1090 億參數(shù),170 億激活參數(shù)量
上下文長(zhǎng)度 1000 萬 tokens(目前行業(yè)最長(zhǎng))
Llama 4 Maverick
以通用助手與聊天應(yīng)用為核心,具備頂級(jí)的多語言支持與編程能力。
共有 4000 億參數(shù),170 億激活參數(shù)量,分布于 128個(gè)專家模塊
在大模型競(jìng)技場(chǎng)(Arena)中突破 1400 分,總排名第二;其中開放模型超越 DeepSeek V3 排名第一。
下載
https://www.llama.com/llama-downloads/
值得一提的是,Llama 4 Scout 使用 Int4 量化就可以在單個(gè) H100 GPU 上運(yùn)行,Llama 4 Maverick 則可以直接在 H100 主機(jī)上運(yùn)行。
Llama 4 Behemoth(預(yù)覽)
未來最強(qiáng)大的 AI 模型之一,具備令人矚目的超大規(guī)模參數(shù)架構(gòu)。
2880 億激活參數(shù)量,總參數(shù) 2 萬億(消費(fèi)級(jí)根本跑不動(dòng))
目標(biāo):在多模態(tài)處理與推理能力上實(shí)現(xiàn)突破
? 這么龐大的模型訓(xùn)練需要巨量計(jì)算資源和時(shí)間,據(jù)悉在推理和數(shù)學(xué)任務(wù)等技術(shù)基準(zhǔn)上仍未達(dá)預(yù)期。
APPSO 發(fā)現(xiàn),這次的發(fā)布多少有些趕鴨子上架,2 萬億參數(shù)的性能猛獸 Llama 4 Behemoth 還是期貨,可見在耗費(fèi)巨額資金訓(xùn)練后依然不夠競(jìng)爭(zhēng)力。
年初曾有消息稱 DeepSeek 讓 Meta AI 團(tuán)隊(duì)陷入恐慌:
「當(dāng)生成式 AI 組織中的每個(gè)高管薪資都比訓(xùn)練整個(gè) DeepSeek-V3 的成本還要高,而我們有好幾十個(gè)這樣的高管,他們要如何面對(duì)高層?」
開源模型已經(jīng)展現(xiàn)出匹敵 OpenAI 等閉源模型的的能力,但 Meta 的開源王者地位開始動(dòng)搖(別忘了還有 Qwen),今年的開源模型競(jìng)爭(zhēng)逐漸白熱化。
DeepSeek 前兩天悄悄發(fā)布了新論文,或許 R2 已經(jīng)在路上。






熱門跟貼