Llama 4 發(fā)布，最猛是達(dá)到了1000萬(wàn)上下文長(zhǎng)度！但是不要對(duì)模型能力抱太大希望，有點(diǎn)拉跨只能說(shuō)
開(kāi)個(gè)帖子記錄一下詳細(xì)信息：
Llama 4 Scout：
17B活躍參數(shù)的 16 位專家MoE模型，1000 萬(wàn)上下文窗口，僅需單個(gè) NVIDIA H100 GPU 可運(yùn)行
Llama 4 Maverick：
17B活躍參數(shù)的128 位專家MoE模型，LLM競(jìng)技場(chǎng)得分最高的開(kāi)源模型，支持圖像多模態(tài)識(shí)別
另外還有Llama 4 Behemoth：
- 288B活躍參數(shù)，16 位專家MoE模型
- 在多項(xiàng) STEM 基準(zhǔn)測(cè)試中超越了 GPT-4.5、Claude Sonnet 3.7 和 Gemini 2.0 Pro
- 總參數(shù)超過(guò)了 4T！
- 目前仍在訓(xùn)練
lama 4 Maverick 17B active 在 M3 Ultra 上的速度是50Token /秒
Llama 4 Scout 和 Maverick 現(xiàn)已在 OpenRouter 上推出，而且有免費(fèi)版本
Groq 上的 Llama 4 Scout 運(yùn)行速度是 511 Token 每秒，同時(shí)可以用 API 白嫖
Llama 4 Maverick 在LLM競(jìng)技場(chǎng)總榜第二，開(kāi)源LLM第一
- 排名第一的開(kāi)放模型，超越 DeepSeek
- 在硬性提示、編碼、數(shù)學(xué)、創(chuàng)意寫(xiě)作中并列第一
- 大幅超越 Llama 3 405B: 1268 → 1417
- 風(fēng)格控制排名第五
詳細(xì)信：ai.meta.com/blog/llama-4-multimodal-intelligence/
熱門(mén)跟貼