出品｜虎嗅科技組
作者｜孫曉晨
編輯｜苗正卿
頭圖｜視覺中國
當?shù)貢r間4月5日，Meta推出其迄今最為強大的開源AI模型Llama 4系列，其首批推出的Llama 4系列模型包括Llama 4 Scout和Llama 4 Maverick。此外，還有更為強大的Llama 4 Behemoth仍在訓(xùn)練中。
據(jù)Meta介紹，Llama 4 Scout包含170億活躍參數(shù)、16個專家模型及1090億總參數(shù)，在各種廣泛接受的基準測試中，性能優(yōu)于Gemma 3、Gemini 2.0 Flash-Lite和Mistral 3.1。Llama 4 Scout的支持上下文長度為1000萬token，這將為AI模型的功能打開新的可能，如多文檔摘要，解析大規(guī)模用戶活動以進行個性化任務(wù)，以及在龐大的代碼庫中進行推理。
而Llama 4 Maverick也擁有170億活躍參數(shù)，但是其專家模型數(shù)量增至128個，總參數(shù)量為4000億。該模型據(jù)稱擁有頂尖的圖像定位能力，可將用戶指令與相關(guān)視覺概念精準對齊，并將模型響應(yīng)錨定到圖像中的特定區(qū)域。Meta表示，Llama 4 Maverick在多項主流基準測試中，全面超越GPT-4o與Gemini 2.0 Flash；在活躍參數(shù)僅為其一半的情況下，該模型在推理與代碼能力方面實現(xiàn)了與DeepSeek V3同等性能；其聊天版本在LMArena測試中取得1417的ELO評分，擁有無與倫比的性價比。
Llama 4 Scout和Llama 4 Maverick均從Llama 4 Behemoth中蒸餾而來，而Llama 4 Behemoth據(jù)稱包含2880億活躍參數(shù)、16個專家模型以及2萬億參數(shù)。Meta表示，Llama 4 Behemoth為其迄今為止最強大的模型，且尚在訓(xùn)練中，目前在STEM領(lǐng)域的基準測試中表現(xiàn)優(yōu)于GPT-4.5、Claude Sonnet 3.7和Gemini 2.0 Pro。
在官網(wǎng)博文中，Meta分享了關(guān)于Llama 4系列模型的技術(shù)細節(jié)：
該系列模型為首批采用混合專家（MoE）架構(gòu)的模型，其在訓(xùn)練和推理時計算效率更高，且在相同的訓(xùn)練FLOPs預(yù)算下，能夠生成更高質(zhì)量的結(jié)果。
此外，Llama 4采用原生多模態(tài)設(shè)計，融入早期融合技術(shù)，將文本和視覺標記無縫集成到統(tǒng)一的模型骨干中。Meta稱：“早期融合是一個重大的進步，因為它使我們能夠使用大量未標記的文本、圖像和視頻數(shù)據(jù)對模型進行聯(lián)合預(yù)訓(xùn)練?！盠lama 4的視覺編碼器也得到改進，以更好地適應(yīng)大語言模型。
在模型訓(xùn)練過程中，訓(xùn)練團隊采用了名為“MetaP”的新型訓(xùn)練技術(shù)，能夠可靠地設(shè)置關(guān)鍵模型超參數(shù)（如各層學(xué)習(xí)率和初始化規(guī)模）。Llama 4通過預(yù)訓(xùn)練支持200種語言（其中100多種語言的訓(xùn)練標記量超過10億個），整體多語言訓(xùn)練標記量較Llama 3提升10倍，為開源社區(qū)的模型微調(diào)工作奠定了堅實基礎(chǔ)。
Meta還通過其他一系列動作對模型進行訓(xùn)練和完善，如采用FP8精度以進行高效模型訓(xùn)練、采用“中期訓(xùn)練”的方式繼續(xù)訓(xùn)練模型以提升模型核心能力等。
模型安全也是Meta關(guān)注的重點，其在博文中稱“我們的目標是開發(fā)最有幫助和最有用的模型，同時防范和減輕最嚴重的風(fēng)險。我們按照我們的《開發(fā)者使用指南：人工智能保護》中概述的最佳實踐來構(gòu)建 Llama 4。這包括在模型開發(fā)的每個層面（從預(yù)訓(xùn)練到后訓(xùn)練）整合緩解措施，以及可調(diào)節(jié)的系統(tǒng)級緩解措施，以保護開發(fā)者免受對抗性用戶的影響?！?/p>
2025年以來，DeepSeek R1、Grok 3、GPT-4.5眾多模型接連推出，不斷刷新數(shù)據(jù)，如今Llama 4又強勢入場，聲稱碾壓GPT-4.5，可見這場模型之戰(zhàn)愈加激烈。作為開源大模型，Llama 4系列模型展現(xiàn)了Meta對開源策略的堅持。Meta首席執(zhí)行官扎克伯格表示：“他們的目標是建立世界領(lǐng)先的人工智能，將其開源，并使其普遍可用，以便世界上每個人都能受益。”結(jié)合DeepSeek帶來的沖擊以及OpenAI日益明顯的開源傾向，AI公司對開源策略似乎已經(jīng)愈加認同。但是面對OpenAI等眾多競爭對手，Meta能否通過開源策略構(gòu)建有效生態(tài)壁壘，Llama 4 Behemoth能否助其在“萬億參數(shù)俱樂部”中占據(jù)領(lǐng)先地位，還尚未可知。
本文來自虎嗅，原文鏈接：https://www.huxiu.com/article/4207107.html?f=wyxwapp
熱門跟貼