明敏 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
千呼萬喚，Qwen3終于來了！
一口氣上新8大模型，通通開源。
旗艦?zāi)Ｐ蚎wen3-235B-A22B全方位超越R1、o1、o3-mini，最大杯稠密模型也以32B參數(shù)量達(dá)到了可觀水平。
小尺寸模型的表現(xiàn)也同樣亮眼，Qwen3-4B在數(shù)學(xué)、代碼能力上“以小博大”，和比自身大10倍模型水平相當(dāng)。
本系列一共包括2個(gè)MoE模型和6個(gè)稠密模型。
- 小MoE模型Qwen3-30B-A3B
- MoE模型Qwen3-235B-A22B
- Qwen3-32B
- Qwen3-14B
- Qwen3-8B
- Qwen3-4B
- Qwen3-1.7B
- Qwen3-0.6B
它們均在Apache 2.0許可下開源。
經(jīng)過后訓(xùn)練的模型，例如Qwen3-30B-A3B，以及它們的預(yù)訓(xùn)練基座模型（如 Qwen3-30B-A3B-Base），現(xiàn)已在 Hugging Face、ModelScope和Kaggle等平臺(tái)上開放使用。
對(duì)于部署，Qwen團(tuán)隊(duì)推薦使用SGLang和vLLM等框架；而對(duì)于本地使用，則推薦Ollama、LMStudio、MLX、llama.cpp和KTransformers等。
網(wǎng)友：讓開源再次偉大！
現(xiàn)在，在Qwen Chat（網(wǎng)頁版）和通義APP中均能試用Qwen3。
值得一提的是，Qwen3還增強(qiáng)了對(duì)MCP的支持，具備更強(qiáng)的與環(huán)境交互的能力。
輕松破解7米甘蔗過2米門
Qwen3系列的亮點(diǎn)包括代碼、數(shù)學(xué)能力，并提出了思考/非思考模式切換，提供更具性價(jià)比的模型體驗(yàn)。
思考模式下，模型會(huì)逐步推理；非思考模式提供更快速、近乎即時(shí)的響應(yīng)。
比如“7米長的甘蔗如何通過2米高1米寬的門？” 的問題，Qwen3-235B-A22B知道可以通過傾斜一定角度讓甘蔗過門。
非思考模式等待了2秒左右即開始作答，思考模式則消耗了38912個(gè)token進(jìn)行逐步推理。
36萬億token預(yù)訓(xùn)練
所以Qwen3如何而來？
首先在數(shù)據(jù)上，Qwen3預(yù)訓(xùn)練使用的數(shù)據(jù)約是Qwen2.5的2倍，達(dá)到36萬億token，涵蓋119種語言和方言。
并使用Qwen2.5處理數(shù)據(jù)。用Qwen2.5-VL提取PDF中的文本，在用Qwen2.5改進(jìn)質(zhì)量。數(shù)學(xué)和代碼方面，則利用Qwen2.5-Math和Qwen2.5-Coder來合成包括教科書、問答對(duì)以及代碼片段等多種形式的數(shù)據(jù)。
其次在預(yù)訓(xùn)練方面，共分為3個(gè)階段。
在第一階段（S1），模型在超過30萬億個(gè) token 上進(jìn)行了預(yù)訓(xùn)練，上下文長度為4Ktoken。這一階段為模型提供了基本的語言技能和通用知識(shí)。
在第二階段（S2），通過增加知識(shí)密集型數(shù)據(jù)（如 STEM、編程和推理任務(wù)）的比例來改進(jìn)數(shù)據(jù)集，隨后模型又在額外的5萬億個(gè) token 上進(jìn)行了預(yù)訓(xùn)練。
在最后階段，使用高質(zhì)量的長上下文數(shù)據(jù)將上下文長度擴(kuò)展到 32K token，確保模型能夠有效地處理更長的輸入。
由于模型架構(gòu)的改進(jìn)、訓(xùn)練數(shù)據(jù)的增加以及更有效的訓(xùn)練方法，Qwen3 Dense基礎(chǔ)模型的整體性能與參數(shù)更多的Qwen2.5基礎(chǔ)模型相當(dāng)。
例如，Qwen3-1.7B/4B/8B/14B/32B-Base分別與 Qwen2.5-3B/7B/14B/32B/72B-Base表現(xiàn)相當(dāng)。特別是在 STEM、編碼和推理等領(lǐng)域，Qwen3 Dense基礎(chǔ)模型的表現(xiàn)甚至超過了更大規(guī)模的Qwen2.5模型。
對(duì)于Qwen3 MoE基礎(chǔ)模型，它們?cè)趦H使用10%激活參數(shù)的情況下達(dá)到了與 Qwen2.5 Dense 基礎(chǔ)模型相似的性能。這帶來了訓(xùn)練和推理成本的顯著節(jié)省。
最后在后訓(xùn)練方面。共分為4個(gè)階段：
（1）長思維鏈冷啟動(dòng)
（2）長思維鏈強(qiáng)化學(xué)習(xí)
（3）思維模式融合
（4）通用強(qiáng)化學(xué)習(xí)
第一階段使用長思維鏈數(shù)據(jù)對(duì)模型進(jìn)行微調(diào)，涵蓋了數(shù)學(xué)、代碼、邏輯推理和 STEM 問題等多種任務(wù)和領(lǐng)域，增強(qiáng)模型基本推理能力。
第二階段進(jìn)行大規(guī)模強(qiáng)化學(xué)習(xí)，利用基于規(guī)則的獎(jiǎng)勵(lì)來增強(qiáng)模型的探索和鉆研能力。
第三階段在一份包括長思維鏈數(shù)據(jù)和常用的指令微調(diào)數(shù)據(jù)的組合數(shù)據(jù)上對(duì)模型進(jìn)行微調(diào)，將非思考模式整合到思考模型中。
第四階段則在包括指令遵循、格式遵循和 Agent 能力等在內(nèi)的 20 多個(gè)通用領(lǐng)域的任務(wù)上應(yīng)用了強(qiáng)化學(xué)習(xí)，以進(jìn)一步增強(qiáng)模型的通用能力并糾正不良行為。
在博客中，Qwen團(tuán)隊(duì)表示，Qwen3的發(fā)布和開源將極大地推動(dòng)大型基礎(chǔ)模型的研究與開發(fā)。
我們的目標(biāo)是為全球的研究人員、開發(fā)者和組織賦能，幫助他們利用這些前沿模型構(gòu)建創(chuàng)新解決方案。
更多細(xì)節(jié)可查看：
[1]Blog: https://qwenlm.github.io/blog/qwen3/
[2]GitHub: https://github.com/QwenLM/Qwen3
[3]Hugging Face: https://huggingface.co/collections/Qwen/qwen3-67dd247413f0e2e4f653967f
[4]ModelScope: https://modelscope.cn/collections/Qwen3-9743180bdc6b48
體驗(yàn)方式：
https://chat.qwen.ai/
熱門跟貼