昨天凌晨5點，阿里巴巴發(fā)布了其最新的大規(guī)模語言模型——Qwen3。根據最新測試結果顯示，Qwen3在多個權威評測平臺如ArenaHard、AIME 24/25、LiveCodeBench、CodeForces和Aider上表現出色，全面超越了DeepSeek開源的R1模型以及OpenAI的o1模型等知名對手
體驗地址：https://chat.qwen.ai/
開源地址：https://github.com/QwenLM/Qwen3
笑臉：https://huggingface.co/collections/Qwen/qwen3-67dd247413f0e2e4f653967f
阿里此次共發(fā)布了兩款MoE模型權重：一款是Qwen3-235B-A22B，參數規(guī)模超過2350億，總激活參數達220億以上的大型模型；另一款是Qwen3-30B-A3B，擁有約300億總參數和30億激活參數的輕量級MoE模型。此外，還開源了6個Dense模型，分別是Qwen3-32B、Qwen3-14B、Qwen3-8B、Qwen3-4B、Qwen3-1.7B和Qwen3-0.6B，所有模型均采用Apache 2.0協(xié)議，支持商業(yè)用途。
Qwen3 具備兩種不同的思考模式，滿足不同場景需求。在思考模式下，模型會通過逐步推理，經過深入分析后給出答案，適合處理復雜且需要細致推敲的問題；而非思考模式則側重于快速響應，適用于對時效性要求較高且問題相對簡單的場景。用戶還能根據具體任務靈活調節(jié)模型的思考深度，實現復雜問題的多步推理與快速問題的即時解答，兼顧效率與準確性。
除了支持中文外，Qwen3還覆蓋了包括葡萄牙語、德語、羅馬尼亞語、瑞典語、丹麥語、保加利亞語在內的共119種語言和方言，語言支持范圍極為廣泛。模型的Agent能力和代碼處理能力也得到了顯著增強，支持MCP服務，進一步擴展了應用的邊界。
在預訓練方面，Qwen3使用了規(guī)模幾乎是其前代Qwen2.5兩倍的數據集，約36萬億tokens，極大地豐富了訓練素材。為了構建如此龐大的數據來源，阿里不僅收集了大量網絡數據，還從PDF文檔中提取文本信息，借助Qwen2.5-VL模型提升提取質量。此外，為了增加數學與代碼領域的數據，阿里還利用了領域專家模型Qwen2.5-Math與Qwen2.5-Coder，將教科書內容、問答對和代碼片段等多種形式的數據進行了合成，進一步增強了模型在專業(yè)方向的能力和表現。
預訓練過程分為三個主要階段。第一階段（S1）中，模型在超過30萬億個token數據上進行訓練，使用4K的上下文長度，這一步為模型打下了基礎的語言理解和通用知識儲備。第二階段（S2）通過提升知識密集型數據的比例來優(yōu)化訓練數據集，模型隨后在額外5萬億token上繼續(xù)預訓練。第三階段則采用高質量的長文本數據，將上下文長度拓展至32K token，從而提升模型處理長文本的能力。
由于架構優(yōu)化、訓練數據量增加以及更高效的訓練方式，Qwen3 Dense基礎模型在整體性能上達到了與參數量更大Qwen2.5基礎模型相當的水平。例如，Qwen3的1.7B、4B、8B、14B和32B版本在表現上相近于Qwen2.5的3B、7B、14B、32B和72B版本。特別是在STEM、編碼和推理等任務中，Qwen3 Dense表現甚至超越了更大規(guī)模的Qwen2.5模型。
在Qwen3 MoE基礎模型中，僅激活了10%的參數，就實現了與Qwen2.5 Dense模型相近的性能，顯著降低了訓練和推理的成本。
為了打造兼具深度推理能力和快速響應速度的混合型模型，阿里采用了四階段訓練策略，內容包括：（1）長思維鏈的冷啟動，（2）長思維鏈的強化學習，（3）思維模式的融合，以及（4）通用強化學習這一完整流程。
阿里在模型訓練中采用了分階段的方法。首先，利用各種包含長思維鏈的數據對模型進行微調，這些數據涉及數學、編程、邏輯推理以及STEM領域的多個任務，目的是為模型奠定扎實的推理基礎。接著，在第二階段，通過大規(guī)模的強化學習，基于規(guī)則制定的獎勵機制，提升模型的探索性和深入鉆研能力。第三階段，將長思維鏈數據與常用指令微調數據結合，對模型進行進一步微調，實現推理能力與快速響應的有機融合。最后，在第四階段，針對指令遵循、格式規(guī)范以及Agent能力等20多個通用領域任務，應用強化學習技術，全面提升模型的通用表現，同時糾正潛在的不良行為。
我們相信人工智能為普通人提供了一種“增強工具”，并致力于分享全方位的AI知識。在這里，您可以找到最新的AI科普文章、工具評測、提升效率的秘籍以及行業(yè)洞察。 歡迎關注“福大大架構師每日一題”，讓AI助力您的未來發(fā)展。
熱門跟貼