Z1團隊 投稿
量子位 | 公眾號 QbitAI
推理性能提升的同時，還大大減少Token消耗！
清華、耶魯團隊提出推理模型新范式：動態(tài)推理實現(xiàn)高效測試時擴展。
測試時擴展（test-time scaling）技術(shù)加速推動了大語言模型在復(fù)雜推理領(lǐng)域的突破。
以O(shè)penAI的o1系列、DeepSeek-R1等模型為代表，這些系統(tǒng)通過強化學(xué)習(xí)和大規(guī)模思維鏈（CoT）軌跡訓(xùn)練，在數(shù)學(xué)證明、編程競賽等任務(wù)中展現(xiàn)出接近人類專家的水平。
例如，DeepSeek R1在MATH500數(shù)學(xué)基準(zhǔn)上達到97.3%的準(zhǔn)確率，其核心在于允許模型在推理時動態(tài)擴展計算資源——生成更長的思維軌跡意味著更高的解題成功率。
然而，這種“以計算換性能”的策略帶來了顯著的效率代價。
現(xiàn)有方法通常強制分割上下文窗口：模型必須在前半段完成完整推理（如R1采用…分隔符），即使面對簡單問題也需消耗很大一部分的思考tokens（thinking tokens）。
更嚴(yán)重的是，部分模型在復(fù)雜問題上會出現(xiàn)“過度思考”（overthinking）現(xiàn)象：生成冗余的循環(huán)推理步驟卻無法提升準(zhǔn)確率。論文中揭示，直接截斷超過4096 tokens的思考過程可能導(dǎo)致DeepSeek-R1性能下降12.7%，這暴露了當(dāng)前方法在效率與效果間的根本矛盾。
△（a) 與傳統(tǒng)長思考模型相比，Z1的動態(tài)思考窗口可以節(jié)省大量思考token，達到高效推理性能(b)
針對這一挑戰(zhàn)，來自清華、耶魯團隊基于純代碼數(shù)據(jù)訓(xùn)練了一個高效思考模型，其具有天然的動態(tài)推理能力，可根據(jù)問題難度高低生成不同長度的推理軌跡，同時搭配可調(diào)節(jié)的思考窗口，使得模型可以在預(yù)先設(shè)定的推理預(yù)算下實現(xiàn)高效的推理思考。
Z1：動態(tài)推理實現(xiàn)高效測試時擴展
本文的主要創(chuàng)新在于兩個層面：
1、數(shù)據(jù)層面：構(gòu)建Z1-Code-Reasoning-107K數(shù)據(jù)集
作者創(chuàng)建了一個包含10.7萬條編程問題及其長短思維軌跡的數(shù)據(jù)集Z1-Code-Reasoning-107K。通過QwQ-32B模型生成原始軌跡后，逐步提高推理等級，使其保留從“直接求解”到“多步推導(dǎo)”的連續(xù)復(fù)雜度分布。這種數(shù)據(jù)設(shè)計確保了模型在訓(xùn)練過程中能夠接觸不同復(fù)雜度的推理軌跡，從而提升其在實際任務(wù)中的適應(yīng)能力。在此數(shù)據(jù)集上訓(xùn)練得到的Z1模型具備天然的動態(tài)推理能力，并且可遷移至數(shù)學(xué)等代碼以外的推理任務(wù)。
2、機制層面：設(shè)計動態(tài)思考窗口（Shifted Thinking Window）
作者拋棄了硬性分隔符約束，設(shè)計了Shifted Thinking Window機制。對于簡單問題（如BigCodeBench-Hard中的基礎(chǔ)函數(shù)實現(xiàn)），模型自動觸發(fā)弱推理模式，可直接輸出答案；當(dāng)遇到GPQA鉆石級難題時，則自動啟用強推理模式，在max thinking tokens閾值內(nèi)自由推導(dǎo)并給出結(jié)果，如果思考超限則自動追加提示短語引導(dǎo)輸出答案。
二者結(jié)合，使Z1模型具備動態(tài)思考能力和預(yù)算調(diào)整能力，在使用較少thinking tokens的同時，保持較高的基準(zhǔn)準(zhǔn)確率，實現(xiàn)高效動態(tài)的推理。
△Z1方法的數(shù)據(jù)構(gòu)建、訓(xùn)練與動態(tài)思考范式
實驗結(jié)果
多個benchmark上的實驗結(jié)果
實驗證明，該方法在效率-效果平衡上實現(xiàn)顯著提升。
在包含880道競賽編程題的LiveCodeBench v5測試中，Z1-7B以35.3%準(zhǔn)確率明顯超過其他開源7B思考模型，且平均思考token大大降低（R1-Distill-Qwen-7B需要四倍以上思考token才能達到相同性能）。
此外，僅使用代碼軌跡訓(xùn)練也使模型在數(shù)學(xué)推理任務(wù)上的性能提升，例如在GPQA鉆石級科學(xué)難題上，Z1-7B以47.5%準(zhǔn)確率超越原始Qwen2.5-Coder-7B（37.4%）10.1個百分點，同時減少28%的tokens消耗，揭示了此高效推理能力的泛化性。
Test-Time Scaling Evaluation
在三個推理benchmark上的測試時擴展實驗可以看到，僅在代碼的推理數(shù)據(jù)上微調(diào)后的Z1-7B在代碼之外的任務(wù)上也實現(xiàn)了Test-time scaling的能力。
同時，相較于R1-Distill-Qwen-7B，Z1-7B的都能以更短的平均思考長度獲得更高的分?jǐn)?shù)，體現(xiàn)其高效的測試時擴展能力。
這項研究證明，通過多樣性思考軌跡的混合訓(xùn)練和動態(tài)計算資源分配，大模型能夠突破”暴力計算”的局限，自適應(yīng)地在不同難度的任務(wù)中使用不同級別的推理時計算資源；同時這個模型也將非推理模型與長推理模型進行統(tǒng)一，為大型推理模型在高效思考方面的發(fā)展提供了重要的貢獻。
論文鏈接：https://arxiv.org/abs/2504.00810
代碼鏈接：https://github.com/efficientscaling/Z1
模型鏈接：https://huggingface.co/efficientscaling/Z1-7B
數(shù)據(jù)鏈接：https://huggingface.co/datasets/efficientscaling/Z1-Code-Reasoning-107K
熱門跟貼