中文一区二区三区乱码,老司机视频福利,久久夜色成人精品二区,视频福利网址,日韩国产精品免费av久久98

機器之心報道

編輯：杜偉

最近，DeepSeek-R1 和 OpenAI o1/03 等推理大模型在后訓練階段探索了長度擴展（length scaling），通過強化學習（比如 PPO、GPRO）訓練模型生成很長的推理鏈（CoT），并在奧數(shù)等高難度推理任務上取得了顯著的效果提升。

受此啟發(fā)，研究人員開始探索預訓練階段的長度擴展，已有方法包括在序列中插入文本、插入潛在向量（如 Coconut）、復用中間層隱藏狀態(tài)（如 CoTFormer）以及將中間隱藏狀態(tài)映射為概念（如 COCOMix）。不過，這些方法普遍存在問題，比如需要更大的 KV 緩存導致推理慢 / 占內(nèi)存多。

本文中，來自 ByteDance Seed 團隊的研究者提出了更簡單的方法：直接重復輸入 tokens（1/2/3/4 次），不做中間層處理。他們觀察到了訓練損失和模型性能隨重復倍數(shù)擴展的趨勢，如下圖 1a 和 1b 所示。但是，直接重復 tokens 也帶來了新問題，包括 KV 緩存規(guī)模線性增加，內(nèi)存壓力大；預填充時間超線性增加；解碼延遲變長。這些都是實現(xiàn)預訓練長度擴展需要重點解決的挑戰(zhàn)。

論文標題：Efficient Pretraining Length Scaling
arXiv 地址：https://arxiv.org/pdf/2504.14992

研究者提出了一種推理友好的新穎長度擴展方法，核心是 PHD-Transformer（Parallel Hidden Decoding Transformer），它保持了與原始 transformer 相同的 KV 緩存大小，同時實現(xiàn)有效的長度擴展。PHD-Transformer 通過創(chuàng)新的 KV 緩存管理策略實現(xiàn)了這些能力。

具體來講，研究者將第一個 token 表示原始 token，將重復的 token 表示為解碼 token。同時僅保留從原始 token 生成的 KV 緩存來用于長距離依賴建模，并在隱藏解碼 token 用于下一個 token 預測之后丟棄它們的 KV 緩存。因此，PHD-Transformer 提供了與原始 transformer 相同的 KV 緩存，同時相較于簡單的 token 重復實現(xiàn)了顯著的推理加速（如圖 1d 所示）。

研究者還注意到，在 PHD-SWA 中，隱藏解碼 token 的 KV 緩存表現(xiàn)出了順序依賴關系，這導致預填充時間呈線性增長。為了解決這個問題，研究者提出了逐塊滑動窗口注意力 —— PHD-CSWA，從而限制了每個塊內(nèi)的順序依賴關系。

因此，得益于只有最后一個塊的預填充時間呈線性增長，PHD-CSWA 顯著縮短了預填充時間（如圖 1c 所示）。

方法概覽

研究者在推理過程中實現(xiàn)了與原始 Transformer 相同的 KV 緩存大小和內(nèi)存訪問模式。雖然需要 K 次 FLOP，但這些計算可以并行處理，從而在內(nèi)存受限的推理場景中最大限度地降低延遲開銷。該架構(gòu)的核心優(yōu)勢在于原始 token 和隱藏解碼 token 之間的解耦。在預填充期間，只有原始 token 需要計算。

這種設計確保預填充時間與原始 Transformer 相同，并且無論擴展因子 K 如何變化，預填充時間都保持不變。而對于損失計算，研究者僅使用 token 的最終副本進行下一個 token 的預測。總之，使用 token 的第一個副本進行 KV 緩存生成，使用 token 的最后一個副本進行下一個 token 的預測。

內(nèi)核設計

PHD-SWA 和 PHD-CSWA

與簡單的 token 重復相比，PHD-Transformer 在保持原始 KV 緩存大小的同時實現(xiàn)了長度擴展。然而通過經(jīng)驗觀察到，為隱藏解碼 token 保留一些 KV 緩存可以帶來顯著的性能提升。因此，為了在保持效率的同時獲得這些優(yōu)勢，研究者引入了 PHD-SWA，將滑動窗口注意力限制在 W 個先前的隱藏解碼 token 上。

雖然 PHD-SWA 滑動窗口方法提升了模型性能，但由于隱藏解碼 token 的 KV 緩存中存在順序依賴關系，它會產(chǎn)生 K 倍的預填充開銷。為了解決這個問題，研究者引入了 PHD-CSWA，它可以在獨立的塊內(nèi)處理注意力。

如下圖 4 所示，PHD-CSWA 將滑動窗口注意力限制在單個塊內(nèi)運行。這種架構(gòu)創(chuàng)新將額外的預填充開銷減少到最終塊內(nèi)的 K 次重復，而不是整個序列重復，這使得額外的計算成本幾乎可以忽略不計，同時保留了局部注意力模式的優(yōu)勢。

實驗結(jié)果

在實驗中，研究者使用 OLMo2 作為代碼庫，并在 ARC、HellaSwag、PIQA、Winogrande、MMLU 和 CommonsenseQA 等公開基準測試集上進行了評估。

訓練細節(jié)：研究者使用 1.2B 參數(shù)規(guī)模的模型，它是一個 16 層的密集模型。每個 token 的隱藏層維數(shù)設置為 2048，F(xiàn)FN 層的隱藏層大小設置為 16384。同時使用組查詢注意力 (Group-Query Attention，GQA)，它包含 32 個查詢頭和 8 個鍵 / 值頭，每個頭的隱藏層維數(shù)設置為 64。研究者使用 500B 個 token 訓練該模型。

對于本文提出的 PHD 系列設置，研究者預訓練了以下兩種 PHD-CSWA 變體：

PHD-CSWA-2-16-32，其中訓練 token 重復兩次。保留一個包含 16 個 token 的局部窗口，并將塊大小設置為 32 個 token。
PHD-CSWA-3-16-32，其中訓練 token 重復三次。局部窗口大小和塊大小與 PHD-CSWA-2-16-32 的設置相同。

PHD-CSWA 在各個基準測試中均實現(xiàn)了持續(xù)的性能提升。下圖 5 中展示了訓練曲線，下表 1 中展示了主要結(jié)果。本文提出的 PHD-CSWA-2-16-32 在這些基準測試中平均實現(xiàn)了 1.5% 的準確率提升，訓練損失降低了 0.025；而 PHD-CSWA-3-16-32 在這些基準測試中平均實現(xiàn)了 2.0% 的準確率提升，訓練損失降低了 0.034。