性欧美se62x62ovideotv,老司机免费网站在线观看,亚洲欧美国产日韩在线播放,免费在线看国产精品,国产男女床上黄色视频网站

來自DeepSeek和清華的一篇新研究《通用獎勵模型的推理時擴(kuò)展》（Inference-Time Scaling for Generalist Reward Modeling）找到強化學(xué)習(xí)新方法

強化學(xué)習(xí)（RL）已被廣泛應(yīng)用于大語言模型（LLM）的大規(guī)模訓(xùn)練后階段。近期，通過強化學(xué)習(xí)來激勵LLM推理能力的研究表明，恰當(dāng)?shù)膶W(xué)習(xí)方法能夠?qū)崿F(xiàn)有效的推理時性能擴(kuò)展（inference-time scalability）。然而，強化學(xué)習(xí)面臨的一個關(guān)鍵挑戰(zhàn)是，如何在那些沒有明確答案或規(guī)則的通用領(lǐng)域中，為LLM獲取準(zhǔn)確的獎勵信號

在這篇論文中，DeepSeek研究了如何針對通用查詢，通過增加推理計算量來改進(jìn)獎勵建模（RM）——即實現(xiàn)通用獎勵模型（generalist RM）的推理時可擴(kuò)展性；并進(jìn)一步探討了如何通過合適的學(xué)習(xí)方法，提升性能-計算量擴(kuò)展（performance-compute scaling）的有效性

在獎勵模型方面，研究人員采用了逐點生成式獎勵建模（pointwise generative reward modeling, GRM），因為它對不同的輸入類型具有靈活性，并具備推理時擴(kuò)展的潛力。在學(xué)習(xí)方法上，DeepSeek提出了自洽原則評價微調(diào)（Self-Principled Critique Tuning, SPCT）：通過在線強化學(xué)習(xí)來培養(yǎng)GRM中可擴(kuò)展的獎勵生成行為，使其能夠自適應(yīng)地生成評價原則并給出精準(zhǔn)的評價，最終形成了DeepSeek-GRM模型

此外，為了實現(xiàn)有效的推理時擴(kuò)展，使用并行采樣來增加計算量使用，并引入了一個元獎勵模型（meta RM）來指導(dǎo)投票過程，以獲得更好的擴(kuò)展性能

實驗證明，SPCT顯著提升了GRM的質(zhì)量和可擴(kuò)展性，在多個獎勵模型基準(zhǔn)測試中表現(xiàn)優(yōu)于現(xiàn)有方法和模型，且沒有引入嚴(yán)重偏見；并且，它能取得比訓(xùn)練時擴(kuò)展（training-time scaling，即單純增大模型規(guī)模）更好的性能

以下是詳細(xì)解讀

DeepSeek的解法：Pointwise GRM + SPCT + Meta RM

他們提出了一套組合拳：

基礎(chǔ)架構(gòu)：Pointwise Generative Reward Model (GRM)

是什么：這是一種生成式的獎勵模型，它不直接輸出分?jǐn)?shù)，而是生成評價性的文本（Critique），比如“回答1在邏輯上更清晰，但細(xì)節(jié)不足...最終得分[[8, 6]]分（滿分10）”。分?jǐn)?shù)是從這些文本里提取出來的

為什么選它：因為它天然靈活，既能評判單個回答，也能同時評判多個回答（Pointwise）；而且生成的評價文本本身就有多樣性，為推理時擴(kuò)展提供了可能

核心訓(xùn)練方法：Self-Principled Critique Tuning (SPCT)

靈感來源：研究人員發(fā)現(xiàn)，如果給獎勵模型提供一些好的評價原則（Principles），比如“評分原則1：邏輯連貫性（權(quán)重35%）；原則2：信息完整性（權(quán)重20%）...”，獎勵模型的評分質(zhì)量能顯著提升

SPCT怎么做：這是一種結(jié)合了拒絕采樣微調(diào)（Rejective Fine-Tuning, RFT）和基于規(guī)則的在線強化學(xué)習(xí)（Rule-based Online RL的方法

?RFT (冷啟動)：先用一些有標(biāo)注的數(shù)據(jù)微調(diào)GRM，讓它學(xué)會生成符合格式的原則和評價，并過濾掉明顯錯誤的評價。
?Online RL (核心)：讓GRM自己實時生成評價原則和對應(yīng)的評價文本，然后根據(jù)預(yù)設(shè)規(guī)則（比如生成的評價結(jié)果是否與真實偏好一致）給予獎勵信號，通過RL不斷優(yōu)化GRM，讓它學(xué)會動態(tài)地、針對性地生成高質(zhì)量的原則和準(zhǔn)確的評價。這很關(guān)鍵，模型不再依賴固定的原則，而是學(xué)會了“自己思考該怎么評”

推理時擴(kuò)展策略：并行采樣 + 投票/Meta RM

并行采樣與投票：推理時，讓GRM對同一個問題和若干回答，并行生成k份不同的“原則+評價+分?jǐn)?shù)”。因為每次生成的原則可能不同，評價角度也不同，最后把這k次評分（比如通過簡單投票或加總）綜合起來，得到一個更魯棒、更精細(xì)的最終獎勵。采樣次數(shù)k越多，相當(dāng)于考慮的評價維度越豐富，結(jié)果越好

Meta RM (裁判的裁判)：為了解決并行采樣中可能出現(xiàn)的低質(zhì)量評價干擾結(jié)果的問題，他們還訓(xùn)練了一個元獎勵模型（Meta RM）。這個Meta RM專門用來判斷GRM生成的某一份“原則+評價”的質(zhì)量高低。在最終投票時，可以用Meta RM篩選掉低質(zhì)量的評價，或者給高質(zhì)量的評價更高的權(quán)重，進(jìn)一步提升擴(kuò)展的效果

效果炸裂：推理擴(kuò)展 > 訓(xùn)練擴(kuò)展？

說了這么多，效果如何？

性能超越：基于Gemma-2-27B訓(xùn)練的DeepSeek-GRM-27B，在多個RM基準(zhǔn)測試上，顯著優(yōu)于之前的同類方法（包括LLM-as-a-Judge、PairRM等），并且和Nemotron-4-340B、GPT-40這些強大的閉源模型表現(xiàn)相當(dāng)

推理時擴(kuò)展性超強：

通過增加采樣次數(shù)k，DeepSeek-GRM的性能持續(xù)提升，效果遠(yuǎn)超其他模型

最驚人的是：在Reward Bench測試集上，DeepSeek-GRM-27B通過推理時擴(kuò)展（k=32采樣+Meta RM引導(dǎo)投票），其性能竟然可以媲美甚至超過DeepSeek自家訓(xùn)練的671B MoE模型的零樣本推理性能！這意味著，用增加推理計算量的方式，可以在小模型上達(dá)到甚至超越巨大模型的性能，這在成本和效率上意義重大！