美女网站免费观看视频,成人国产精品麻豆,.夜夜久久久久,最新亚洲黄色片在线观看,自拍偷区亚洲综合

大數(shù)據(jù)文摘出品

強(qiáng)化學(xué)習(xí)（RL）真的能讓大模型獲得超越基礎(chǔ)模型的新推理能力嗎？

近日，清華大學(xué)LeapLab團(tuán)隊(duì)聯(lián)合上海交大，發(fā)布了一篇題為《Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?》的新論文，給最近火熱的RLVR（帶可驗(yàn)證獎(jiǎng)勵(lì)的強(qiáng)化學(xué)習(xí)）又“潑了一盆冷水”。

論文地址：https://arxiv.org/pdf/2504.13837

論文標(biāo)題翻譯過(guò)來(lái)是：強(qiáng)化學(xué)習(xí)（RL）真的能讓大模型獲得推理能力上的躍遷嗎？

論文結(jié)論是：RLVR提升的，其實(shí)只是采樣效率，而不是讓模型學(xué)會(huì)了真正全新的推理能力。

換句話說(shuō)：RLVR只是把基礎(chǔ)模型本來(lái)就會(huì)的東西，采樣采得更有效率了。

這份研究直接打破了AI圈子里的“先驗(yàn)知識(shí)”，大家都覺(jué)得RLVR是讓大模型變聰明的“加速器”，特別是在數(shù)學(xué)、代碼等需要推理的任務(wù)上。

比如OpenAI的o1、DeepSeek-R1、Kimi-1.5，都是靠RLVR后處理，成績(jī)一騎絕塵。原理很簡(jiǎn)單：先有個(gè)基礎(chǔ)大模型→ 用RLVR強(qiáng)化一下→ 通過(guò)自動(dòng)判分（比如答案對(duì)不對(duì)、代碼測(cè)不測(cè)得過(guò)）給獎(jiǎng)勵(lì)。

理論上，它能自我提升，學(xué)到以前沒(méi)見(jiàn)過(guò)的新解題套路。于是，這幾年，大家都在說(shuō)，RLVR能讓大模型“自我進(jìn)化”，推理能力突破天花板。

清華團(tuán)隊(duì)的“靈魂拷問(wèn)”：RLVR，真能越過(guò)基座嗎？

清華團(tuán)隊(duì)這篇論文，直接拋出了“靈魂三問(wèn)”：

RLVR強(qiáng)化訓(xùn)練，究竟有沒(méi)有讓大模型獲得“超越基座模型”的全新推理能力？
模型的推理邊界到底被RLVR拓寬了嗎？還是只是換了一種方式采樣？
我們是否過(guò)于高估了RLVR的“自我進(jìn)化”魔力？

對(duì)于上述三個(gè)問(wèn)題，作者用pass@k作為研究方法的核心。因?yàn)閭鹘y(tǒng)的模型評(píng)測(cè)，大多用“平均準(zhǔn)確率”或“單次采樣成功率”來(lái)衡量模型能否解題。但作者敏銳地意識(shí)到，這種評(píng)估方式其實(shí)低估”了模型的潛力。原因是：有些難題，模型可能前幾次都答錯(cuò)，但多采樣幾次，或許就能“撞”出正確答案。

于是，論文采用了 pass@k 這個(gè)指標(biāo)：對(duì)于每道題，采樣k次，只要有一次答對(duì)，就算成功。 k越大，越能“榨干”模型內(nèi)在的推理極限。

核心邏輯是：如果RLVR真能帶來(lái)新能力，那在k再大時(shí)，它也應(yīng)該比基座模型更能解出難題。

實(shí)驗(yàn)結(jié)果有點(diǎn)顛覆大家認(rèn)知——

RLVR訓(xùn)練的模型，在k小的時(shí)候表現(xiàn)更好，但k大了以后，基礎(chǔ)模型能超過(guò)它！

也就是： RLVR訓(xùn)練讓模型更高效采樣出正確答案，但沒(méi)有帶來(lái)全新的推理能力，能力邊界始終被基座模型“鎖死”。

案例1：數(shù)學(xué)推理

以AIME24數(shù)學(xué)競(jìng)賽題為例，RLVR模型一開(kāi)始比基座模型高出30%的準(zhǔn)確率，但多采樣后，基座模型最終能解出更多題目，RLVR的“能力天花板”反而更低。