亚洲十八岁女人毛片水多,亚洲欧美成人综合精品,久久av电影,清纯女多次高潮免费视频,亚洲小黄片www免费观看

克雷西發(fā)自凹非寺
量子位 | 公眾號 QbitAI

無需數(shù)據(jù)標(biāo)注，在測試時(shí)做強(qiáng)化學(xué)習(xí)，模型數(shù)學(xué)能力暴增159%！

清華和上海AI Lab周伯文團(tuán)隊(duì)用這樣的方法，對模型進(jìn)行了強(qiáng)化——

結(jié)果模型在多個(gè)數(shù)據(jù)集上的成績均大幅提升，尤其是Qwen-2.5-Math-7B，它做AIME 2024競賽題的成績直接提高了159%。

實(shí)驗(yàn)過程中，強(qiáng)化學(xué)習(xí)的數(shù)據(jù)均由被訓(xùn)練的模型自身生成。

作者還發(fā)現(xiàn)，訓(xùn)練后的模型性能，準(zhǔn)確性已經(jīng)超過了用于訓(xùn)練它的偽標(biāo)簽（測試時(shí)強(qiáng)化學(xué)習(xí)過程中產(chǎn)生）。

DeepMind工程師評價(jià)，這種測試時(shí)強(qiáng)化學(xué)習(xí)的方式將改變LLM的格局：

它利用預(yù)訓(xùn)練模型和特定任務(wù)的提示進(jìn)行實(shí)時(shí)自適應(yīng)，而無需大量帶標(biāo)簽的數(shù)據(jù)集，這是向前邁出的重要一步。

模型自己生成強(qiáng)化學(xué)習(xí)數(shù)據(jù)

作者提出的測試時(shí)強(qiáng)化學(xué)習(xí)（TTRL）過程是測試時(shí)擴(kuò)展和測試時(shí)訓(xùn)練的結(jié)合，具體可以分為“生成、投票、強(qiáng)化”三個(gè)大步驟。

第一步生成的目的，是讓模型針對每個(gè)輸入的prompt，生成盡可能多樣化的候選答案，該過程通過測試時(shí)推理來實(shí)現(xiàn)。

其思路是在推理階段增加計(jì)算資源以獲得更好的性能，具體到TTRL采用的是增加采樣數(shù)量的方式，即對每個(gè)prompt，讓模型采樣生成N個(gè)不同的答案，而不是只生成一個(gè)確定性最高的輸出。

作者的實(shí)驗(yàn)中，當(dāng)在AIME 2024數(shù)據(jù)集上應(yīng)用TTRL訓(xùn)練Qwen2.5-Math-7B模型時(shí)，每個(gè)prompt采樣64次(N=64)，溫度系數(shù)設(shè)為1.0，以鼓勵(lì)模型生成多樣化的答案。

投票過程從上一步生成的N個(gè)候選答案出發(fā)，通過多數(shù)投票的方式來估計(jì)正確答案，并將其作為偽標(biāo)簽。

TTRL在實(shí)際應(yīng)用投票機(jī)制時(shí)還引入了一個(gè)參數(shù) Maj@N，表示多數(shù)投票的估計(jì)準(zhǔn)確率。

它衡量的是偽標(biāo)簽與真實(shí)標(biāo)簽的一致性。通過控制Maj@N，可以權(quán)衡偽標(biāo)簽的質(zhì)量和數(shù)量。

最后一步利用強(qiáng)化學(xué)習(xí)，基于上一步估計(jì)出的偽標(biāo)簽，來優(yōu)化語言模型的策略，使其傾向于給出正確答案。

TTRL采用GRPO算法，還加入了重要性采樣和蒙特卡洛估計(jì)等技術(shù)，以提高訓(xùn)練效率和穩(wěn)定性。

模型數(shù)學(xué)能力大幅提升

為了評估TTRL的效果，作者在AIME 2024、AMC和MATH-500三個(gè)數(shù)據(jù)集上對調(diào)整前后的三款模型進(jìn)行了測試。

在AIME 2024數(shù)據(jù)集上，對于Qwen2.5-Math-7B基礎(chǔ)模型，TTRL將其準(zhǔn)確率從16.7%提高到43.3%，提升幅度高達(dá)159.3%，超越了所有在大規(guī)模標(biāo)注數(shù)據(jù)上訓(xùn)練的模型。
在AMC數(shù)據(jù)集上，Qwen2.5-Math-7B、Qwen2.5-Math-1.5B和LLaMA模型的準(zhǔn)確率分別獲得了74.9%、63.1%和68.4%的大幅提高。
MATH-500數(shù)據(jù)集上的表現(xiàn)更為突出，Qwen2.5-Math-7B和Qwen2.5-Math-1.5B分別實(shí)現(xiàn)了66.4%和142.4%的驚人提升，LLaMA模型的準(zhǔn)確率也提高了29.3%。

平均而言，TTRL使Qwen2.5-Math-7B模型在三個(gè)數(shù)據(jù)集上的性能提高了84.1%。