亚洲系列日韩专区中文字幕,日本国产欧美不卡,男人天堂中文字幕在线,校园春色亚洲欧美,9.9元100g纯流量卡

機(jī)器之心報道

機(jī)器之心編輯部

自適應(yīng) LLM 反映了神經(jīng)科學(xué)和計算生物學(xué)中一個公認(rèn)的原理，即大腦根據(jù)當(dāng)前任務(wù)激活特定區(qū)域，并動態(tài)重組其功能網(wǎng)絡(luò)以響應(yīng)不斷變化的任務(wù)需求。

在自然界，「適應(yīng)」是一種非常普遍的現(xiàn)象。例如，章魚能夠迅速改變自身的膚色和紋理，以融入周圍環(huán)境，從而躲避天敵和捕捉獵物；人腦在受傷后能夠重新連接自身神經(jīng)回路，使個體能夠恢復(fù)失去的功能并適應(yīng)新的思維方式或行動方式。生物體展現(xiàn)出的適應(yīng)能力使得生命能夠在不斷變化的環(huán)境中蓬勃發(fā)展。

在人工智能領(lǐng)域，適應(yīng)的概念同樣具有巨大的吸引力。想象一個機(jī)器學(xué)習(xí)系統(tǒng)，它能夠動態(tài)地調(diào)整自身的權(quán)重以在陌生的環(huán)境中不斷學(xué)習(xí)、進(jìn)化。與部署在環(huán)境中的靜態(tài) AI 模型相比，這種有自適應(yīng)能力的模型明顯學(xué)習(xí)效率更高，而且有望成為與現(xiàn)實(shí)世界動態(tài)本質(zhì)始終保持一致的終生模型。

日本 AI 初創(chuàng)公司 Sakana AI 的一項成果就是對這一方向的探索。在論文中，他們提出了一種可以根據(jù)不同任務(wù)動態(tài)調(diào)整模型權(quán)重的機(jī)器學(xué)習(xí)系統(tǒng) ——Transformer^2。

Transformer^2 這個名稱反映了它的兩步過程：首先，模型分析傳入的任務(wù)以了解其要求，然后應(yīng)用特定于任務(wù)的調(diào)整來生成最佳結(jié)果。通過有選擇地調(diào)整模型權(quán)重的關(guān)鍵組成部分，該框架允許 LLM 實(shí)時動態(tài)地適應(yīng)新任務(wù)。

Transformer^2 在各種任務(wù)（例如數(shù)學(xué)、編程、推理和視覺理解）上展示了顯著進(jìn)步，在效率和特定于任務(wù)的性能方面優(yōu)于 LoRA 等傳統(tǒng)靜態(tài)方法，同時需要的參數(shù)少得多。

作者表示，這項研究為人們提供了一個未來 AI 模型不再靜態(tài)的初步展望。這些系統(tǒng)將在測試時動態(tài)地調(diào)整其計算能力，以適應(yīng)它們所遇到的任務(wù)的復(fù)雜性，體現(xiàn)出能夠持續(xù)變化和終生學(xué)習(xí)的「活」的智能。

有人就此展望說，「未來，『預(yù)訓(xùn)練』和『后訓(xùn)練』之間的界限將會消失，我們的模型和智能體將不斷適應(yīng)和自我改進(jìn)。像這樣的系統(tǒng)將為新一代自適應(yīng)人工智能鋪平道路，這種人工智能能夠修改自身的權(quán)重和架構(gòu)，以適應(yīng)它們在環(huán)境中遇到的任務(wù)不斷變化的本質(zhì)?！?/p>

論文標(biāo)題：TRANSFORMER2 : SELF-ADAPTIVE LLMS
論文鏈接：https://arxiv.org/pdf/2501.06252

這篇論文共有三位共同一作，其中兩位是華人。Qi Sun 在東京工業(yè)大學(xué)擔(dān)任研究助理，同時在 Sakana AI 兼職，研究方向是視覺語言模型的訓(xùn)練與評估、大規(guī)模合成數(shù)據(jù)生成等。Yujin Tang 曾在谷歌工作多年，現(xiàn)在是 Sakana AI 的研究科學(xué)家，研究方向是強(qiáng)化學(xué)習(xí)和機(jī)器人。

論文概覽

自適應(yīng)大語言模型（LLM）將代表 AI 領(lǐng)域的一個重要進(jìn)展，提供了一個使模型能夠?qū)崟r適應(yīng)不同任務(wù)和動態(tài)環(huán)境的框架。雖然組合性和可擴(kuò)展性對于有效適應(yīng)至關(guān)重要，但當(dāng)前的 LLM 訓(xùn)練方法難以同時實(shí)現(xiàn)這兩個特性。Sakana AI 的研究旨在提出一個開創(chuàng)性的解決方案來實(shí)現(xiàn)這一愿景并解決這些 gap。

傳統(tǒng)上，LLM 后訓(xùn)練試圖在單次大規(guī)模訓(xùn)練中優(yōu)化模型的廣泛能力。雖然這種「一次性」微調(diào)框架從簡單性的角度來看是理想的，但在實(shí)踐中很難實(shí)現(xiàn)。例如，后訓(xùn)練仍然非常消耗資源，導(dǎo)致巨大的計算成本和超長的訓(xùn)練時間。此外，在引入額外數(shù)據(jù)廣度時往往存在明顯的性能權(quán)衡，這使得同時克服過擬合和任務(wù)干擾變得具有挑戰(zhàn)性。

相比之下，自適應(yīng)模型提供了更靈活和高效的方法。與其試圖一次性訓(xùn)練 LLM 完成所有任務(wù)，專家模塊可以離線開發(fā)并按需增強(qiáng)到基礎(chǔ) LLM 中。這使模型能夠根據(jù)當(dāng)前任務(wù)動態(tài)修改其行為，而無需不斷重新調(diào)整。除了具有獨(dú)立組件的好處外，這種模塊化還支持持續(xù)學(xué)習(xí)，使模型能夠隨時間增加新技能而不會出現(xiàn)災(zāi)難性遺忘。此外，自適應(yīng) LLM 反映了神經(jīng)科學(xué)和計算生物學(xué)中一個公認(rèn)的原理，即大腦根據(jù)當(dāng)前任務(wù)激活特定區(qū)域，并動態(tài)重組其功能網(wǎng)絡(luò)以響應(yīng)不斷變化的任務(wù)需求。

原則上，實(shí)現(xiàn)自適應(yīng) LLM 的第一步可以通過開發(fā)專門的專家模塊來實(shí)現(xiàn)，每個模塊都通過 LoRA 等技術(shù)進(jìn)行微調(diào)。然后這些專家模塊可以根據(jù)任務(wù)需求在運(yùn)行時動態(tài)組合，這個過程可以通過 MoE 類系統(tǒng)高效管理。然而，要使這種方法既可擴(kuò)展又具有組合性，需要解決幾個挑戰(zhàn)。首先，微調(diào) LLM 以創(chuàng)建多個專家模塊顯著增加了需要訓(xùn)練的參數(shù)數(shù)量。實(shí)際上，即使使用 LoRA 等參數(shù)高效的方法，這些模塊的累積大小也會快速增加，導(dǎo)致存儲和計算需求增加。其次，這些專家模塊往往容易過擬合，這種現(xiàn)象在較小數(shù)據(jù)集或窄任務(wù)領(lǐng)域訓(xùn)練時尤為普遍。第三，這些專家模塊的靈活組合也帶來了目前尚未解決的挑戰(zhàn)。

為了克服這些限制，作者首先提出了奇異值微調(diào)（SVF），這是一種新的參數(shù)高效微調(diào)（PEFT）方法，用于獲得自適應(yīng)的有效構(gòu)建塊。SVF 通過僅提取和調(diào)整模型權(quán)重矩陣中的奇異值來工作。通過專注于這種原則性的參數(shù)化，他們提出的方法降低了過擬合風(fēng)險，大幅減少了計算需求，并允許固有的組合性。他們證明這些特性使他們能夠通過在窄數(shù)據(jù)集上使用強(qiáng)化學(xué)習(xí)進(jìn)行訓(xùn)練來廉價地獲得一組有效的領(lǐng)域特定「專家」向量，直接優(yōu)化各個主題的任務(wù)性能。

然后，作者引入了完整的 Transformer^2 框架，通過自適應(yīng)的基本原則來增強(qiáng) LLM。給定來自未知任務(wù)的提示，Transformer^2 采用兩階段推理機(jī)制，如圖 1 所示。

在第一階段，Transformer^2 執(zhí)行模型并觀察其測試時行為，收集相關(guān)信息以理解解決當(dāng)前問題所需的技能。在第二階段，Transformer^2 框架使用這些信息組合可用的專家向量，并對 LLM 的基礎(chǔ)權(quán)重提供專門針對其測試時條件的新修改。作者在 Transformer^2 中設(shè)計了三種不同的適應(yīng)策略，并證明這些策略隨著對測試時條件的訪問增加而提供單調(diào)的性能提升。

作者通過在各種 LLM 和任務(wù)上的廣泛實(shí)驗(yàn)評估了 SVF 和完整的 Transformer^2 框架。首先，在領(lǐng)域特定數(shù)據(jù)集上訓(xùn)練時，他們展示了 SVF 始終優(yōu)于傳統(tǒng)的高效微調(diào)策略（如 LoRA），同時參數(shù)量減少了數(shù)個數(shù)量級。然后，他們展示了 Transformer^2 能夠進(jìn)一步提高性能，即使在完全分布外的應(yīng)用（如視覺問答）中也能有效調(diào)整基礎(chǔ)模型的權(quán)重。最后，他們分析了新框架的特性，驗(yàn)證了它在獲得更多當(dāng)前測試時條件訪問權(quán)限時提供增量收益，甚至允許跨模型架構(gòu)重用預(yù)訓(xùn)練的 SVF 專家。

方法概覽

奇異值微調(diào)（SVF）

就像人類大腦通過互連的神經(jīng)通路存儲知識和處理信息一樣，LLM 在其權(quán)重矩陣中存儲知識。這些矩陣是 LLM 的「大腦」，保存著它從訓(xùn)練數(shù)據(jù)中學(xué)到的精髓。

要理解這個「大腦」并確保它能夠有效地適應(yīng)新任務(wù)，需要仔細(xì)研究其內(nèi)部結(jié)構(gòu)。這就要使用奇異值分解（SVD），SVD 將存儲在 LLM 中龐大、復(fù)雜的知識分解成更小的、有意義的、獨(dú)立的部分（例如數(shù)學(xué)、語言理解等不同的組件）。

Transformer^2 的核心是能夠動態(tài)調(diào)整其權(quán)重矩陣的關(guān)鍵組件。在訓(xùn)練時，該研究引入奇異值微調(diào)（SVF），這是一種使用強(qiáng)化學(xué)習(xí)來增強(qiáng) / 抑制來自不同「大腦」組件的信號以用于各種下游任務(wù)的方法。在推理時，該研究采用三種不同的策略來檢測任務(wù)的身份并相應(yīng)地調(diào)整模型的權(quán)重。

使用 SVF 和 RL 進(jìn)行訓(xùn)練

在訓(xùn)練時，SVF 學(xué)習(xí)一組 z 向量，每個下游任務(wù)一個。每個 z 向量可以被視為任務(wù)的專家，是一個緊湊的表征，負(fù)責(zé)指定權(quán)重矩陣中每個組件的所需強(qiáng)度，形成一組「放大器」或「衰減器」來調(diào)節(jié)不同組件對模型行為的影響。

SVF 使用 RL 在預(yù)定義的下游任務(wù)集上學(xué)習(xí)這些 z 向量。學(xué)得的 z 向量使 Transformer^2 能夠適應(yīng)各種新的下游任務(wù)，同時只引入最少量的額外參數(shù)（即 z 向量。

自適應(yīng)

在推理時，該研究為框架設(shè)計了一個兩階段適應(yīng)策略，以有效地組合任務(wù)特定的 z 向量集。在第一次推理時，給定任務(wù)或單個輸入提示，Transformer^2 使用以下三種適應(yīng)方法之一分析其測試時條件：

基于提示的適應(yīng)：專門設(shè)計的適應(yīng)提示，對任務(wù)進(jìn)行分類（例如數(shù)學(xué)、編程）并選擇預(yù)訓(xùn)練的 z 向量。
基于分類器的適應(yīng)：使用 SVF 訓(xùn)練的任務(wù)分類器，在推理過程中識別任務(wù)并選擇合適的 z 向量。
少樣本適應(yīng)：通過加權(quán)插值組合多個預(yù)訓(xùn)練的 z 向量。簡單的優(yōu)化算法根據(jù)少樣本評估集上的性能調(diào)整這些權(quán)重。

在第二次推理時，Transformer^2 通過組合 z 向量相應(yīng)地調(diào)制權(quán)重，為其新設(shè)置產(chǎn)生最相關(guān)的最終響應(yīng)。

實(shí)驗(yàn)結(jié)果

SVF 性能

表 1 提供了在 LLAMA3-8B-INSTRUCT、MISTRAL-7B-INSTRUCT-V0.3 和 LLAMA3-70B-INSTRUCT 基礎(chǔ)模型上對每個任務(wù)進(jìn)行訓(xùn)練后的結(jié)果。

值得注意的是，SVF 在幾乎所有任務(wù)和基礎(chǔ)模型上都提供了顯著且一致的性能提升。相比之下，LoRA 專家產(chǎn)生的收益較小，甚至出現(xiàn)了零星的性能下降。

這種趨勢也可以擴(kuò)展到視覺 - 語言領(lǐng)域，因?yàn)橛?SVF 微調(diào) LLAMA3-LLAVA-NEXT-8B 將基礎(chǔ)模型的性能提升了超過 39%（見圖 5）。

適應(yīng)性能

該研究使用 SVF 訓(xùn)練的 z 向量評估了 Transformer^2 在未見任務(wù)上的自適應(yīng)能力。

如表 2 所示，所有的 Transformer^2 適應(yīng)策略都在 LLAMA3-8B-INSTRUCT 基礎(chǔ)模型的所有任務(wù)上表現(xiàn)出性能提升，在 MISTRAL-7B-INSTRUCT-V0.3 和 LLAMA3-70B-INSTRUCT 的三個任務(wù)中至少有兩個任務(wù)有所改進(jìn)。相比之下，即使是最佳訓(xùn)練 LoRA 也只在 ARC-Challenge 任務(wù)上提供了改進(jìn)，在 MATH 和 Humaneval 上顯著降低了性能。

這種差異表明 LoRA 的參數(shù)化和優(yōu)化可能特別容易過擬合，特別是在使用較小的 GSM8K 和 MBPP-Pro 數(shù)據(jù)集訓(xùn)練時。

在圖 5 中，基礎(chǔ) LLAMA3-LLAVA-NEXT-8B VLM 的性能僅在應(yīng)用 Transformer^2 后得到改善。研究團(tuán)隊注意到在這種設(shè)置中，Transformer^2 僅從 GSM8K、MBPP-Pro 和 ARC-Easy 的專家向量中進(jìn)行自適應(yīng)。因此，這一結(jié)果進(jìn)一步強(qiáng)調(diào)了自適應(yīng)的高度靈活性，基于語言任務(wù)的知識也可以遷移到不相關(guān)的基于視覺的問題上。

通過對三種適應(yīng)策略的比較，作者發(fā)現(xiàn)了一個明顯的單調(diào)趨勢 —— 即隨著策略的增加和測試時間條件的增加，自適應(yīng)的效果越來越明顯。特別是，具有少樣本自適應(yīng)的 Transformer^2 幾乎總是得分最高的方法，在所有測試設(shè)置中都提供了顯著改進(jìn)，除了 LLAMA3-70B-INSTRUCT @MATH。由于 GPU 資源有限，作者只對一半的層進(jìn)行了 SVF 調(diào)優(yōu)。這種趨勢表明，提供額外或不同類型的信息似乎對 Transformer^2 框架非常有益，表明 Transformer^2 可以為基礎(chǔ)模型提供在終身設(shè)置中部署時持續(xù)改進(jìn)性能的新方法。

表 3 報告了 Transformer^2 的提示適應(yīng)策略所需的推理時間，分別展示了第一階段和第二幾段解決整個問題集所花費(fèi)的時間。注意，「2nd pass」推理時間是解決問題所花費(fèi)的時間，「1st pass」推理時間是自適應(yīng)的時間。括號中是「1st pass」占「2nd pass」推理時間的比率。雖然額外的推理階段可能看起來會使整體運(yùn)行時間翻倍，但重要的是要注意推理時間主要取決于生成的 token 數(shù)量。在論文的設(shè)置中，它是 O (n)，其中 n 是輸入的長度。ARC-challenge 括號中的數(shù)值較大，因?yàn)樗鼈兪菃芜x題，因此「2nd pass」的成本也是 O (n)。在一般設(shè)置中，作者認(rèn)為這個比率更接近 MATH 和 Humaneval 的比率是合理的。