天堂资源www在线网,色,在线观看,啦啦啦在线观看免费视频4,91亚洲蜜臀精品国产,精品亚洲成人一区二区三区

大型語言模型（LLMs）在上下文知識理解方面取得了令人矚目的成功。

近日，一項來自 ICML 2025 的新研究《Massive Values in Self-Attention Modules are the Key to Contextual Knowledge Understanding》揭示了大型語言模型中一個重要現(xiàn)象：在注意力機制的查詢 (Q) 和鍵 (K) 表示中存在非常集中的極大值，而在值 (V) 表示中卻沒有這種模式。這一現(xiàn)象在使用旋轉(zhuǎn)位置編碼 (RoPE) 的現(xiàn)代 Transformer 模型中普遍存在，對我們理解 LLM 內(nèi)部工作機制具有重要意義。

本研究由羅格斯大學(xué)張永鋒教授的團隊完成，一作為金明宇，羅格斯大學(xué)博士生，在 ACL、ICML、AAAI、NAACL、COLM、ICLR、EMNLP、COLING 等頂級會議上發(fā)表過論文。

論文標(biāo)題：Massive Values in Self-Attention Modules are the Key to Contextual Knowledge Understanding
arXiv 鏈接：https://arxiv.org/pdf/2502.01563
代碼鏈接：https://github.com/MingyuJ666/Rope_with_LLM

研究亮點

極大值如何影響模型性能

當(dāng)我們談?wù)摯笮驼Z言模型的理解能力時，通常將其知識分為兩類：參數(shù)知識（存儲在模型權(quán)重中的事實和信息）和上下文知識（從當(dāng)前輸入文本中獲取的信息）。本研究通過一系列精心設(shè)計的實驗，揭示了自注意力模塊中極大值的存在與上下文知識理解之間的關(guān)鍵聯(lián)系。

四大核心發(fā)現(xiàn)

1. 極大值在 Q 和 K 中高度集中分布

研究發(fā)現(xiàn)，這些極大值在每個注意力頭的特定區(qū)域高度集中。這一現(xiàn)象非常反常識，因為 LLM 內(nèi)部每個注意力頭的運算理論上應(yīng)該是獨立的，但這些極大值的分布卻顯示出驚人的一致性。研究團隊通過可視化方法清晰地展示了這一分布特征，橫跨多個層和頭，這種規(guī)律性模式與傳統(tǒng)認知形成鮮明對比。

更引人注目的是，這一極大值現(xiàn)象僅存在于使用 RoPE（旋轉(zhuǎn)位置編碼）的模型中，如 LLaMA、Qwen 和 Gemma 等主流模型。而在未使用 RoPE 的模型（如 GPT-2 和 OPT）中不存在這種模式。這一發(fā)現(xiàn)將極大值現(xiàn)象直接與位置編碼機制建立了聯(lián)系。

2. Q 和 K 中的極大值對理解上下文知識至關(guān)重要

通過設(shè)計「破壞性實驗」，研究團隊將極大值重置為平均值，觀察模型性能變化。結(jié)果表明，這些極大值主要影響模型處理當(dāng)前上下文窗口中的信息的能力，而非影響從參數(shù)中提取的知識。在需要上下文理解的任務(wù)上，破壞極大值會導(dǎo)致性能的災(zāi)難性下降。

例如，在「大海撈針」類型的任務(wù)中，模型需要從大量文本中檢索特定信息。當(dāng)極大值被破壞時，模型在此類任務(wù)上的表現(xiàn)幾乎完全崩潰。這直接說明了極大值對上下文理解的關(guān)鍵作用。

相比之下，對于只需要參數(shù)知識的任務(wù)（如「中國首都是哪里」），破壞極大值對性能影響有限。這種對比鮮明的結(jié)果表明，極大值特別與上下文信息處理相關(guān)，而非參數(shù)知識檢索。

3. 特定量化技術(shù)能更好地保存上下文知識理解能力

隨著大型語言模型的普及，量化技術(shù)成為降低計算和存儲需求的關(guān)鍵手段。然而，不同的量化方法對模型性能的影響各異。研究發(fā)現(xiàn)，專門處理極大值的量化方法（如 AWQ 和 SmoothQuant）能有效維持模型的上下文理解能力，而未特別處理極大值的方法則會導(dǎo)致性能明顯下降（GMS8K 和 AQUA 數(shù)據(jù)集）。

這一發(fā)現(xiàn)為量化技術(shù)的設(shè)計和選擇提供了重要指導(dǎo)，特別是對保留模型的上下文理解能力至關(guān)重要的應(yīng)用場景。設(shè)計新的量化方法時應(yīng)重點考慮保護 Q 和 K 中的大值，對于優(yōu)先保持上下文理解能力的應(yīng)用場景，AWQ 和 SmoothQuant 等方法更為合適。

4. 極大值集中現(xiàn)象由 RoPE 引起，并在早期層就已出現(xiàn)

研究通過深入分析發(fā)現(xiàn)，RoPE 位置編碼使 Q 和 K 中的低頻區(qū)域受位置信息影響較小，從而導(dǎo)致極大值集中現(xiàn)象。這種現(xiàn)象從模型的最初層就開始顯現(xiàn)，并隨著層數(shù)增加而變得更加明顯。

由于 RoPE 只作用于 QK，而不作用于 V，這也解釋了為什么只有 QK 存在極大值集中現(xiàn)象。這一發(fā)現(xiàn)不僅解釋了極大值的來源，也揭示了 RoPE 在大型語言模型中的工作機制。并且我們檢查了有 rope 的模型和沒有 rope 的模型，結(jié)果如圖所示，llama，qwen 都有集中的極大值；相反 gpt-2，jamba，opt 就沒有。