機器之心報道
編輯：蛋醬、佳琪
去掉一個「超權(quán)重」的影響，比去掉其他 7000 個離群值權(quán)重加起來還要嚴(yán)重。
大模型的參數(shù)量越來越大，越來越聰明，但它們也越來越奇怪了。
兩年前，有研究者發(fā)現(xiàn)了一些古怪之處：在大模型中，有一小部分特別重要的特征（稱之為「超權(quán)重」），它們雖然數(shù)量不多，但對模型的表現(xiàn)非常重要。
如果去掉這些「超權(quán)重」，模型就完全擺爛了，開始胡言亂語，文本都不會生成了。但是如果去掉其他一些不那么重要的特征，模型的表現(xiàn)只會受到一點點影響。
有趣的是，不同的大模型的「超權(quán)重」卻出奇地相似，比如：
它們總是出現(xiàn)在層中。
它們會放大輸入 token 激活的離群值，這種現(xiàn)象研究者們稱之為「超激活」（super activation）。無論輸入什么提示詞，「超激活」在整個模型中都以完全相同的幅度和位置持續(xù)存在。而這源于神經(jīng)網(wǎng)絡(luò)中的「跨層連接」。
它們還能減少模型對常用但不重要的詞匯，比如「的」、「這」、「了」的注意力。
得到了這些發(fā)現(xiàn)，圣母大學(xué)和蘋果的研究團隊進一步對「超權(quán)重」進行了探索。
他們改進了 round-to-nearest quantization（RNQ）技術(shù)，提出了一種對算力特別友好的方法。
- 論文鏈接：https://arxiv.org/pdf/2411.07191
- 論文標(biāo)題：The Super Weight in Large Language Models
這種新方法與 SmoothQuant 效果相當(dāng)，在處理模型的權(quán)重時，可以用這種技術(shù)處理更大的數(shù)據(jù)塊，讓模型在變小的同時，還能保持很好的效果。
看來，蘋果是真的把寶押在小模型身上了！
什么是「超權(quán)重」？
為了量化「超權(quán)重」對模型的影響有多大，研究團隊修剪了所有的離群值權(quán)重，結(jié)果發(fā)現(xiàn)，去掉一個「超權(quán)重」的影響，比去掉其他 7000 個離群值權(quán)重加起來還要嚴(yán)重。
如何識別「超權(quán)重」？
雖然之前的研究者發(fā)現(xiàn)了「超權(quán)重」可以激活異常大的神經(jīng)網(wǎng)絡(luò)。該團隊又把「超權(quán)重」和「超激活」之間的聯(lián)系向前推進了一步。他們發(fā)現(xiàn)在降維投影之前，門控和上投影的 Hadamard 乘積產(chǎn)生了一個相對較大的激活，而「超權(quán)重」進一步放大了這個激活并創(chuàng)造了「超激活」。
而通過激活的峰值可以進一步定位「超權(quán)重」?；诖?，研究團隊提出了一種高效的方法：通過檢測層間降維投影輸入和輸出分布中的峰值來定位「超權(quán)重」。
這種方法只需要輸入一個提示詞，非常簡單方便，不再需要一組驗證數(shù)據(jù)或具體示例了。
在這種情況下，j 和 k 是由 X_ik 和 Y_ij 的值決定的。因此，可以首先繪制出 mlp.down proj 層的輸入和輸出激活中的極端異常值。接著，如圖 3 所示，確定超權(quán)重所在的層和坐標(biāo)。
一旦檢測到一個超權(quán)重，將其從模型中移除并重復(fù)上述過程，直到抑制住較大的最大激活值。
「超權(quán)重」的機制
- 「超權(quán)重」的影響
研究團隊發(fā)現(xiàn)超級權(quán)重有兩種主要影響：
- 引發(fā)「超激活」；
- 抑制了停用詞（stopword）的生成概率。
為了探究「超權(quán)重」是完全通過「超激活」，還是也通過其他 token 來影響模型質(zhì)量，研究團隊設(shè)計了一個控制變量實驗：
- 原始模型；
- 移除「超權(quán)重」，將其權(quán)重設(shè)置為 0；
- 移除「超權(quán)重」，但恢復(fù)神經(jīng)網(wǎng)絡(luò)層中的「超激活」。
實驗結(jié)果如表 1 所示?；謴?fù)「超激活」后，模型的平均準(zhǔn)確率從 35.14 恢復(fù)到 49.94，恢復(fù)「超激活」挽回了約 42% 的質(zhì)量損失。
這表明，「超權(quán)重」對模型整體質(zhì)量的影響并不完全由「超激活」所導(dǎo)致。
- 「超權(quán)重」對輸出 token 概率分布的影響
「超權(quán)重」會影響輸出 token 的概率分布。為此，該團隊研究了「超權(quán)重」對 Lambaba 測試集的 500 個 prompt 的輸出 token 概率分布有何影響。
實驗表明，移除「超權(quán)重」后，停用詞的生成概率顯著放大。例如，對于 Llama-7B 模型，「the」的生成概率增加約 2 倍，「.」 增加約 5 倍，「,」 增加約 10 倍
為了更加深入地剖析，研究團隊進行了案例研究：
- 輸入 prompt 為：「Summer is hot. Winter is 」
- 下一個 token 應(yīng)為「cold」，這是一個具有強語義的詞。
含有「超權(quán)重」的原始模型能夠以 81.4% 的高概率正確預(yù)測。然而，移除「超權(quán)重」后，模型預(yù)測的最多的詞變成了停用詞「the」，并且「the」的概率僅為 9.0%，大多數(shù)情況是在胡言亂語。
這表明，「超權(quán)重」對于模型正確且有信心地預(yù)測具有語義的詞匯至關(guān)重要。
- 「超權(quán)重」的重要性
研究團隊還分析了超級權(quán)重幅值變化對模型質(zhì)量的影響，通過將超級權(quán)重按 0.0 到 3.0 的縮放因子放大。結(jié)果表明，適度放大幅值可以提升模型準(zhǔn)確率，詳見下圖。
超離群值感知量化
量化是一種壓縮模型和減少內(nèi)存需求的強大技術(shù)。然而，無論是權(quán)重量化還是激活量化，異常值的存在都會大大降低量化質(zhì)量。如前所述，研究者將這些有問題的異常值（包括超權(quán)值和超激活值）稱為超異常值。
如上所示，這些超離群值對模型質(zhì)量的重要性是不成比例的，因此在量化過程中保留它們至關(guān)重要。
量化一般是將連續(xù)值映射到一個有限的值集；這里考慮的是其中一種最簡單的形式，即非對稱輪至最近量化：
研究者特別考慮了硬件以半精度執(zhí)行運算的情況，這意味著張量 X 在使用前會進行量化和去量化；在這種情況下，我們可以通過兩種方法利用超離群值的先驗知識。
首先，保留超離群值，防止對離群值量化產(chǎn)生不利影響。其次，在去量化后恢復(fù)超離群值，以確保超離群值的效果得以保留。
接下來將以兩種形式對權(quán)重和激活采用這一觀點。
激活量化
研究者使用值舍入量化技術(shù)進行實驗，并做了一個小修改：用中值替換超激活（REPLACE），量化（Q）和去量化（Q-1）激活，然后在 FP16 中恢復(fù)超激活（RESTORE）。具體操作如下：
由于超激活是單個標(biāo)量，因此對比特率和內(nèi)核復(fù)雜度的影響不大。
權(quán)重量化
小規(guī)模分組會帶來計算和比特率開銷，需要其他技術(shù)來處理大量的半精度刻度和偏差。為了應(yīng)對這一挑戰(zhàn)，本文提出了一種簡單的方法來改進 INT4 的大塊量化。首先，識別超權(quán)重；其次，為了改善離群值擬合，對離群值權(quán)重進行剪切（CLIP），在這一步超權(quán)重也會被剪切，對剪切后的權(quán)重進行量化（Q）和去量化（Q-1）；然后，為了確保保留超權(quán)重的效果，在去量化后恢復(fù)半精度超權(quán)重（RESTORE）。
如上公式，使用 z-score 對剪切進行參數(shù)化。假定所有權(quán)重都符合高斯分布，研究者認(rèn)為所有 z 值超過某一閾值 z 的值都是離群值。為了調(diào)整超參數(shù) z，研究者使用 Wikitext-2 訓(xùn)練集中的 500 個示例找到了最小重構(gòu)誤差 z-score。
實驗
為了全面展示超權(quán)重的效果，研究者在 LLaMA 7B-30B、Mistral 7B 和 OLMo 上進行了實驗。為了評估 LLM 的實際應(yīng)用能力，他們評估了這些模型在 PIQA、ARC、HellaSwag、Lambada 和 Winogrande 等零樣本基準(zhǔn)上的精度。細(xì)節(jié)如下所示。
激活量化
表 3 比較了本文方法和 SmoothQuant。對于兩個數(shù)據(jù)集上的三個 Llama 模型，本文方法比 SmoothQuant 的 naive 量化方法提高了 70%。在使用 Llama7B 的 C4 數(shù)據(jù)集和使用 Llama-30B 的 Wikitext 數(shù)據(jù)集上，本文改進幅度超過 SmoothQuant 的 80%。這意味著，與更復(fù)雜的方法相比，經(jīng)過大幅簡化的量化方法可以獲得具有競爭力的結(jié)果。
隨后，研究者擴大了評估范圍，納入了更多的 LLM：OLMo（1B 和 7B）、Mistral-7B 和 Llama-2-7B，結(jié)果如表 4 和附錄表 7 所示。這些模型代表了不同的架構(gòu)和訓(xùn)練范式，能夠評估量化方法的通用性。由于 SmoothQuant 沒有報告這組模型，因此研究者將他們的結(jié)果與 naive W8A8 量化進行了比較。在所有模型和數(shù)據(jù)集上，本文方法始終優(yōu)于 naive W8A8 量化，且在 OLMo 模型上表現(xiàn)特別突出。
值得注意的是，OLMo 模型使用非參數(shù)化 LayerNorm，因此與 SmoothQuant 方法不兼容，后者依靠 LayerNorm 權(quán)重來應(yīng)用每個通道的比例。在 Mistral-7B 上，改進幅度較小。研究者假設(shè)這是因為這些模型的 LayerNorm 所學(xué)習(xí)的權(quán)重可能會積極抑制超激活，從而使激活幅度的分布更加均勻。
這些結(jié)果凸顯了超激活在量化過程中保持模型性能的重要性。通過以最小的計算開銷解決這一單一激活，本文方法捕捉到了更復(fù)雜的量化方案所實現(xiàn)的大部分優(yōu)勢。這一發(fā)現(xiàn)表明，在量化過程中，超激活在保持模型質(zhì)量方面發(fā)揮著不成比例的巨大作用。
權(quán)重量化
為了評估所提出的超權(quán)重感知量化方法的有效性，研究者將其與傳統(tǒng)的 round-to-near 量化方法進行了比較，在一套零樣本下游任務(wù)中對模型進行了評估，結(jié)果如圖 7 所示。
在傳統(tǒng)的 round-to-near 量化方法中，可以觀察到一個明顯的趨勢：隨著塊大小的增加，模型質(zhì)量明顯下降。這種下降可能是由于當(dāng)較大的權(quán)重塊一起量化時，量化誤差會增加，從而使異常值影響到更多的權(quán)重。相比之下，本文的「超權(quán)重」感知量化方法對更大的塊大小具有更強的魯棒性。隨著塊大小的增大，模型質(zhì)量的下降明顯小于 round-to-near 方法。
這種魯棒性源于本文方法能夠保留最關(guān)鍵的權(quán)重（超權(quán)重），同時將離群值權(quán)重對整個量化過程的影響降至最低。通過剪除離群值并關(guān)注離群值權(quán)重，本文的方法在表示模型參數(shù)時保持了更高的保真度。
還有一個關(guān)鍵優(yōu)勢是，它能夠支持更大的數(shù)據(jù)塊尺寸，同時減少模型質(zhì)量的損失。這種能力使平均比特率更低，文件尺寸更小，這對于在資源有限的環(huán)境（如移動設(shè)備或邊緣計算場景）中部署模型至關(guān)重要。
更多研究細(xì)節(jié)，可參考原論文。
熱門跟貼