五月婷婷丁香,久久久久久久久精品中文字幕二区 ,最近的2019中文字幕免费下载视频,国产色综合视频,亚洲精品熟女五十路在线

螞蟻團隊投稿
量子位 | 公眾號 QbitAI

如何讓大模型更懂「人」？

雖然現(xiàn)有大模型經(jīng)過了人類價值觀對齊訓練，但其對齊效果往往會讓少數(shù)群體的聲音被系統(tǒng)性淹沒。

那隨之而來的問題是，當大模型服務全球用戶，標準化對齊范式是否正在制造新的數(shù)字鴻溝？

來自人大和螞蟻的研究團隊洞察到傳統(tǒng)對齊范式的結(jié)構(gòu)性缺陷：

基于普世原則（如無害性、有用性）的單一價值觀體系，本質(zhì)上是對人類復雜心理圖譜的暴力降維。這就像用同一副濾鏡處理所有影像，雖能保證基礎畫質(zhì)，卻抹殺了萬千色彩的獨特性。

更嚴峻的是，現(xiàn)有反饋系統(tǒng)收集的「集體智慧」，往往演變成主流偏好的回聲室，使得教育背景、文化認同等關鍵差異項在數(shù)據(jù)池中悄然消融。

面對這一挑戰(zhàn)，研究團隊提出大模型應該轉(zhuǎn)向個性化對齊訓練。

這首先需要構(gòu)建一個全面而精準的人類偏好表征系統(tǒng)。受到認知科學的啟發(fā)，研究團隊構(gòu)建了首個90維心理偏好空間，巧妙融合馬斯洛需求層次理論、默里需求體系、前沿對齊研究維度與億級社交平臺興趣圖譜。

這個可解釋的坐標體系如同數(shù)字羅盤，既能定位用戶「偏好什么」（如知識獲取傾向），更能揭示「為何偏好」（如自我實現(xiàn)需求）。

基于該框架，研究團隊構(gòu)建并開源了首個包含130萬用戶畫像的AlignX數(shù)據(jù)集，以及基于大規(guī)模綜合個性化訓練的大語言模型AlignXpert。

該模型采用兩種互補的個性化對齊方法：

一是通過上下文對齊（In-Context Alignment，ICA）將用戶畫像直接整合到上下文窗口中進行隱式偏好學習；

二是通過偏好橋接對齊（Preference-Bridged Alignment，PBA）將用戶畫像映射為結(jié)構(gòu)化偏好分布，在保持對不同用戶群體穩(wěn)健泛化能力的同時，提升了模型的可解釋性和可控性。

在4個具有挑戰(zhàn)性的基準測試中，AlignXpert對用戶偏好的預測準確率實現(xiàn)了平均17.06%的相對提升。

值得一提的是，研究團隊同步發(fā)布了首篇聚焦個性化對齊的綜述論文。

該綜述系統(tǒng)性地探討了大語言模型如何在保持普適倫理邊界的同時，實現(xiàn)對個體偏好的精準適配。通過提出統(tǒng)一的技術(shù)框架，涵蓋偏好記憶管理、個性化生成和基于反饋的對齊機制，為未來更具適應性的倫理對齊模型發(fā)展指明方向。這份綜述與本文提出的AlignX形成優(yōu)勢互補：綜述梳理了技術(shù)全景，而AlignX則是從理論到實踐的突破性嘗試。

該論文的第一作者是中國人民大學高瓴人工智能學院博士生李嘉楠，螞蟻技術(shù)研究院副研究員關健為共同第一作者。

對齊幻象下的千人一面困局

在大模型對齊技術(shù)日益精進的表象之下，潛藏著一個被集體忽視的悖論：當開發(fā)者不斷疊加「無害性」「誠實性」「幫助性」等普世原則時，模型的「價值熵減」現(xiàn)象卻愈演愈烈。

這種矛盾集中體現(xiàn)在兩大困境：

一是系統(tǒng)性排除效應，少數(shù)群體的文化觀念、道德立場在默認對齊框架中遭遇靜默擦除；

二是適配性塌縮，用戶滿意度因缺乏個性化響應而持續(xù)衰減。

這一危機直指對齊范式的根本缺陷：人類價值觀的多元光譜與大模型開發(fā)者預設的單一道德坐標系之間，存在著無法彌合的認知鴻溝。

△對某個用戶提示的生成空間進行可視化。

在大模型開發(fā)者預設的三個普世價值觀維度下，現(xiàn)有大模型所對齊的社會偏好密集區(qū)域是所有個性化偏好密集區(qū)域的平均。

深入剖析現(xiàn)有方法，團隊發(fā)現(xiàn)主流“一刀切”的對齊技術(shù)依賴兩大脆弱假設：

一是將復雜的人類偏好壓縮為幾個單向度指標（如「幫助性（越高越好）」），二是將個體差異簡化為同質(zhì)化數(shù)據(jù)池中的統(tǒng)計噪聲。這種粗放式建模猶如在數(shù)據(jù)荒漠中盲目繪制用戶畫像，既無法捕捉價值觀沖突中的微妙平衡（如自由表達vs社會規(guī)范），更無力應對長尾群體的認知特異性。

尤為嚴峻的是，基于匿名聚合數(shù)據(jù)的對齊訓練，實質(zhì)上抹殺了用戶畫像與偏好維度間的因果紐帶，導致模型始終在認知迷霧中摸索。

△AlignX個性化對齊數(shù)據(jù)示意圖。

這個示意圖中，包含一個帖子及其兩個候選回答，三類人格表征包含行為模式和描述性特征，可實現(xiàn)精準偏好推斷并促進偏好學習（右下）。值得注意的是，基于普世價值觀對齊的大語言模型（如GPT-4）傾向于選擇回答2，與用戶傾向于回答1的個性化偏好形成對立。

正如綜述論文所指出的，人類偏好并非單一維度的線性優(yōu)化問題，而是動態(tài)、多維且受社會文化深刻影響的復雜系統(tǒng)。

如下圖所示，個性化對齊的核心在于構(gòu)建一個能夠動態(tài)平衡普適倫理與個體需求的框架。通過引入偏好記憶管理、個性化生成和基于反饋的對齊機制，模型可以在保持倫理邊界的同時，精準適配用戶偏好。這不僅是技術(shù)的突破，更是對“千人一面”困局的深刻反思。

△個性化對齊框架

AlignX：構(gòu)建可擴展的個性化對齊數(shù)據(jù)集

面對個性化對齊中多維度偏好建模的復雜性，研究團隊提出了一套系統(tǒng)化偏好表征框架，其核心突破在于融合「直接偏好方向」與「間接用戶畫像」的雙重認知架構(gòu)，將人類需求的底層邏輯轉(zhuǎn)化為可計算的科學語言。

這一創(chuàng)新建立在心理學與社會認知科學的堅實基礎上。通過引入結(jié)構(gòu)化表征方法，該框架為大規(guī)模用戶偏好學習構(gòu)建了一個「認知操作系統(tǒng)」。

系統(tǒng)通過兩個層次建模用戶偏好：

（1）全面的偏好空間映射，將90個關鍵偏好維度（如“安全感”、“社交歸屬”、“自我實現(xiàn)”等）編碼為可量化的方向標簽（正向/負向/中性）；

（2）多源異構(gòu)用戶畫像表示，整合行為模式（包括用戶的生成內(nèi)容、比較式反饋）與描述性特征（即人口統(tǒng)計屬性）。

基于該偏好表示框架，研究團隊開創(chuàng)了從海量交互數(shù)據(jù)中可擴展地提煉個性化對齊數(shù)據(jù)的新范式。從Reddit論壇16億級真實討論和現(xiàn)有的多個對齊數(shù)據(jù)集出發(fā)，研究團隊構(gòu)建了包含130萬個用戶畫像的AlignX數(shù)據(jù)集。AlignX中每條數(shù)據(jù)被表征成一個五元組，包括用戶畫像、用戶畫像隱含的偏好向量、用戶Prompt、用戶偏好的回復和用戶不偏好的回復。AlignX數(shù)據(jù)集的核心在于將個性化對齊任務形式化為一個條件策略學習問題，使模型能夠基于用戶畫像生成與用戶偏好相符的回復。

AlignXpert：解密用戶行為中的隱式偏好

基于AlignX數(shù)據(jù)集，研究團隊訓練得到能夠根據(jù)用戶畫像進行個性化生成的模型AlignXpert。該模型可以通過兩種方案實現(xiàn)個性化對齊——上下文對齊（ICA）與偏好橋接對齊（PBA），分別對用戶畫像隱含的用戶偏好進行隱式和顯式的建模：
ICA：上下文對齊
直接將用戶畫像與用戶Prompt拼接為上下文窗口，訓練模型捕捉隱式用戶偏好，實現(xiàn)零樣本泛化能力。該方案巧妙利用大模型的上下文學習特性，從用戶畫像中隱式地學習隱含的用戶偏好。

PBA：偏好橋接對齊
引入隱變量顯式建模用戶偏好方，通過兩階段分解實現(xiàn)可解釋的偏好傳遞：第一階段將用戶畫像壓縮為偏好方向向量，第二階段將其轉(zhuǎn)化為自然語言描述注入生成過程。

兩大方法形成互補優(yōu)勢：

隱顯協(xié)同
ICA擅長捕捉動態(tài)交互模式，PBA精于結(jié)構(gòu)化偏好推理
效率革命
ICA利用現(xiàn)成上下文機制，PBA通過用戶畫像向量化壓縮計算開銷

△對齊方法概述

廣泛提升模型對齊能力

實驗結(jié)果令人振奮！研究團隊在涵蓋普世價值觀對齊（UF-P-4）、真實用戶個性化偏好對齊（PRISM、P-Soups）及綜合對齊（AlignX-test）的四大具有挑戰(zhàn)性的基準上，系統(tǒng)驗證了AlignXpert的卓越性能。

1. 跨維度對齊：通用與個性化價值的雙重征服

AlignXpert在通用價值觀與個性化偏好場景中均展現(xiàn)卓越表現(xiàn)。雖然基準模型在普世價值觀（UF-P-4）上表現(xiàn)良好，但它們在個性化偏好（P-Soups、AlignX-test）上表現(xiàn)欠佳。AlignXpert在兩種場景下均保持卓越性能，并在分布外基準測試中展現(xiàn)出強大的泛化能力，在PRISM/ P-Soups上分別以9.83%/32.25%的優(yōu)勢超越基線。

△不同模型在含各類用戶畫像的偏好對齊任務中的對齊準確率（%）

△GPT-4勝率（M1：Llama-3.1-8B-Instruct；M2：AlignXpert-ICA；M3：AlignXpert-PBA）

2. 泛化未來：新偏好維度快速適配

研究團隊探究AlignXpert在AlignX上的偏好對齊訓練是否為適應新偏好維度提供了更優(yōu)的初始化參數(shù)?；趦蓚€新維度——“幽默”（詼諧vs嚴肅）與”實用主義”（實踐導向vs理論導向），研究團隊構(gòu)建了包含6,355個訓練樣本和1,000個測試樣本的數(shù)據(jù)集。

對比三種適應方法：(1) 在ICA框架下微調(diào)Llama-3.1-8B-Instruct，(2) 在ICA框架下微調(diào)AlignXpert-ICA，(3) 在PBA框架下微調(diào)AlignXpert-PBA。兩種AlignXpert變體均顯著超越Llama基線（p值<0.05），表明模型習得的是可泛化的偏好對齊機制，而非對訓練維度的簡單擬合。

△在新偏好維度下的對齊準確率

3. 交互數(shù)據(jù)稀缺，仍能維持表現(xiàn)

在真實應用場景中，用戶往往僅具備有限的交互歷史，這使得個性化偏好對齊模型在不同規(guī)模歷史數(shù)據(jù)下的穩(wěn)定表現(xiàn)至關重要。研究團隊評估了AlignXpert模型對用戶互動歷史數(shù)據(jù)量的魯棒性。通過使用2~16組用戶生成內(nèi)容和成對比較數(shù)據(jù)作為用戶畫像進行測試，揭示了AlignXpert的兩大核心優(yōu)勢：

數(shù)據(jù)稀缺場景下的穩(wěn)健性：即使用戶畫像中僅包含2個樣本數(shù)據(jù)，模型仍能保持可靠性能；
增益效應：隨著歷史數(shù)據(jù)增加，準確率持續(xù)提升。

△不同交互歷史數(shù)量下的對齊準確率

4. 控制自如的偏好

偏好對齊系統(tǒng)的核心能力在于適應多元甚至對立的用戶偏好，而非固化單一傾向。為驗證AlignXpert的該特性，研究團隊在P-Soups和AlignX-test數(shù)據(jù)集開展可控性實驗：在推理階段對用戶畫像中的成對偏好樣本及目標偏好回復對的偏好方向進行反轉(zhuǎn)（如將"y_w>y_l"改為"y_w

對齊準確率（Acc）：衡量模型在偏好反轉(zhuǎn)條件下是否能準確預測被偏好的回復；
翻轉(zhuǎn)成功率（Flip）：統(tǒng)計模型在偏好反轉(zhuǎn)之后預測也成功反轉(zhuǎn)的比例。

AlignXpert在兩項指標上均展現(xiàn)卓越可控性?；€模型則表現(xiàn)出顯著低的翻轉(zhuǎn)成功率（3-15%），證實其過擬合到固定的偏好方向，而AlignXpert實現(xiàn)了動態(tài)適應性優(yōu)化。