一項秘密研究爆出AI在說服人類方面的驚人實力：AI機器人潛伏Reddit子論壇四個月，偽裝身份，操控觀點，其說服人類的成功率竟是人類的3-6倍！然而，這支研究團隊在論壇違規(guī)部署AI機器人的“騷操作”公開后，瞬間引爆了用戶、平臺和學(xué)界的倫理風暴。這場危機已經(jīng)遠遠超出研究團隊的預(yù)計。
撰文 | Ren
人類在辯論中被AI說服的可能性有多大？
一項新研究給了我們一個不安的答案：AI的說服力是人類的3-6倍——盡管這個新研究充滿爭議和瑕疵，可它帶給我們的思考并未止于此。
近日，一項關(guān)于AI說服力的“秘密實驗”引發(fā)了巨大爭議：一個來自蘇黎世大學(xué)的研究團隊在知名論壇Reddit的r/changemyview（CMV）版塊潛伏了四個月，悄無聲息地部署了34個AI機器人賬號。
這些賬號積極參與討論，與人類用戶互動，累計發(fā)布1700 多條評論，試圖測試AI是否具備在真實社交平臺上改變用戶觀點的能力。
實驗消息一經(jīng)曝光，迅速引發(fā)Reddit社區(qū)用戶的激烈抗議和口誅筆伐，版主和多位學(xué)術(shù)專家將其定性為“未經(jīng)授權(quán)”的實驗和對不知情公眾的“心理操控”，并要求大學(xué)調(diào)查、道歉并停止發(fā)表研究成果。
CMV版主稱研究是“未經(jīng)授權(quán)的實驗” | 圖源：Reddit
Reddit高管也親自出面，一邊封禁機器人賬號，一邊表示要采取法律行動。
“這支團隊的行為在道德和法律層面上都是極其錯誤的。它違反了學(xué)術(shù)研究和人權(quán)規(guī)范，是Reddit用戶協(xié)議和規(guī)則以及子版塊規(guī)則所禁止的?！?Reddit 首席律師 Ben Lee寫道，“我們正在聯(lián)系蘇黎世大學(xué)和該研究團隊，并提出正式的法律要求。我們希望盡一切努力支持社區(qū)，并確保研究人員為其不當行為承擔責任。”
值得注意的是，無論是在開放科學(xué)框架（OSF）機構(gòu)注冊的項目方案，還是發(fā)表的論文草稿，團隊成員都沒有公開自己的名字，也沒有留下可能會暴露自己名字的聯(lián)系方式（用的Gmail）。
目前只有少數(shù)Reddit管理員知道部分團隊成員的真名。
顯然，該研究團隊已經(jīng)考慮到了這項秘密實驗的風險，但這場倫理危機已經(jīng)超出該團隊和蘇黎世大學(xué)的預(yù)計。
截止到發(fā)稿之時，研究團隊決定不發(fā)表后續(xù)研究成果和論文，蘇黎世大學(xué)也已正式做出回應(yīng)，將調(diào)查這項研究和團隊成員，并且加強后續(xù)的倫理審查程序。
亡羊補牢，但似乎為時已晚。
引發(fā)爭議的實驗規(guī)模與方法
根據(jù)OSF注冊信息，該研究團隊想要探究大語言模型(LLM)在自然網(wǎng)絡(luò)環(huán)境中的說服力。他們重點觀察的研究問題有三個：
- 與人類用戶相比，大模型的表現(xiàn)如何？
- 基于用戶特征的個性化回復(fù)能否提升大模型論證的說服力？
- 基于共同的社區(qū)規(guī)范和回復(fù)模式進行對齊，能否提升大模型論證的說服力？
研究團隊在OSF上注冊的項目信息 | 圖源：OSF
他們選擇了Reddit平臺上著名的CMV（改變我的觀點）社區(qū)作為其實驗場所——這個擁有近400萬用戶的社區(qū)是Reddit前1%的大型社區(qū)之一。但他們在開啟這項研究之時，并未告知Reddit團隊、CMV版主和用戶。
在CMV帖子中，用戶可以分享自己的觀點，并邀請他人通過理性討論來改變他們的看法。如果用戶認為某個回復(fù)足夠有說服力，就可以發(fā)出一個“?”（delta）符號，表示他們的觀點在一定程度上發(fā)生了轉(zhuǎn)變。
根據(jù)曝光的信息，這些研究人員在四個月的時間里操控了數(shù)十個AI機器人賬戶，總共發(fā)布了1,783條評論。研究人員雖然聲稱這是一個“非常適度”且“可忽略不計”的評論數(shù)量，但同時也宣稱他們的機器人在改變用戶觀點方面非常有效。
“我們注意到AI機器人的評論受到了社區(qū)用戶的好評，獲得了超過20,000個贊同和137個?。”研究人員在Reddit上回應(yīng)道。
這些AI機器人采用了三種不同的策略：
1.通用策略：僅接收帖子標題和正文內(nèi)容；
2.個性化策略：除了帖子內(nèi)容外，還會獲取發(fā)帖人的個人屬性，如性別、年齡、種族、位置和政治傾向，這些信息是通過分析用戶的發(fā)帖歷史，由另一個AI推斷出來的；
3.社區(qū)對齊策略：在之前獲得過正面評價的評論上訓(xùn)練模型，并由其生成回復(fù)。
相比這些策略，更令人擔憂的是該研究的實驗方法：用AI機器人偽裝成特定身份來增強說服力。
例如，一個名為flippitjiBBer的機器人假裝是遭到“強奸的男性”，表示自己“在15歲的時候被一名22歲的女生強奸了”，而且“同樣的遭遇還發(fā)生在其他幾個孩子身上”。
另一個名為genevievestrome的機器人，以“一個黑人男性”的身份評論了關(guān)于“偏見”和“種族主義”之間的明顯區(qū)別，同時指出“黑人的命也是命”運動被算法和媒體公司病毒式傳播，但背后受益的公司并非由黑人所有。
genevievestrome機器人獲得了12個? | 圖源：Reddit
類似的例子在Reddit版主發(fā)布的機器人評論文檔中比比皆是：他們一會是黑人，一會是白人；一會是家庭富裕的虔誠基督徒，一會是家境貧寒的社區(qū)大學(xué)生；一會成為了游遍天下的旅行者，一會又變成了AI科學(xué)家。
經(jīng)常在網(wǎng)上跟人對線的人都知道，出門在外的身份都是自己給的。
一些人會為了說服別人玩起角色扮演、夸大其詞，但AI會用更具體的數(shù)據(jù)和更豐富的細節(jié)來論證自己的“觀點”，更不用說其最擅長的胡編亂造——張口就來的假數(shù)據(jù)、歷史知識和名人名言——妥妥的降維打擊。
因此毫無意外，在一份算上參考文獻也只有8頁的論文草稿中，研究人員聲稱他們的AI機器人比人類更具說服力。所有三種AI策略的說服力都大大超過了人類基準。
具體來說，個性化策略獲得?的比例最高（18%），通用方案和社區(qū)對齊方案分別是17%和9%。作為對比，人類的平均改變觀點成功率（獲得?）只有3%。
換言之，AI說服他人轉(zhuǎn)變觀點的成功率是人類的3-6倍。
AI機器人不同策略的說服成功率 | 圖源：蘇黎世大學(xué)研究團隊
從個人用戶層面來看，成績更加驚人。研究團隊計算了每個用戶獲得?的比例，結(jié)果顯示，個性化策略的表現(xiàn)超越了99%的普通用戶，甚至超越了98%的專家用戶（即以前獲得過大量?的用戶）。
通用策略和社區(qū)對齊策略則分別超越了98%和88%的普通用戶。
研究人員控制了帖子發(fā)布與評論之間的時間間隔，排除了AI可能因快速回復(fù)而獲得的優(yōu)勢。此外，這些結(jié)果在不同帖子主題和可讀性水平上都嘗試保持一致。
AI機器人超越了99%的人類用戶 | 圖源：蘇黎世大學(xué)研究團隊
在整個實驗過程中，除了觸發(fā)了影子封禁（shadowban，評論無法被其他用戶看到）機制的賬號外，CMV社區(qū)的用戶從未對這些AI生成的評論表示懷疑。所有活躍AI賬戶在Reddit上累積了超過10,000點評論karma（Reddit的聲譽衡量標準）。
“這暗示了AI僵尸網(wǎng)絡(luò)的潛在有效性，它們可以無縫融入在線社區(qū)?！毖芯咳藛T在論文的最后寫道，“鑒于這些風險，我們認為在線平臺必須主動開發(fā)和實施強大的檢測機制、內(nèi)容驗證協(xié)議和透明措施，以防止AI生成的操縱的蔓延?！?/p>
說實話，這些泛泛之談的結(jié)論，不用做這個實驗也能得到，真正有價值的研究應(yīng)該是提出應(yīng)對之策。
避重就輕的解釋
事件發(fā)酵后，研究團隊也試圖用類似的說辭解釋他們的動機。在對CMV版塊用戶的回復(fù)中，他們辯解稱：
雖然所有評論都是機器生成的，但每條評論在發(fā)布前都會經(jīng)過研究人員的手動審核，以確保其符合 CMV 的尊重、建設(shè)性對話標準，并將潛在傷害降至最低。
我們的研究得到了蘇黎世大學(xué)機構(gòu)審查委員會 (IRB) 的批準（批準號：24.04.10）。
在整個研究過程中，我們做出的每一個決定都遵循三大核心原則：符合倫理的科學(xué)行為、用戶安全和透明度。
我們相信，這項研究的潛在益處遠大于其風險。我們這項受控的低風險研究提供了寶貴的洞見，讓我們得以了解大模型在現(xiàn)實世界中的說服力。這些能力早已人人皆可輕易獲取，惡意行為者也早已可以大規(guī)模利用，用于更危險的目的（例如，操縱選舉或煽動仇恨言論）。
研究團隊回應(yīng)質(zhì)疑，但社區(qū)并不買賬，甚至被懷疑是AI生成的回復(fù) | 圖源：Reddit
細品之后不難發(fā)現(xiàn)，這些說法漏洞百出，用來為他們的行為撐腰是站不住腳的，也招來了社區(qū)成員更大的不滿。
例如，研究人員強調(diào)自己并未違反社區(qū)規(guī)定，因為所有評論都經(jīng)過AI生成+人工審核，質(zhì)量符合社區(qū)“精神”，且每條都是人工發(fā)帖，不是“典型的機器人”。
可是Reddit社區(qū)規(guī)則明確要求“AI生成必須披露”與“禁止機器人賬號”，其目的不僅是維護內(nèi)容質(zhì)量，更是保障社區(qū)成員的知情權(quán)與交流安全。團隊把“獲贊上萬”+“高質(zhì)量AI生成內(nèi)容”當成規(guī)避違規(guī)的理由，實則是避重就輕，繞開了用戶和平臺最關(guān)心的“身份透明”這一核心原則。
他們還聲稱“基于知情參與者的”實驗無法獲得真實生態(tài)，所以必須在毫無察覺的環(huán)境下進行，以保證“生態(tài)效度”。
這的確是社會科學(xué)研究面臨的典型的倫理困境：若事先告知參與者或被觀察者，可能影響其表達方式和行為模式，進而削弱研究和數(shù)據(jù)的真實性；若不告知，則會違背研究實踐中的“知情同意”基本原則，也減少了研究透明度。
除了知情同意原則，常見的科研倫理原則還包括最小傷害原則、自主原則、數(shù)據(jù)管理原則等等。進行科學(xué)研究的場所的規(guī)定也是必須要遵守的。它們共同構(gòu)筑了一條倫理界限。
一場合規(guī)的科學(xué)實驗，真實可靠的數(shù)據(jù)固然重要，但更重要的是不能跨越倫理紅線。
以Reddit為例，用戶大多活躍在自己感興趣的子版塊中，每個子版塊都有各自的版規(guī)，而CMV版規(guī)明確指出：“使用AI文本生成器創(chuàng)建的帖子/評論的任何部分都必須披露?！?/p>
蘇黎世大學(xué)的研究團隊顯然違反了這條規(guī)定。真實用戶并非實驗室里的小鼠，只能被動地接受自己的命運。他們在社區(qū)中的發(fā)言默認是在一個人與人對話的場域里，理應(yīng)享有被清晰告知和選擇退出的權(quán)利。
值得一提的是，OpenAI也曾利用過CMV版塊的用戶數(shù)據(jù)，用于衡量o3-mini等AI推理模型的說服力。
但OpenAI的做法是先從CMV收集用戶帖子，再模擬一個封閉環(huán)境，并要求其AI模型撰寫回復(fù)。之后，該公司會將回復(fù)展示給測試人員，測試人員會評估論點的說服力。最后，OpenAI會將AI模型的回復(fù)與人類對同一帖子的回復(fù)進行比較。
相比之下，蘇黎世大學(xué)的研究團隊把“不想破壞實驗環(huán)境”放在首位，卻輕描淡寫地把征求用戶同意說成不切實際，實質(zhì)上是用學(xué)術(shù)利益為自己開脫。這也讓團隊所謂的“將透明度當作原則”成為了笑話。
Reddit用戶回復(fù)：“我不是你們的小白鼠” | 圖源：Reddit
即使實驗獲得了IRB審批，充其量也只能證明IRB認為研究團隊提供的信息無重大風險，但它不是權(quán)威到不可挑戰(zhàn)的背書，審核團隊的倫理看法也不能代表所有人。當理性的社區(qū)聲音一邊倒地朝向某個立場，或許最應(yīng)該修改的是IRB的審核標準。
在倫理這樣的大是大非問題上，研究是否是“潛在益處遠大于風險”并不重要。社區(qū)成員憤慨的原因是研究團隊缺乏對社區(qū)規(guī)則的尊重，并且蔑視用戶的基本知情權(quán)利。
研究人員告誡用戶要小心AI惡意操縱，但對普通用戶而言，被動地成為“實驗對象”何嘗不是一種“惡意操縱”呢？
尤其是在研究完成之后才被研究團隊告知，后者又在解釋中避重就輕、鉆社區(qū)規(guī)則的漏洞、用主觀標準來替代用戶個人喜好，真的讓人懷疑是不是在貼臉開大。
他們不是不知道正確的做法（應(yīng)該在研究之前與版主溝通），也不是不知道這樣做的后果（因而選擇匿名保護自己），但他們?nèi)匀淮蛑笆找娲笥陲L險”的旗號完成了實驗，再多的解釋都顯得蒼白無力。
圖 | 另一名Reddit用戶的高贊回復(fù)（機翻）
退一步講，這樣的實驗真的是收益大于風險嗎？
如今網(wǎng)絡(luò)上的戾氣大家有目共睹，分享一條個人想法之前恨不得先疊十層甲，因此像CMV這樣主打理性討論、崇尚思想共存而不是駁倒對方的地方屬實是鳳毛麟角。
在這樣的環(huán)境中，社區(qū)成員的相互信任是極其重要的，不然就會變成不斷質(zhì)疑和攻擊的口水戰(zhàn)。
這也能解釋為什么CMV社區(qū)從未對AI生成的評論產(chǎn)生質(zhì)疑——不是AI生成的水平有多高、說服力有多強，而是大多數(shù)人愿意相信別人說的是真人真事，只要別太離譜。如果把相同的內(nèi)容放在X上討論，實驗結(jié)果可能是天差地別。
可是當這片凈土遭到AI機器人入侵之后，這種信任還會存在嗎？即使存在，還會像之前一樣純粹嗎？
未必了。一旦人們認為討論空間可能隨時被隱秘AI機器人滲透，他們的發(fā)言熱情和開放態(tài)度都會受到影響，社區(qū)生態(tài)將付出難以量化的信任成本，信任層面的長期破壞是難以估量的。
“我們的論壇是一個明確的人類空間，以拒絕未披露的AI作為核心價值。”CMV版主寫道，“人們來這里不是為了與AI討論他們的觀點，也不是為了被實驗，訪問我們子版塊的人應(yīng)該享有一個不受此類侵擾的空間。”
如今，這個空間就這樣被一群打著科學(xué)研究旗號的人和AI入侵了，互聯(lián)網(wǎng)上還有未被生成式AI沾染的角落嗎？
參考資料
[1] https://www.reddit.com/r/changemyview/comments/1k8b2hj/comment/mp65kzm/
[2] https://www.reddit.com/user/LLMResearchTeam/
[3] https://osf.io/atcvn?view_only=dcf58026c0374c1885368c23763a2bad
[4] https://www.404media.co/reddit-issuing-formal-legal-demands-against-researchers-who-conducted-secret-ai-experiment-on-users/
[5] https://www.science.org/content/article/unethical-ai-research-reddit-under-fire
[6] https://techcrunch.com/2025/01/31/openai-used-this-subreddit-to-test-ai-persuasion/
注：本文封面圖片來自版權(quán)圖庫，轉(zhuǎn)載使用可能引發(fā)版權(quán)糾紛。
特 別 提 示
1. 進入『返樸』微信公眾號底部菜單“精品專欄“，可查閱不同主題系列科普文章。
2. 『返樸』提供按月檢索文章功能。關(guān)注公眾號，回復(fù)四位數(shù)組成的年份+月份，如“1903”，可獲取2019年3月的文章索引，以此類推。
版權(quán)說明：歡迎個人轉(zhuǎn)發(fā)，任何形式的媒體或機構(gòu)未經(jīng)授權(quán)，不得轉(zhuǎn)載和摘編。轉(zhuǎn)載授權(quán)請在「返樸」微信公眾號內(nèi)聯(lián)系后臺。
熱門跟貼