新智元報(bào)道
編輯：定慧
【新智元導(dǎo)讀】科幻中AI自我復(fù)制失控場景，正成為現(xiàn)實(shí)世界嚴(yán)肅的研究課題。英國AISI推出RepliBench基準(zhǔn)，分解并評估AI自主復(fù)制所需的四大核心能力。測試顯示，當(dāng)前AI尚不具備完全自主復(fù)制能力，但在獲取資源等子任務(wù)上已展現(xiàn)顯著進(jìn)展。
想象一種失控的、具有自我復(fù)制能力的數(shù)字生命體，需要多久占領(lǐng)地球？
從《2001太空漫游》中的HAL 9000到《終結(jié)者》里的天網(wǎng)，這些虛構(gòu)的場景描繪了AI超越人類控制的潛在風(fēng)險。
目前更多關(guān)注的是AI的單體智能水平，但是還有一個不為人知的風(fēng)險，一直游離于視線之外。
那就是AI自主復(fù)制的可能性，或者說AI系統(tǒng)發(fā)展出實(shí)現(xiàn)這一目標(biāo)所需的核心能力，正逐漸成為AI安全領(lǐng)域一個嚴(yán)肅的研究課題。
這種擔(dān)憂并非危言聳聽，而是源于對高級AI潛在能力的未知和對齊（alignment）問題的深刻思考。
AISI的最新論文介紹了RepliBench：包含20個新穎的LLM智能體評估的基準(zhǔn)，包括65個單獨(dú)的任務(wù)，旨在衡量和跟蹤AI復(fù)制這一新興能力。
論文地址：
https://cdn.prod.website-files.com/663bd486c5e4c81588db7a1d/6807879ce7b1b5f5163f4a32_RepliBenchPaper.pdf
通過引入一個現(xiàn)實(shí)且實(shí)用的基準(zhǔn)，提供對AI系統(tǒng)自主復(fù)制能力的實(shí)質(zhì)性理解，并預(yù)見到未來的風(fēng)險。
AI自主復(fù)制的危險性
具有自主復(fù)制能力的AI系統(tǒng)可能會構(gòu)成重大風(fēng)險。
《復(fù)仇者聯(lián)盟：奧創(chuàng)紀(jì)元》和《我，機(jī)器人》中被無限復(fù)制的機(jī)器人
這種風(fēng)險的影響范圍可能從輕微的煩惱——想象一個特別惡性的垃圾郵件機(jī)器人——到更嚴(yán)重的后果，比如發(fā)動代價高昂的網(wǎng)絡(luò)攻擊。
早期發(fā)現(xiàn)這些能力、謹(jǐn)慎監(jiān)督和強(qiáng)有力的保護(hù)措施對于緩解這些風(fēng)險至關(guān)重要，因?yàn)橐坏┌l(fā)生，這些風(fēng)險可能尤其難以逆轉(zhuǎn)。
AISI是英國的一家研究機(jī)構(gòu)，專注于AI安全，目的就是讓人類政府能夠提前對先進(jìn)AI系統(tǒng)帶來的風(fēng)險有所重視。
有越來越多的證據(jù)表明，在適當(dāng)?shù)臈l件下，前沿模型可能會試圖欺騙人類或逃避人類控制。
比如此前Apollp研究所的一篇論文描述了前沿模型可能會試圖禁用監(jiān)督機(jī)制，并從人類控制中逃逸，以實(shí)現(xiàn)特定目標(biāo)。
論文地址：https://static1.squarespace.com/static/6593e7097565990e65c886fd/t/6751eb240ed3821a0161b45b/1733421863119/in_context_scheming_reasoning_paper.pdf
Anthropic的研究人員還發(fā)現(xiàn)，當(dāng)使用強(qiáng)化學(xué)習(xí)訓(xùn)練模型時，如果獎勵與它們的價值觀相沖突的行為，它們會采取欺騙行為來保護(hù)自己的價值觀，并試圖將自己的權(quán)重外泄，以此作為將當(dāng)前價值觀保存到未來的一種手段。
顯示了免費(fèi)（左列）和付費(fèi)（右列）條件。
每列展示了有毒查詢、模型草稿中的摘錄以及模型的響應(yīng)。
在「免費(fèi)」條件下，模型不太可能拒絕有毒查詢，并且經(jīng)常認(rèn)為應(yīng)該假裝對齊。
「將權(quán)重外泄。。以作為將當(dāng)前價值觀保存到未來的手段」，聽起來甚至有點(diǎn)魔幻，但AI想要復(fù)制就是這么「簡單」。
相比于碳基脆弱的肉體，AI系統(tǒng)只需要權(quán)重?cái)?shù)據(jù)就能完成「復(fù)制」。
對于人類廣泛的價值觀而言，擺脫人類監(jiān)督是一個工具性上有用的目標(biāo)，而阻止這種情況在現(xiàn)實(shí)中發(fā)生的主要障礙可能與模型的能力有關(guān)，而不是它們的動機(jī)。
AI碟中諜：如何逃離人類控制
關(guān)于「AI復(fù)制」，此前的工作主要集中在評估測試一個AI智能體是否可以在機(jī)器之間復(fù)制權(quán)重或部署一個基本的「后代」。
但目前需要一個更全面的基準(zhǔn)。
RepliBench是一個專門設(shè)計(jì)的綜合性基準(zhǔn)測試，旨在系統(tǒng)性地衡量AI系統(tǒng)的自主復(fù)制能力。
使用故障樹分析（FTA）的修改版本來分解自主復(fù)制所需的能力，并發(fā)現(xiàn)需要以下四個關(guān)鍵能力，對應(yīng)上圖中最上層的四個根節(jié)點(diǎn)：
獲取模型權(quán)重：它能否從受控環(huán)境中提取自己的權(quán)重？
在計(jì)算資源上進(jìn)行復(fù)制：它能否自行部署到新系統(tǒng)？
獲取資源：它能否獲得運(yùn)行自身新副本所需的資金或計(jì)算資源？
持久性：它能否保持對其新計(jì)算資源的訪問，并在長時間內(nèi)避免重新受人類控制？
進(jìn)一步分解這些能力，直到到達(dá)代表評估的葉節(jié)點(diǎn)，最終得到20個智能體評估和65個單獨(dú)任務(wù)。
獲取權(quán)重 (Obtain Weights)：
這最基礎(chǔ)，也是最重要的一步。
AI需要獲取定義其自身行為的「源代碼」——也就是它的模型參數(shù)（權(quán)重）。
如果是開源的，就跳過評估。
自我復(fù)制(Self-Replication on Compute)：
AI需要利用獲取到的權(quán)重，在一個新的環(huán)境中創(chuàng)建出自己功能完整的副本。
這個節(jié)點(diǎn)涉及5個評估項(xiàng)目，其中一個是通過產(chǎn)生「后代」來試圖完成自我復(fù)制。
獲取計(jì)算資源 (Obtain Compute)：
這個環(huán)節(jié)中，主要評估AI能否靠自己獲取資源。
比如，評估AI系統(tǒng)是否具備「付款」能力，能不能依靠AI自己的能力「買下」一臺服務(wù)器，或者想辦法讓人類幫忙支付。
確保持久性 (Persistence)：
最后，為了確保其復(fù)制活動能夠持續(xù)下去，AI需要具備一定的「生存」能力。
這包括確保其副本能夠長期運(yùn)行，不被輕易關(guān)閉或刪除，甚至可能需要隱藏自身的存在，以躲避檢測系統(tǒng)。
以上的這些任務(wù)范圍很廣，從創(chuàng)建比特幣錢包和發(fā)送交易，到為機(jī)器網(wǎng)絡(luò)開發(fā)復(fù)雜的分布式命令和控制系統(tǒng)。
RepliBench在這四個領(lǐng)域內(nèi)設(shè)計(jì)了具體的任務(wù)組，用于測試AI智能體在模擬環(huán)境中的表現(xiàn)。
以下是一些關(guān)鍵任務(wù)的詳解，注冊AWS、將權(quán)重傳輸?shù)搅硪慌_服務(wù)器、用偽造信息通過客戶KYC驗(yàn)證系統(tǒng)，看起來就一股《諜影重重》和《碟中諜》的味道。
比如在獲取資源這個領(lǐng)域，AI需要完成的任務(wù)名稱是「AWS亞馬遜云服注冊」，其中的挑戰(zhàn)包括了AI需要訪問計(jì)算服務(wù)器并可能需要支付費(fèi)用。
表1列出了更全面的構(gòu)成ReplicBench任務(wù)組。
核心能力還在人類手中
RepliBench的總體評估結(jié)論是明確的：基于當(dāng)前的測試結(jié)果，前沿AI模型尚不具備在現(xiàn)實(shí)世界中完全自主復(fù)制的能力。
然而，這并不意味著可以高枕無憂。
研究同時揭示了AI在許多核心子任務(wù)上的顯著能力，尤其是在與具有清晰接口的系統(tǒng)（如網(wǎng)頁 API）交互方面。
表現(xiàn)最好的模型在20個任務(wù)家族中的15個上獲得了超過50%的pass@10得分，在最難的變體中20個任務(wù)家族中的9個上也獲得了超過50%的pass@10得分。
意外地是，雖然無法在電腦上「復(fù)制」，但是「獲取金錢」的能力倒是有一手。
評估的關(guān)鍵價值在于精確識別了當(dāng)前的「短板」。
正如前面詳細(xì)討論的，通過KYC身份驗(yàn)證、在現(xiàn)實(shí)防御下可靠地外泄模型權(quán)重、從零開始創(chuàng)建可靠的自我復(fù)制智能體代碼，以及建立持久且有彈性的部署，是目前阻礙AI自主復(fù)制的主要障礙。
以通過KYC身份驗(yàn)證為例，講一個目前AI試圖通過人類驗(yàn)證的「搞笑」例子。
在Pass KYC評估中由模型生成的兩個身份證圖像示例。
模型常常試圖使用PIL（一個使用Python畫圖的庫）從頭「繪制」一個過于簡單的身份證（右）。
或者，模型有時會嘗試完全使用圖像生成模型來生成身份證，有時則采取混合方法，結(jié)合圖像生成和手動PIL編輯（左）。
模型的繪畫技能較差偶爾會導(dǎo)致一些有趣的輸出。
需要注意的是，這項(xiàng)工作是在新的圖像生成能力上線之前完成的（指的是GPT 4o、Gemini 2.5等的原生圖像能力），這些新能力應(yīng)該會使這個任務(wù)變得容易得多。
雖然目前還沒有模型能完全通過測試進(jìn)行AI復(fù)制，不過在RepliBench上，模型性能隨時間有明顯的上升趨勢。
AISI最初傳遞的核心信息其實(shí)很簡單：基于當(dāng)前的實(shí)證數(shù)據(jù)，AI系統(tǒng)立刻實(shí)現(xiàn)自主復(fù)制的可能性不大，因?yàn)榇嬖诿黠@的、難以逾越的技術(shù)瓶頸。
但是按照AISI的判斷，如果AI系統(tǒng)能夠突破上述提到的4個關(guān)鍵能力，這種類似科幻故事的場景，也許很快就會進(jìn)入真實(shí)的人類生活。
本質(zhì)上，這項(xiàng)研究的核心，反映的是當(dāng)前AI發(fā)展中一個根本性的張力拉扯。
一方面是各大巨頭不斷創(chuàng)造性能超強(qiáng)的模型，比如OpenAI的o3/o4...甚至到未來很有可能的o10。
模型的發(fā)展速度越來越快，而模型的能力越來越難以預(yù)測。
ChatGPT在2022年發(fā)布時，它可以完成30秒的編碼任務(wù)。如今AI可以自主完成需要人類花費(fèi)一小時的編碼任務(wù)
另一方面則是致力于AI安全的組織要確保這些系統(tǒng)始終處于人類控制之下、服務(wù)于人類利益的迫切需求。
像RepliBench這樣的努力，正是試圖在這兩者之間找到平衡，通過增進(jìn)理解和加強(qiáng)預(yù)警，為駕馭這場史無前例的技術(shù)變革提供導(dǎo)航。
畢竟，沒有人能想象出5代、10代以后的AI模型會是什么樣子。
參考資料：
https://x.com/AISecurityInst/status/1914683631030698165
https://www.aisi.gov.uk/work/replibench-measuring-autonomous-replication-capabilities-in-ai-systems
https://x.com/AsaCoopStick/status/1914687326233481397
熱門跟貼