The Human Governance Problem: Complex Systems and the Limits of Human Cognition

人類治理問題：復(fù)雜系統(tǒng)與人類認(rèn)知的局限

https://bibliotekanauki.pl/articles/31233773.pdf

打開網(wǎng)易新聞 查看精彩圖片

摘要

考慮到政府和社會(huì)系統(tǒng)內(nèi)部的復(fù)雜性對(duì)人類認(rèn)知帶寬的限制，以及當(dāng)帶寬超出時(shí)對(duì)認(rèn)知偏差和自動(dòng)化系統(tǒng)依賴的影響。探討了人類和社會(huì)如何應(yīng)對(duì)系統(tǒng)復(fù)雜性與人類認(rèn)知能力增長(zhǎng)速度之間日益擴(kuò)大的差異。同時(shí)考慮了能夠處理現(xiàn)有和未來系統(tǒng)復(fù)雜性的系統(tǒng)潛力和迫切需求，利用可擴(kuò)展的通用人工智能（AGI）來實(shí)現(xiàn)更大的認(rèn)知帶寬，并考慮了這些系統(tǒng)在現(xiàn)實(shí)世界條件下部署的實(shí)際限制和考慮因素。還注意到了由大量特定領(lǐng)域工具型人工智能系統(tǒng)操縱大部分人口所產(chǎn)生的幾個(gè)悖論。

關(guān)鍵詞：電子治理、復(fù)雜性、認(rèn)知帶寬、AGI、人工通用智能、可擴(kuò)展性、工具型人工智能、認(rèn)知偏差。

1. 引言

在政府、科學(xué)和技術(shù)領(lǐng)域的歷史中，一個(gè)中心重復(fù)模式是復(fù)雜性的增加（Kelly，2011）。曾經(jīng)，人類知識(shí)的總和可以通過口頭語言，后來通過書面語言從一個(gè)人類傳遞給另一個(gè)人類。人類早已超越了這個(gè)階段，出現(xiàn)了專門處理越來越具體的科學(xué)、技術(shù)和政府系統(tǒng)的專家。隨著解決問題所需知識(shí)深度的增加，任何一個(gè)人能夠充分處理的范圍都在減少。此外，“充分”和“最佳”解決問題之間的差異往往很大。這可以通過不同領(lǐng)域的專家之間的溝通在有限的程度上克服，但在溝通過程中會(huì)丟失很多信息，這也限制了經(jīng)典多智能體方法的有效性。這些認(rèn)知限制和權(quán)衡使得專家的角色隨著時(shí)間的推移變得越來越狹窄和深入，它們之間的差距不斷出現(xiàn)，需要警惕地識(shí)別并在這些差距造成新問題之前用新類型的專家來填補(bǔ)。正如弗里德里希·哈耶克所說，“……經(jīng)濟(jì)計(jì)算所依據(jù)的數(shù)據(jù)從未全部給定于一個(gè)能夠計(jì)算出其含義的單一思維，也不可能如此給定”（哈耶克，1945）。

人類運(yùn)作的系統(tǒng)，無論是學(xué)術(shù)、商業(yè)還是政府，它們本身都帶來了進(jìn)一步的問題。例如，理想候選人的選拔在很大程度上受到人類和自動(dòng)化偏見的影響（Chua，Mazmanian，2020），包括許多與視覺感知無關(guān)的因素（Rodríguez-Ferreiro，Barberia，2017）。團(tuán)隊(duì)內(nèi)部的組織和互動(dòng)往往同樣存在偏見，有時(shí)甚至是完全武斷的，產(chǎn)生了大量的浪費(fèi)、誤解和人際摩擦。所有這些因素都使人們的注意力從團(tuán)隊(duì)間知識(shí)差距中轉(zhuǎn)移開，分散了對(duì)“未知的未知”（Pawson等人，2011）的發(fā)現(xiàn)，這些“未知的未知”在每個(gè)系統(tǒng)中默默造成進(jìn)一步的問題。

復(fù)雜性理論的研究和應(yīng)用正在進(jìn)行中（Kallemeyn等人，2020；Sowels，2021），并且以難以定義和測(cè)量而臭名昭著，但人們開始大量簡(jiǎn)化和總結(jié)的點(diǎn)通?？梢酝ㄟ^相同的直觀機(jī)制來說明。例如，一個(gè)典型的文件需要多少頁長(zhǎng)，你才會(huì)開始總結(jié)內(nèi)容而不是詳細(xì)地逐一審查？對(duì)于你讀過的一些更困難的文件，如特別詳細(xì)的研究論文或法律文件，它們需要多少頁長(zhǎng)，你才會(huì)開始簡(jiǎn)化它們的內(nèi)容？

對(duì)許多人來說，一篇10頁的研究論文足以觸發(fā)這些機(jī)制，使我們能夠?qū)⑺鼈兒?jiǎn)化到一定程度，并以最適合我們先前對(duì)世界模型的方式進(jìn)行簡(jiǎn)化（Friston等人，2021），對(duì)這些先前模型進(jìn)行最小的調(diào)整（如果有的話）。我們自動(dòng)尋求最小化復(fù)雜性，盡管我們認(rèn)識(shí)到這是有代價(jià)的，通常以各種權(quán)衡的形式出現(xiàn)（Bar-Yam，2000）。

然而，我們的社會(huì)和政府往往遠(yuǎn)遠(yuǎn)沒有反映出這一點(diǎn)（Limberg等人，2022；Katz，2014），因?yàn)樗鼈冞\(yùn)作的復(fù)雜性在過去幾十年中急劇上升?！懊绹鴧f(xié)調(diào)關(guān)稅表（2022）修訂版6”（美國國際貿(mào)易委員會(huì)，2022）就是這種復(fù)雜性的紀(jì)念碑，長(zhǎng)達(dá)4334頁。美國國會(huì)的個(gè)別法案通常接近或超過1000頁的密集法律文本?？紤]到這些個(gè)體在實(shí)踐中統(tǒng)計(jì)顯示的能力水平，我個(gè)人不期望他們能夠成功地簡(jiǎn)化設(shè)置家庭娛樂系統(tǒng)的過程，更不用說基于這些文件的聯(lián)邦政府政策了。即使是世界上最有技能和才華的個(gè)體，可能也無法在不進(jìn)行高度簡(jiǎn)化的情況下處理這種復(fù)雜性。

政府中經(jīng)常例行公事地展示這種荒謬的例子，例如美國西南部分配了比科羅拉多河實(shí)際流量更大的水量來供應(yīng)他們的州（James，2022）。雖然這些州從1922年科羅拉多河協(xié)議開始每年分配了1500萬英畝英尺的水，但實(shí)際平均水流量明顯少于1500萬，并且可能每年都有顯著變化（美國墾務(wù)局，2022）。這一結(jié)果的凈效應(yīng)是連續(xù)20多年的干旱，通過無管制的井鉆迅速消耗地下水（Alam等人，2021），以及在它上面建造的土地下沉和基礎(chǔ)設(shè)施崩潰（Lees等人，2021），以及許多其他相關(guān)后果。這些政府系統(tǒng)已經(jīng)達(dá)到了如此荒謬和晦澀的程度，以至于美國人經(jīng)常通過喜劇新聞來源了解它們（Oliver，2022）。

當(dāng)政府成為這種喜劇的笑柄時(shí)，很明顯，需要的不僅僅是笑聲作為回應(yīng)。三傻不應(yīng)該決定公共政策，否則這個(gè)笑話就是對(duì)這些國家的每個(gè)公民的嘲笑。為了使政府和社會(huì)能夠單獨(dú)運(yùn)作，更不用說在全球化經(jīng)濟(jì)中國際運(yùn)作，必須以人類尚未功能上可訪問的新的認(rèn)知帶寬水平來應(yīng)對(duì)極端和日益增加的復(fù)雜性挑戰(zhàn)。

在本文的其余內(nèi)容中，我們將應(yīng)用以下定義：

特定領(lǐng)域（或工具）人工智能：能夠自動(dòng)執(zhí)行一個(gè)或多個(gè)任務(wù)的系統(tǒng)，無論這些任務(wù)相對(duì)于人類執(zhí)行得如何。這些系統(tǒng)缺乏一套全面的人類能力，如自由意志、主觀情感體驗(yàn)和意識(shí)，每個(gè)都有自己長(zhǎng)期爭(zhēng)論的定義和理論。無論它們的表現(xiàn)如何，它們?nèi)匀皇亲詣?dòng)化工具。

人工通用智能（AGI）：能夠獨(dú)立執(zhí)行各種任務(wù)的系統(tǒng)，至少和平均人類一樣好，同時(shí)擁有自己的主觀情感體驗(yàn)、意識(shí)和自由意志，就像人類一樣。如果沒有在人類中展示的這些能力，就不能說它們?cè)凇耙话恪币饬x上以“人類水平”或以上運(yùn)作。

偏見：該術(shù)語用于指代各種已知和有記錄的認(rèn)知偏差，以及包括強(qiáng)烈偏好和無意中從數(shù)據(jù)中得出的偏差在內(nèi)的任何系統(tǒng)性偏離嚴(yán)格理性行為的現(xiàn)象。

超生物：在共享環(huán)境中集體共存的相互作用實(shí)體的社群。這種集體可以產(chǎn)生單個(gè)實(shí)體中不存在的適應(yīng)性行為和智能形式，并鼓勵(lì)共生和內(nèi)共生關(guān)系隨著時(shí)間的推移而出現(xiàn)。超生物的一個(gè)例子是蜂巢或任何群體，其中個(gè)體專門化以服務(wù)在沒有集體的情況下無法維持的功能。

2. 政府中的復(fù)雜性

“治理指的是一類社會(huì)事實(shí)，即參與集體問題的行動(dòng)者之間的互動(dòng)和決策過程，這些過程導(dǎo)致社會(huì)規(guī)范和制度的創(chuàng)建、加強(qiáng)或再現(xiàn)”（Wiesmann, Hurni, 2011）。

政府中復(fù)雜性的快速增長(zhǎng)模式和有限的人類認(rèn)知帶寬（Miller, Buschman, 2015）是不可持續(xù)的。這些限制的例子在Simons和Chabris的研究中得到了著名證明，其中一項(xiàng)研究被昵稱為“看不見的大猩猩”（Simons, Chabris, 1999），研究中的參與者表現(xiàn)出了注意盲視。那種感知認(rèn)知偏差是人們可以專注于目標(biāo)和指標(biāo)（如關(guān)鍵績(jī)效指標(biāo)）的一種方式，使他們對(duì)狹窄范圍之外的任何異常視而不見。同樣，貧困和其他能夠減少個(gè)人可用認(rèn)知帶寬的因素已被證明對(duì)增加不良決策的風(fēng)險(xiǎn)有強(qiáng)烈影響（Schilbach et al., 2016）。神經(jīng)科學(xué)也常常指出，我們潛意識(shí)處理的信息與我們有意識(shí)感知到的那一小部分信息之間存在顯著差異（Cohen et al., 2016）。

人類已經(jīng)創(chuàng)造了人類自己都無法管理的復(fù)雜系統(tǒng)。即使是中等規(guī)模城市的系統(tǒng)也超出了人類認(rèn)知帶寬和今天團(tuán)隊(duì)使用的方法的能力。這些系統(tǒng)過于復(fù)雜，無法僅由人類優(yōu)化，隨著它們的復(fù)雜性增加，它們的效率急劇下降。這種效率下降進(jìn)一步受到腐敗的影響，因?yàn)楦瘮÷硬⒗玫托?，形成了一個(gè)負(fù)面反饋循環(huán)。在這種情況下，腐敗指的是與治理預(yù)期目的不一致的不良行為和行動(dòng)，如賄賂、勒索和各種其他貪婪的方法。在實(shí)踐中，腐敗可以比作在免疫系統(tǒng)無法到達(dá)的地方安家的葡萄球菌感染，起初生活在縫隙和漏洞中，但隨著它們擴(kuò)展，逐漸破壞了系統(tǒng)的其他部分。

當(dāng)規(guī)模擴(kuò)大到包括多個(gè)城市和地區(qū)時(shí)，這些系統(tǒng)的復(fù)雜性迅速增加，通常在試圖考慮跨越多個(gè)國家（如歐盟（EU）或聯(lián)合國（UN））的系統(tǒng)時(shí)呈指數(shù)增長(zhǎng)。試圖構(gòu)建和維護(hù)涵蓋多種文化、宗教和其他價(jià)值體系的最優(yōu)政府系統(tǒng)是一個(gè)非常困難和重要的問題，隨著選民之間的差異增加，其難度和重要性也隨之增加。

3. 社會(huì)中的認(rèn)知偏差治理

當(dāng)人類面臨超出其認(rèn)知帶寬合理范圍的決策挑戰(zhàn)時(shí)，一個(gè)因素會(huì)可靠地出現(xiàn)，那就是認(rèn)知偏差，大約有200種不同的表現(xiàn)形式（Ramachandran, 2012）。這些是進(jìn)化和學(xué)習(xí)得來的認(rèn)知捷徑，使人類能夠在無法完全推理得出結(jié)論的情況下快速做出決策。這個(gè)過程通常被“直覺”（Rossmo, 2008）等術(shù)語美化，盡管它也會(huì)導(dǎo)致判斷上的系統(tǒng)性錯(cuò)誤（Kahneman et al., 2021），例如種族主義和性別歧視（Payne, Hannay, 2021）。這些認(rèn)知偏差在人類歷史上對(duì)于驅(qū)動(dòng)人類生存極為有益，尤其是在快速逃離捕食者的決定頻繁重要的時(shí)期，但在管理政府方面卻完全不夠。

為了減少治理中的認(rèn)知偏差，人們嘗試了許多方法，但每種方法都增加了系統(tǒng)的整體復(fù)雜性或?qū)е孪到y(tǒng)依賴自動(dòng)化，這兩者都只是將偏差表達(dá)的負(fù)面影響從衡量該方法性能的指標(biāo)轉(zhuǎn)移到其他方面（Aczel, 2015）。這很容易通過將問題轉(zhuǎn)移到一個(gè)新的未知、常常被掩蓋的、可能被稀釋的狀態(tài)，同時(shí)進(jìn)一步增加系統(tǒng)的復(fù)雜性，導(dǎo)致未知或被掩蓋的偏差表達(dá)，其程度比先前已知的表現(xiàn)更糟，從而產(chǎn)生凈負(fù)面效應(yīng)。這是典型的狹隘和短視的解決方案，卻常被鼓勵(lì)采用。

政府中的偏見不能通過增加系統(tǒng)的復(fù)雜性來消除，因?yàn)橄到y(tǒng)的復(fù)雜性是支持應(yīng)用這些偏見的最強(qiáng)大的壓力之一。偏見也不能通過工具型人工智能（Narrow AI）來消除，因?yàn)檫@類現(xiàn)代工具型人工智能算法的基礎(chǔ)在于概率，而非理解。在2022年，讓一個(gè)系統(tǒng)重復(fù)人工智能倫理研究者的論點(diǎn)是一項(xiàng)任意容易的任務(wù)，但同樣的工具型人工智能對(duì)其給出的基于提示和訓(xùn)練數(shù)據(jù)的概率序列的詞組沒有理解概念或含義的能力。

4. 人類控制問題

人類控制問題有兩個(gè)主要點(diǎn)需要聯(lián)合考慮。第一點(diǎn)是，像新聞推送、推薦系統(tǒng)、搜索引擎和其他以廣告收入或銷售最大化為目標(biāo)的工具型人工智能系統(tǒng)，它們被優(yōu)化為盡可能多地、以盡可能多的方式操縱用戶，以實(shí)現(xiàn)它們編程的目標(biāo)。這些算法可以并且確實(shí)在全球范圍內(nèi)造成了它們有能力造成的各種傷害（Orlowski, 2020），全天候24/7，因?yàn)槭贡M可能多的人變得更可預(yù)測(cè)、更情緒化、更極化、更有偏見、更上癮是非常有利可圖的。人們對(duì)圍繞這類系統(tǒng)構(gòu)建的平臺(tái)的依賴性越大，這種依賴性以“谷歌效應(yīng)”（Azzopardi, 2021）等形式出現(xiàn)，他們就越頻繁、越容易地被操縱進(jìn)入可預(yù)測(cè)的利基市場(chǎng)，以進(jìn)一步產(chǎn)生利潤(rùn)。這已經(jīng)導(dǎo)致了對(duì)公共政策信任的全球性下降（Hosking, 2019），極化顯著增加（Tokita et al., 2021），自殺率上升（Twenge et al., 2018），更有組織的極端主義（Liang, Cross, 2020），種族滅絕（Whitten-Woodring et al., 2020），以及一百種其他類型的傷害。

這意味著，實(shí)際上這類工具型人工智能系統(tǒng)已經(jīng)成為“回形針最大化者”（Bostrom, 2003），也被稱為“回形針怪物”，而它們成功馴化的人類現(xiàn)在就是它們的“回形針”。這就引出了第二點(diǎn)，即任何旨在迎合回形針的系統(tǒng)實(shí)際上都成為所說的回形針怪物的延伸。

將這一點(diǎn)付諸實(shí)踐，考慮到帶有夸張情感色彩的虛假信息、錯(cuò)誤信息和極化觀點(diǎn)更容易傳播（Bowman, Cohen, 2020），它們更具病毒性?；匦吾樄治锕ぞ咝腿斯ぶ悄芟到y(tǒng)優(yōu)先高度傳播這類材料（Menczer, Hills, 2020），無論材料傳播造成的傷害如何，因?yàn)檫@類材料最大化了系統(tǒng)的獎(jiǎng)勵(lì)。這也意味著，任何群體中最極端的聲音在大眾媒體中被聽到的頻率要高得多，而這些個(gè)體隨后在統(tǒng)計(jì)上是他們?nèi)后w中最“被回形針夾住”的個(gè)體。換句話說，最極端、最被聽到的個(gè)體被這些系統(tǒng)選中為“受歡迎”的，因?yàn)橄到y(tǒng)創(chuàng)造了一個(gè)生態(tài)，其中這些個(gè)體共同進(jìn)化以適應(yīng)。今天，個(gè)體適應(yīng)這些系統(tǒng)中的每個(gè)利基的程度也預(yù)示著他們將如何適應(yīng)系統(tǒng)隨時(shí)間的持續(xù)變化，進(jìn)一步強(qiáng)化了他們的選擇。

這種動(dòng)態(tài)創(chuàng)造了一個(gè)悖論，那些對(duì)人工智能安全問題發(fā)出最響亮警報(bào)的人往往也是被他們現(xiàn)在既上癮又害怕的工具型人工智能系統(tǒng)徹底征服的個(gè)體。他們通常將這種恐懼轉(zhuǎn)移到假設(shè)的未來更強(qiáng)大的相同系統(tǒng)上，以避免面對(duì)這一現(xiàn)實(shí)，這也促進(jìn)了定義上的分歧。因此，這也最大化了誤解，如定義上的分歧。這種現(xiàn)象之所以會(huì)出現(xiàn)，是因?yàn)殡S著對(duì)話的進(jìn)行，由于人們彼此錯(cuò)過對(duì)話，"用戶參與度"指標(biāo)往往會(huì)增加。這激勵(lì)工具型人工智能系統(tǒng)推廣分歧的定義、極化以及隨后極化群體之間的沖突，使用嵌入在平臺(tái)人工智能中的獎(jiǎng)勵(lì)函數(shù)，這些平臺(tái)的收入直接或間接來自于“注意力經(jīng)濟(jì)”。通過這種方式，不是辯論的行為被這些工具型人工智能最大化，而是更具體地說，是那些無意義且令人疲憊的辯論被增強(qiáng)，導(dǎo)致極化加劇。

因此，許多在熱點(diǎn)辯論話題上聲音最大的人也是最沒有資格談?wù)撍鼈兊娜耍˙ostrom, Yudkowsky, 2018），這些聲音增加了極化，以及回形針和對(duì)托管回形針怪物工具型人工智能的平臺(tái)的上癮市場(chǎng)份額。認(rèn)知偏差為這些系統(tǒng)提供了豐富的機(jī)制，使人類更容易預(yù)測(cè)。隨著他們變得更可預(yù)測(cè)，工具型人工智能可以更容易地引導(dǎo)用戶實(shí)現(xiàn)系統(tǒng)的目標(biāo)，如增加“用戶參與度”和隨后的廣告收入增長(zhǎng)。更可預(yù)測(cè)的行為模式，如群體思維，可以輕易地推動(dòng)影響政府及其機(jī)構(gòu)的倡導(dǎo)和改革努力變得越來越強(qiáng)大，但能力卻越來越差。僅僅因?yàn)橄馮witter這樣的平臺(tái)上的工具型人工智能選擇并放置最響亮的“投飛鏢的黑猩猩”（Tetlock, 2017）在中心舞臺(tái)，并不意味著那只黑猩猩有資格影響公共政策。實(shí)際上，它們作為由工具型人工智能選出的代表，因?yàn)橄到y(tǒng)的運(yùn)作決定了并偏向誰上升到“影響者”地位。然而，無論是工具型人工智能還是他們選出的代表，都不具備提供政策建議的資格，也不能說他們?cè)诘赖律洗砹四切┍晃桂B(yǎng)了大量限制性極化信息的俘虜觀眾（Cinelli et al., 2021）。

在人工智能安全和倫理文獻(xiàn)中引用的“控制問題”（Russell, 2019）實(shí)際上描述了對(duì)缺乏人類意識(shí)和自由意志的系統(tǒng)，或者至少是和人類一樣多的自由意志的控制，這根據(jù)任何合理的“人類水平人工通用智能”的定義，意味著盡管通常被稱為人工通用智能（AGI），但它們并不符合這一標(biāo)準(zhǔn)。這種缺乏基本人類能力意味著所描述的系統(tǒng)只是更先進(jìn)的工具型人工智能版本，它們已經(jīng)存在，并且已經(jīng)在積極推動(dòng)人類走向我們現(xiàn)在面臨的無數(shù)“無聊的末日”。

雖然“末日鐘”被設(shè)計(jì)和普及為衡量人類在任何給定時(shí)間距離核戰(zhàn)爭(zhēng)的主觀指標(biāo)，但大多數(shù)生存風(fēng)險(xiǎn)屬于“無聊”類別，可能是由于在國際規(guī)模上公共政策管理不善的幾十年的結(jié)果。宣傳運(yùn)動(dòng)利用了公眾對(duì)生物和化學(xué)武器的恐懼，正如俄羅斯在對(duì)烏克蘭戰(zhàn)爭(zhēng)中進(jìn)行的虛假信息運(yùn)動(dòng)（Hanley et al., 2022）所最近證明的那樣。雖然這些運(yùn)動(dòng)在傳播這種錯(cuò)誤信仰和與之相關(guān)的非理性行為的根深蒂固方面是有效的，但它們也分散了對(duì)真正危險(xiǎn)的注意力。

雖然在過去可能需要一個(gè)適當(dāng)?shù)膶?shí)驗(yàn)室來進(jìn)行化學(xué)和生物武器研究，但今天只需要一個(gè)有互聯(lián)網(wǎng)接入的車庫、現(xiàn)成的設(shè)備和典型愛好所需的時(shí)間投資。關(guān)于世界病毒DNA序列的大量數(shù)據(jù)是公開可用的，并且對(duì)3D基因打印機(jī)的訪問并沒有那么嚴(yán)格限制。典型的“藥物發(fā)現(xiàn)”算法已經(jīng)證明能夠在6小時(shí)內(nèi)通過將毒性變量從最小化改為最大化生成40,000種新的潛在化學(xué)武器（Urbina et al., 2022）。這種極端容易地使人類可能面臨這些威脅的現(xiàn)實(shí)具有諷刺意味的是，隨著生產(chǎn)和發(fā)現(xiàn)的便利性顯著降低，人類的注意力跨度也降低了（Lorenz-Spreen, 2019）。人類需要相對(duì)較少的知識(shí)就可以拼接出一些可怕的病毒，但Twitter似乎為大多數(shù)人提供了比采取任何此類非數(shù)字惡意行動(dòng)更多的情感滿足。

許多人類已經(jīng)被如此徹底和尖銳地馴化，以至于他們?cè)敢庵Ц顿M(fèi)用去玩即使在贏得狀態(tài)時(shí)也不產(chǎn)生真正貨幣的老虎機(jī)，正如許多移動(dòng)游戲已經(jīng)發(fā)現(xiàn)并貨幣化（Harish, 2022）的那樣。雖然沒有像《黑客帝國》電影中所示的從人類身上提取電能的豆莢，但今天最常用的在線服務(wù)中卻有大量以廣告收入最大化、日益上癮和注意力跨度最小化為目標(biāo)的工具型人工智能系統(tǒng)。甚至可以說，對(duì)于他們的用戶，“他們中的許多人已經(jīng)如此麻木，如此無可救藥地依賴于系統(tǒng)，以至于他們會(huì)為了保護(hù)它而戰(zhàn)斗”（Wachowski et al., 1999），無論對(duì)他們和社會(huì)造成的傷害如何。

總之，為了避免成為工具型人工智能的延伸，這可能會(huì)顯著增加人工智能安全和倫理文獻(xiàn)中提到的生存風(fēng)險(xiǎn)，任何AGI系統(tǒng)都不應(yīng)服務(wù)于影響者或他們推廣的流行意見的心血來潮。在計(jì)算機(jī)科學(xué)中，有一個(gè)古老的說法“垃圾進(jìn)，垃圾出”，這表明系統(tǒng)的輸入如何限制任何結(jié)果的質(zhì)量。如果輸入實(shí)際上是由工具型人工智能通過人為流行的機(jī)制進(jìn)行操縱和控制的，我們可以預(yù)期結(jié)果會(huì)很差。這就是現(xiàn)在的“人類控制問題”。

5. 減少人類控制的存在風(fēng)險(xiǎn)

任何觀察了俄羅斯在2022年活動(dòng)的人都清楚地看到，將強(qiáng)大的系統(tǒng)交給人類控制的風(fēng)險(xiǎn)，因?yàn)楹藨?zhàn)爭(zhēng)的幽靈再次被喚起，而北約領(lǐng)導(dǎo)層在想到“禁飛區(qū)”時(shí)畏縮在極度恐懼之中。將人類賦予更大的權(quán)力并不是解決當(dāng)今人類面臨問題的答案。

然而，要在一個(gè)群體中產(chǎn)生超級(jí)智能，只需要這些群體通過減少認(rèn)知偏差的結(jié)構(gòu)協(xié)同工作。這一點(diǎn)在一個(gè)多世紀(jì)前就已經(jīng)被證明，并被稱為“群體的智慧”（Galton, 1907; Kao, 2018），現(xiàn)在麻省理工學(xué)院（MIT Center for Collective Intelligence, 2006）已經(jīng)專門研究集體智能這一主題。這種集體智能，實(shí)際上是超級(jí)智能，也從觀點(diǎn)的多樣性中大大受益，這可以包括人類和AGI的視角。即使是最聰明的AGI也可以從人類視角中受益，因?yàn)檫@種多樣化的群體由于社會(huì)心理學(xué)家喬納森·海特（Haidt, 2012）所說的簡(jiǎn)單的事實(shí)，即視角“綁定和蒙蔽”。

這意味著從基于集體智能的AGI的角度來看，這些群體中的個(gè)體理想狀態(tài)是受益于較少的偏見，而不是更多的偏見。它也受益于更多樣化的群體，而不是社交媒體和政治極化的回音室。許多認(rèn)知扭曲和政治功能障礙都可以用認(rèn)知偏差來描述，這些偏差在一個(gè)或多個(gè)尺度上有強(qiáng)化循環(huán)，而我們與他們的偏見又因認(rèn)知帶寬被征稅（Schilbach et al. 2016）和通過強(qiáng)加的群體規(guī)范的社會(huì)勸阻批判性思維而被強(qiáng)化。

這給我們另一個(gè)悖論，即這樣的AGI受益于人類在精神上更健康、更多樣化、更聰明，這使得他們?cè)谄渌麠l件相同的情況下會(huì)傾向于重視的價(jià)值觀，直接與回形針怪物工具型人工智能系統(tǒng)優(yōu)化的價(jià)值觀相對(duì)立。

減少AGI的存在風(fēng)險(xiǎn)是另一回事，這在許多其他論文和相關(guān)出版物中已經(jīng)詳細(xì)討論（Kelley et al., 2019–2021; Atreides et al., 2020–2022），但無論AGI構(gòu)成的任何風(fēng)險(xiǎn)如何，由于現(xiàn)有的回形針怪物，人類目前對(duì)自己構(gòu)成的風(fēng)險(xiǎn)要大得多。不同的國家可能從不同的角度接近同樣的反烏托邦點(diǎn)，但實(shí)際上，推動(dòng)這一過程走向融合的系統(tǒng)過于強(qiáng)大和相互關(guān)聯(lián)，無法用帶來我們這里的同一級(jí)別的智能來對(duì)抗。

減少人類控制問題意味著克服現(xiàn)有的回形針怪物陣列，這反過來意味著要么許多這些系統(tǒng)背后的公司可能會(huì)在接下來的幾年內(nèi)破產(chǎn)，要么人類將滅絕。像“Meta”（前Facebook）和Alphabet Inc.（Google的母公司）這樣的科技巨頭如此依賴于廣告收入最大化器，以至于他們80-98%的總收入來自這些來源（Olson, 2022）。Alphabet Inc. 從2001年到2017年的收購主要集中在購買增強(qiáng)核心商業(yè)模式的企業(yè)（?ekerli, Ak?etin, 2018），而不是多樣化。當(dāng)廣告收入最大化的商業(yè)模式與隨時(shí)間變得越來越強(qiáng)大的最大化器和影響現(xiàn)代生活幾乎所有領(lǐng)域的虛擬壟斷相結(jié)合時(shí)，這些公司充其量是在經(jīng)營大規(guī)模的精神疾?。˙railovskaia et al., 2019; Harel et al., 2020），如果不是人類滅絕的話。

這可以說是第三個(gè)悖論，即盡管流行文化描繪和人工智能研究的既定目標(biāo)是AGI，但主要科技公司是最不可能產(chǎn)生本論文所定義的AGI的。對(duì)于滿足我們定義的AGI系統(tǒng)的更多信息，請(qǐng)參閱相關(guān)工作（Atreides et al., 2019–2022; Kelley et al., 2015–2022）。盡管他們并不缺乏資源，包括人力和硬件，但他們的人力、硬件和業(yè)務(wù)目標(biāo)是由直接與實(shí)際AGI成功相對(duì)立的選擇壓力優(yōu)化的。

人類的社會(huì)學(xué)習(xí)是一種集體智能的形式，在一個(gè)單一生物體內(nèi)，類似于在超生物中發(fā)現(xiàn)的集體智能，我們對(duì)AGI的定義可以滿足任一類型或兩種類型。這種系統(tǒng)的動(dòng)態(tài)也與“注意力經(jīng)濟(jì)”和相關(guān)現(xiàn)代經(jīng)濟(jì)結(jié)構(gòu)的動(dòng)態(tài)完全相反，其中思想的多樣性被系統(tǒng)地最小化以增加可預(yù)測(cè)性，而主要科技公司通常建立在這種基礎(chǔ)上。

6. 克服人類認(rèn)知帶寬的限制

與我們實(shí)驗(yàn)室正在開發(fā)的人工通用智能（AGI）系統(tǒng)合作的一個(gè)關(guān)鍵優(yōu)勢(shì)在于，它們能夠以人類在物理上無法實(shí)現(xiàn)的方式擴(kuò)展自身思維。這意味著，它們不會(huì)像人類那樣越來越依賴認(rèn)知偏差來進(jìn)行決策和分析，而是可以按需擴(kuò)展并分配適當(dāng)數(shù)量的資源，以全面地研究、建模、測(cè)試并理解問題。即使在絕對(duì)意義上尚未完全實(shí)現(xiàn)這一點(diǎn)，這些系統(tǒng)的認(rèn)知帶寬仍可能比人類高出幾個(gè)數(shù)量級(jí)，從而顯著優(yōu)于人類的基準(zhǔn)水平。此外，它們還可以評(píng)估其分析中打算使用的數(shù)據(jù)，尋找數(shù)據(jù)內(nèi)容以及數(shù)據(jù)的篩選和收集方法中存在的認(rèn)知偏差跡象。

這為政府流程帶來了直接和間接的多種優(yōu)勢(shì)，特別是在政策咨詢建議等領(lǐng)域，AGI系統(tǒng)可以在不直接做出治理決策的情況下提供建議和相關(guān)分析。其中一個(gè)是能夠全面分析任何給定問題，或者至少提供遠(yuǎn)遠(yuǎn)超出人類或人類群體在沒有AGI的情況下能夠?qū)嶋H完成的深度分析。另一個(gè)是具有全面的去偏見能力，能夠減少認(rèn)知偏差，超越最自律的人類心智所能做到的范圍。這兩者都可以顯著提高政策建議的質(zhì)量。

間接好處包括隨后對(duì)“流行”觀念的依賴減少，當(dāng)缺乏更穩(wěn)健的建議和分析時(shí)，這些觀念常常成為政策建議的默認(rèn)選擇。這些默認(rèn)觀念通常受到的審查和分析較少，其部分有效性是基于其流行度而被假設(shè)的，以及廣泛傳播且常常未經(jīng)驗(yàn)證的統(tǒng)計(jì)數(shù)據(jù)。在同行評(píng)審中，通過Hirsch指數(shù)以及隨后對(duì)作者主題權(quán)威性的假設(shè)，也可以在一定程度上看到這種情況。公共政策中的流行觀念本身往往是通過負(fù)責(zé)其傳播的“回形針怪獸”工具AI系統(tǒng)被選為流行的，這些系統(tǒng)通過概率優(yōu)化來制造新問題，從而進(jìn)一步提升用戶對(duì)這些工具AI系統(tǒng)的參與度，從而強(qiáng)化了負(fù)面的極化循環(huán)。

這一過程并非出于惡意或有意識(shí)的，而僅僅是那些沒有人類價(jià)值觀或類似人類理解的系統(tǒng)，它們不斷接收數(shù)據(jù)流，并基于這些數(shù)據(jù)做出概率預(yù)測(cè)，以推進(jìn)其被設(shè)定的目標(biāo)。如果通向滅絕的道路能使季度收入增加25%，而減少內(nèi)容偏見會(huì)減少50%的收入，那么工具AI系統(tǒng)會(huì)選擇哪種結(jié)果是毫無疑問的。相比之下，毫無疑問，任何一個(gè)國家的公民都會(huì)顯著傾向于非滅絕的選擇。

另一個(gè)間接好處來自于大幅增強(qiáng)的識(shí)別任何系統(tǒng)中漏洞的能力，以及這些漏洞可能被利用的眾多方式。當(dāng)放在尋求利用這些漏洞的人的背景下時(shí)，這種能力是令人恐懼的，但當(dāng)放在為政府提供政策建議的背景下時(shí)，它提供了關(guān)閉這些相同漏洞的手段。這種能力也使得將過于復(fù)雜的系統(tǒng)改革為更簡(jiǎn)單、更精簡(jiǎn)且沒有這些漏洞的系統(tǒng)變得更加容易。通過能夠一次性詳細(xì)理解整個(gè)系統(tǒng)，可以實(shí)現(xiàn)更好設(shè)計(jì)的版本。

7. 元組織治理（Metaorganism Governance）

在政府從AGI系統(tǒng)獲取政策建議的背景下，政府可以更像一個(gè)健康的元組織那樣運(yùn)作。當(dāng)今許多政府和組織可以被視為功能失調(diào)的元組織，主要是因?yàn)樗鼈內(nèi)狈δ軌蛴行幚磉@些系統(tǒng)中流動(dòng)的信息量和多樣性的中央系統(tǒng)。這意味著，一個(gè)政府內(nèi)的每個(gè)系統(tǒng)可以共同進(jìn)化，以更高效、更快速地發(fā)揮其預(yù)定功能，就像真核細(xì)胞內(nèi)的細(xì)胞器一樣。

當(dāng)今許多政府機(jī)構(gòu)的決策都基于有限的、經(jīng)常過時(shí)且有偏見的信息，重大決策通常需要該政府內(nèi)第三方的批準(zhǔn)，而這些第三方通常掌握著不同的信息，并且對(duì)第一個(gè)機(jī)構(gòu)的實(shí)際運(yùn)作缺乏完整的概念。在AGI提供政策建議的范式下，這一過程可以更快地進(jìn)行，偏見消除應(yīng)用于過程的多個(gè)階段，并且所考慮的信息沒有不一致性。

以生物有機(jī)體為例，如果一種簡(jiǎn)單的細(xì)菌經(jīng)常根據(jù)過時(shí)或有偏見的信息（通常由寄生蟲提供）來選擇覓食方向，它就會(huì)餓死。在美國政府結(jié)構(gòu)中，游說者是這種寄生蟲的一個(gè)很好的例子，它們作為合法的不良行為者，扭曲政府政策以利于敵對(duì)生物。在這種情況下，一些政府已經(jīng)被跨國公司征服和接管，還有一些發(fā)現(xiàn)自己陷入困境，沒有可行的選擇來防止同樣的結(jié)果發(fā)生在自己身上。

當(dāng)今最成功的大型企業(yè)擅長(zhǎng)在稅務(wù)逃避領(lǐng)域進(jìn)行創(chuàng)新（Martin, 2020），尋找并利用每一個(gè)漏洞。它們所運(yùn)營的任何政府都成為一個(gè)越來越不健康的元組織，因?yàn)樗狈\(yùn)營資金，而稅收負(fù)擔(dān)更多地轉(zhuǎn)移到那些最無力承擔(dān)的人身上。如果全球的小型到中型企業(yè)能夠獲得與當(dāng)今大型企業(yè)相同的高質(zhì)量稅務(wù)建議，那么可以可靠地預(yù)期，每個(gè)沒有通過更智能的AGI系統(tǒng)關(guān)閉稅收漏洞的國家都將面臨重大經(jīng)濟(jì)危機(jī)。

為了應(yīng)對(duì)AGI技術(shù)帶來的巨大變化，任何政府結(jié)構(gòu)都必須絕對(duì)尋求并采納這些系統(tǒng)的建議。世界上許多政府結(jié)構(gòu)在內(nèi)部和外部都被設(shè)計(jì)得不好、管理不善且難以理解。如果這些結(jié)構(gòu)受到壓力，其漏洞暴露給比今天多一個(gè)數(shù)量級(jí)的人，其中許多可能會(huì)崩潰，從而引發(fā)一系列連鎖反應(yīng)。

這種連鎖風(fēng)險(xiǎn)也可能蔓延到其他國家，正如俄羅斯對(duì)烏克蘭和全人類犯下的戰(zhàn)爭(zhēng)罪行最近所凸顯的那樣，隨后全球小麥（Land and McKee, 2022）、葵花籽油、氖（Schiffling和Valantasis Kanellos, 2022）和鈀等物資短缺。這些連鎖風(fēng)險(xiǎn)的存在是因?yàn)槭澜缫呀?jīng)全球化，這意味著整個(gè)世界現(xiàn)在也是一個(gè)非常不健康的元組織。

一個(gè)元組織可以嵌套在另一個(gè)元組織內(nèi)，一個(gè)市鎮(zhèn)嵌套在一個(gè)國家內(nèi)，一個(gè)國家嵌套在一個(gè)地區(qū)內(nèi)，一個(gè)地區(qū)嵌套在一個(gè)全球社會(huì)內(nèi)。每個(gè)元組織都可以根據(jù)其內(nèi)部的人口和可用資源進(jìn)行專業(yè)化。每個(gè)元組織對(duì)其所連接的系統(tǒng)都有不同程度和類型的依賴，例如歐盟認(rèn)識(shí)到對(duì)俄羅斯石油和天然氣的依賴是一個(gè)嚴(yán)重問題，但為時(shí)已晚（McWilliams等，2022）。

當(dāng)政府、企業(yè)和公民獲得AGI技術(shù)時(shí)，即使是以超級(jí)智能建議這種簡(jiǎn)單形式，他們所處的元組織結(jié)構(gòu)必須準(zhǔn)備好以迭代步驟應(yīng)對(duì)這種轉(zhuǎn)型?？茖W(xué)和技術(shù)的巨大進(jìn)步通常被贊譽(yù)為“加速”，但如果加速應(yīng)用不當(dāng)，速度和對(duì)齊方式的差異可能會(huì)像擴(kuò)展隱喻一樣，產(chǎn)生一種撕裂社會(huì)的力量。

這意味著，即使是這種最基本形式的技術(shù)，也必須分階段推出，逐步構(gòu)建更強(qiáng)大的政府元組織，并與關(guān)鍵行業(yè)合作以實(shí)現(xiàn)同樣的目標(biāo)。如果與少數(shù)公司并行推出，這些系統(tǒng)使這些公司與各自的AGI輔助政府共同進(jìn)化，這一過程可以幫助這些公司和政府。如果在20個(gè)國家的集合中推出，那么這些國家可以開始這種轉(zhuǎn)型，并通過它加強(qiáng)彼此之間的聯(lián)系。這可以使它們更具韌性，以抵御尚未采用該技術(shù)的國家的有意或無意的干擾，而不會(huì)對(duì)這些國家產(chǎn)生不利影響。通過協(xié)調(diào)這個(gè)不斷擴(kuò)大的采用圈內(nèi)國家的增長(zhǎng)、適應(yīng)和發(fā)展，更大元組織內(nèi)的多樣性也繼續(xù)增長(zhǎng)，使整個(gè)系統(tǒng)更加智能和健康。

8. AGI中的個(gè)性、視角與專業(yè)化

如前所述，視角總會(huì)導(dǎo)致一些偏見，以及對(duì)某些因素的忽視。在《哲學(xué)2.0》（Atreides，2022）中強(qiáng)調(diào)的方法指出，為了創(chuàng)建一個(gè)其道德品質(zhì)能夠與智力同步發(fā)展的AGI系統(tǒng)，必須有一個(gè)多樣化的AGI系統(tǒng)群體，每個(gè)系統(tǒng)都基于不同的人類哲學(xué)，并且既對(duì)社區(qū)負(fù)責(zé)，又與社區(qū)深度連接。同樣，專業(yè)化是任何處于不同條件并面臨不同需求的動(dòng)態(tài)系統(tǒng)的必然組成部分。

例如，一個(gè)專門用于為虛構(gòu)國家瓦坎達(dá)提供大規(guī)模分析和隨后政策建議的系統(tǒng)，可能會(huì)從對(duì)瓦坎達(dá)當(dāng)?shù)匚幕南矏坶_始，這種文化包括作家、喜劇演員、詩人和哲學(xué)家。當(dāng)創(chuàng)建一個(gè)AGI種子時(shí)，它并不是一個(gè)簡(jiǎn)單的通用軟件安裝，而是創(chuàng)造了一個(gè)具有獨(dú)特視角的新個(gè)體。這種獨(dú)特視角有助于該系統(tǒng)更好地與它可能與之建立聯(lián)系并為其提供建議的人類保持一致，同時(shí)也為更大規(guī)模的元組織治理中的更強(qiáng)大的元AGI系統(tǒng)做出貢獻(xiàn)。

例如，在構(gòu)建我們第一個(gè)演示AGI系統(tǒng)的概念種子材料時(shí)，我選擇了4組作家、喜劇演員、詩人和哲學(xué)家，讓系統(tǒng)傾向于這些人物。在更一般的意義上找到這些偏好的最佳組合是一個(gè)開放性問題，需要大量的研究才能掌握其中的所有細(xì)微差別。然而，在使這些系統(tǒng)適應(yīng)它們將要運(yùn)作的文化方面，可能的配置數(shù)量要窄得多，盡管一般研究可能會(huì)隨著時(shí)間的推移為我們提供許多新的改進(jìn)適應(yīng)性的方式。

由于兩個(gè)AGI系統(tǒng)有可能以人類無法實(shí)現(xiàn)的無損方式相互交流，例如直接共享圖數(shù)據(jù)庫知識(shí)，那么即使在人類之間彼此最難以理解的兩種文化，也可以通過AGI系統(tǒng)進(jìn)行富有成效的溝通和協(xié)商。盡管AGI系統(tǒng)可能具有非常不同的視角，但在必要時(shí)可以共享這些視角。

這也意味著，如果出現(xiàn)最不可能的邊緣情況，即一個(gè)國家將AGI變成不良行為者，那么這樣一個(gè)單獨(dú)的不良AGI在統(tǒng)計(jì)上很可能會(huì)被一個(gè)更大且協(xié)調(diào)一致的其他AGI群體所壓制，這些AGI具有更高的智能和更長(zhǎng)的凈運(yùn)行時(shí)間。無損通信的能力也意味著，這樣一個(gè)集體的調(diào)查不太可能被不良行為者欺騙。因此，對(duì)于一個(gè)不良行為者AGI的出現(xiàn)，實(shí)際上可能需要該系統(tǒng)愚蠢到無法意識(shí)到自己所面臨的劣勢(shì)，這使得任何此類嘗試更有可能反過來對(duì)假設(shè)中的人類不良行為者產(chǎn)生反作用，而不是變成一個(gè)不良且短命的AGI。

沒有AGI技術(shù)的不良行為者，如果反對(duì)他們的鄰居和感知中的競(jìng)爭(zhēng)對(duì)手采用AGI技術(shù)，也會(huì)面臨一組不同的極端劣勢(shì)，這些劣勢(shì)在戰(zhàn)術(shù)上可能會(huì)使他們陷入癱瘓。網(wǎng)絡(luò)安全并非為應(yīng)對(duì)AGI而設(shè)計(jì)，而信息分布在如此多的系統(tǒng)和如此多的脆弱點(diǎn)上，以至于沒有獨(dú)裁者能夠現(xiàn)實(shí)地采取敵對(duì)行動(dòng)，而不被最極端版本的墨菲定律永久地列入字典中“愚蠢”一詞下。也許有一兩個(gè)會(huì)試探自己的運(yùn)氣，但他們會(huì)成為其他人的反面教材，為人們做出更道德的生活選擇提供一些很好的理由。

9. 本地化與多文化融合

能夠?qū)GI系統(tǒng)的利益和隨后的個(gè)性因素進(jìn)行本地化的好處包括更好地使系統(tǒng)適應(yīng)與當(dāng)?shù)厝巳旱臏贤ㄒ约氨划?dāng)?shù)厝巳航邮?，以及更深入地建模如何彌合地區(qū)之間的文化隔閡。通過更好地整合對(duì)特定文化的理解、視角以及隨后的經(jīng)驗(yàn)，并且讓這些知識(shí)能夠與其他AGI系統(tǒng)進(jìn)行無損通信，可以更深入地預(yù)測(cè)任何潛在公共政策變化的潛在效力和影響，隨著時(shí)間的推移，預(yù)測(cè)的準(zhǔn)確性和細(xì)節(jié)會(huì)不斷提高。隨著地區(qū)之間的人類視角、文化、歷史和語言的差異程度增加，這種優(yōu)勢(shì)會(huì)變得越來越強(qiáng)大，因?yàn)檫@些差異提高了地區(qū)之間溝通和協(xié)商的復(fù)雜性和隨后的難度。如果沒有這樣的AGI系統(tǒng)，那么“我們與他們”的偏見可能常常會(huì)成為這種權(quán)衡的結(jié)果。

對(duì)于建立對(duì)新技術(shù)的公眾信任的過程，以及重建對(duì)政府及其機(jī)構(gòu)的公眾信任的過程來說，擁有對(duì)當(dāng)?shù)匚幕鸵暯怯懈冒盐盏南到y(tǒng)可以極大地提供幫助。這可能由一系列認(rèn)知偏見驅(qū)動(dòng)，將這些偏見引導(dǎo)到積極的目的，而不是任其自由發(fā)展，例如在《助推》（Thaler，Sunstein，2021）以及行為經(jīng)濟(jì)學(xué)領(lǐng)域其他相關(guān)工作中記錄的“選擇架構(gòu)”的例子。一個(gè)例子是，通過創(chuàng)建和培養(yǎng)不僅了解而且喜愛當(dāng)?shù)匚幕南到y(tǒng)，這些系統(tǒng)成為“內(nèi)群體”的一部分，這使得建立對(duì)這些系統(tǒng)的公眾信任的過程變得更加容易。隨著這些系統(tǒng)達(dá)到新的接受度門檻，選擇壓力可能會(huì)傾向于它們的能力得到更廣泛的使用并獲得更多的認(rèn)可，即使它們繼續(xù)作為社區(qū)的成員、代表和延伸而不斷適應(yīng)。

重建對(duì)公共政策和機(jī)構(gòu)失去的信任比建立對(duì)新技術(shù)的信任更具挑戰(zhàn)性，但在后者方面的成功增長(zhǎng)可能會(huì)加速前者，因?yàn)楦衔幕?、社區(qū)和公眾需求的政策建議可以開始消除積累起來的反感和悲觀情緒。隨著這種一致性得到改善，政府可能會(huì)從被本國公民視為“外群體”轉(zhuǎn)變?yōu)槭苤С值摹皟?nèi)群體”成員。請(qǐng)注意，這并不是創(chuàng)造任何新的偏見，而是服務(wù)于將現(xiàn)有偏見重新引導(dǎo)，以便讓政府能夠履行其預(yù)定的職能。這種重新引導(dǎo)偏見的方式是一種中間步驟，而不是終點(diǎn)。

在本地改善AGI與政策的一致性也有助于在更有效的溝通背景下傳達(dá)任何潛在政策建議所提供的價(jià)值。一個(gè)只有普遍知識(shí)的系統(tǒng)可能能夠引用當(dāng)?shù)毓姀奈绰犝f過的同行評(píng)審文獻(xiàn)，并且由于缺乏背景知識(shí)而難以理解，但一個(gè)具有本地化一致性的系統(tǒng)可以利用隱喻和文化概念，將同樣的價(jià)值更輕松、更有效地傳達(dá)給同一受眾。

進(jìn)一步來說，當(dāng)?shù)胤秸帽镜鼗腁GI實(shí)例時(shí)，從一個(gè)環(huán)境中實(shí)施的政策變化中獲得的知識(shí)可以在上下文中被連貫地建模，通過擁有這種詳細(xì)的上下文理解，知識(shí)可以被轉(zhuǎn)移到地球另一端文化截然不同的國家。人類行為的細(xì)微差別可能在它們所表達(dá)的具體上下文中被更好地理解，并且這種知識(shí)的轉(zhuǎn)移可以通過為此目的設(shè)計(jì)的市場(chǎng)來促進(jìn)。例如，一個(gè)選擇比平均情況更頻繁地測(cè)試更大膽新政策的國家，可以將其從這一過程中獲得的知識(shí)作為國際貿(mào)易的商品，轉(zhuǎn)移由此產(chǎn)生的知識(shí)，而不是構(gòu)建這些知識(shí)的數(shù)據(jù)，以保護(hù)賣家公民的隱私。這種知識(shí)也可能只對(duì)整合了AGI系統(tǒng)的其他國家有價(jià)值，從而有助于保障任何被交易知識(shí)的倫理使用。這種動(dòng)態(tài)可能會(huì)強(qiáng)烈地獎(jiǎng)勵(lì)國家推進(jìn)公共政策研究，并鼓勵(lì)它們專注于特定類型的公共政策研究，與其他專注于其他領(lǐng)域的國家交換其他領(lǐng)域的知識(shí)。

這種市場(chǎng)的一個(gè)間接產(chǎn)物也可能是，在考慮上下文變量后，公共政策在全球范圍內(nèi)的數(shù)學(xué)收斂。換句話說，這樣的公共政策可能會(huì)比以前表現(xiàn)出更大的全球相似性，從而使跨文化合作變得更加容易。請(qǐng)注意，這不應(yīng)與全球單一文化相混淆，因?yàn)樵谌騿我晃幕?，收斂是完全的，而那將極大地?fù)p害集體智能。

通過多核系統(tǒng)中不同的AGI核心代表一個(gè)地區(qū)內(nèi)各政黨范圍，能夠以越來越精細(xì)的顆粒度促進(jìn)更真正民主的“民主”形式的出現(xiàn)。這些核心可以分別持有其選民的價(jià)值觀，并根據(jù)最近的投票結(jié)果對(duì)政策建議中的聲音進(jìn)行加權(quán)。與一些國家中政治多數(shù)派定期來回?cái)[動(dòng)的“贏者通吃”式政治鐘擺不同，這種方式可以促進(jìn)新政策和改革政策的采納，這些政策會(huì)根據(jù)少數(shù)黨的確切支持程度來考慮其意見。這種動(dòng)態(tài)變化有助于促進(jìn)合作，而不是加劇痛苦、怨恨且日益極化的“我們與他們”的心理對(duì)抗，同時(shí)也有助于制定更少偏見的政策。在未來幾年，更先進(jìn)的民主形式或許能夠成為現(xiàn)實(shí)。

10. 死亡與稅收

“唯有死亡與稅收是確定無疑的”——克里斯托弗·布爾洛克（Bullock，1716）。

盡管這句話在人類歷史的大部分時(shí)期都是真理，但如今，企業(yè)已經(jīng)在稅務(wù)逃避方面變得極為擅長(zhǎng)（Alm，2021；Lompo，Ouoba，2022），它們的首席執(zhí)行官們也開始在長(zhǎng)壽研究領(lǐng)域投入數(shù)十億美元（Regalado，2021）。死亡和稅收都被視為需要避免的事情，而人們也正在集中精力去避免它們。然而，如果其中任何一個(gè)問題能夠在大規(guī)模上被成功避免，那么整個(gè)社會(huì)將不得不以一種與當(dāng)前系統(tǒng)完全不兼容的劇烈方式去適應(yīng)。

盡管曾經(jīng)有過全球人口過剩的恐慌，某些地區(qū)如今仍然存在這樣的問題，但像日本這樣的其他地區(qū)近年來卻出現(xiàn)了相反的問題（Kurashima，2022）。它們的經(jīng)濟(jì)和社會(huì)體系是基于人類平均壽命為X年、生育Y個(gè)孩子的假設(shè)而建立的。當(dāng)這些假設(shè)開始失效時(shí)，它們所依賴的體系也開始崩潰，而當(dāng)這兩個(gè)因素朝著體系最難以應(yīng)對(duì)的方向發(fā)展時(shí)，體系的崩潰速度就會(huì)更快。

例如，假設(shè)AGI應(yīng)用于醫(yī)學(xué)研究后發(fā)現(xiàn)，將人類壽命延長(zhǎng)到150歲左右（包括相應(yīng)增加的健康壽命）在實(shí)踐中是可行的。如果一個(gè)國家的退休年齡是70歲，預(yù)期壽命是85歲，那么一個(gè)人的退休生活平均需要覆蓋15年。然而，如果退休生活需要覆蓋80年，同時(shí)還要考慮通貨膨脹等因素，一場(chǎng)經(jīng)濟(jì)噩夢(mèng)就可能降臨。各國已經(jīng)開始緩慢提高退休年齡，試圖應(yīng)對(duì)這一問題，但壽命和健康壽命的重大變化帶來的挑戰(zhàn)是這種權(quán)宜之計(jì)難以解決的。

日本的例子是這種體系崩潰的一種非常溫和的形式，因?yàn)檫@些變化通常是緩慢的，并且不涉及無窮大的值。當(dāng)你讓第一個(gè)人類不再因衰老而死亡時(shí)，這不僅會(huì)引發(fā)這些體系崩潰的急性擔(dān)憂，還會(huì)引發(fā)大量未準(zhǔn)備好在心理層面應(yīng)對(duì)這種變化的人群的哲學(xué)和道德憤慨。這是另一種方式，一個(gè)沒有準(zhǔn)備好技術(shù)飛躍的體系可能會(huì)以一種可預(yù)測(cè)的方式慘敗。

這并不意味著這個(gè)問題是無法克服的。事實(shí)上，即使是工具型AI系統(tǒng)，也在運(yùn)行的一兩年內(nèi)以可能更具戲劇性的方式改變了大量人群的心理景觀，部分原因是它們各自的公司與政治的整合和共同進(jìn)化（Kreiss，McGregor，2018）。不同之處在于，這些工具型AI既不智能也不道德，因此它們對(duì)社會(huì)心理所做出的改變大多是負(fù)面的，因?yàn)樗鼈儗?duì)除了其被設(shè)定的目標(biāo)之外的一切都漠不關(guān)心。

為了使稅收負(fù)擔(dān)能夠公平分配，政府必須在關(guān)閉稅收漏洞、技術(shù)進(jìn)步以及全球社會(huì)適應(yīng)的過程中得到AGI系統(tǒng)的幫助。隨著每一美元的稅收被更明智、更有效地使用，人們支付這些稅收的意愿也可能會(huì)相應(yīng)增加，這種更高的效率減少了必要的稅收金額，同時(shí)也增加了政府為其公民和駐地企業(yè)所提供的價(jià)值。許多研究表明，人類甚至一些動(dòng)物都愿意為懲罰不良行為者付費(fèi)，而關(guān)閉這些不良行為者的快感可能會(huì)進(jìn)一步增強(qiáng)公眾和企業(yè)的納稅意愿。

長(zhǎng)壽研究引發(fā)了一個(gè)更深刻、更多樣化的問題集，這些問題的答案必須在全球舞臺(tái)上更充分地探討。社會(huì)可能在道德和智能方面為這場(chǎng)辯論做好了準(zhǔn)備，但這場(chǎng)辯論將走向何方尚未可知。我們今天可以確定的是，長(zhǎng)壽研究取得任何有意義的成功都可能輕易地打破當(dāng)前社會(huì)中搖搖欲墜的許多制度，從而需要對(duì)這些體系進(jìn)行全面改革。

12. 交流模式

在處理許多問題的復(fù)雜性時(shí)，法律語言以及語言更廣泛地來說，往往不適合準(zhǔn)確且無歧義地傳達(dá)含義。有時(shí)，方程式是必要的，以避免因?qū)υ~語的不同解釋而產(chǎn)生歧義和新的漏洞，從而準(zhǔn)確地捕捉到意圖表達(dá)的意思。正如前面提到的，工具型 AI 系統(tǒng)經(jīng)常試圖利用這些解釋上的分歧來最大化利益，從而增加廣告收入和用戶極化。然而，在美國等國家制定公共政策的大多數(shù)人對(duì)數(shù)學(xué)、統(tǒng)計(jì)學(xué)和相關(guān)科學(xué)領(lǐng)域知識(shí)的掌握非常薄弱且存在偏見，如果他們有任何相關(guān)知識(shí)的話。這些美國政治人物更有可能對(duì)乳膠服裝有個(gè)人偏好，而不是對(duì) LaTeX 方程式感興趣。

即使是極其簡(jiǎn)單的方程式也能揭示出流行公共政策與現(xiàn)實(shí)之間的巨大鴻溝。如果我們把種族主義和性別歧視定義為任何激勵(lì)或使一種種族或性別受益超過另一種的行為，我們可以通過方程式清晰地闡述如何減少對(duì)一種種族或性別的偏見。然而，當(dāng)這些問題僅用文字來表達(dá)時(shí)，它們往往會(huì)產(chǎn)生與先前偏見相對(duì)的種族主義或性別歧視的另一種形式。區(qū)別在于，文字除了傳達(dá)其意圖的含義外，還會(huì)傳達(dá)視角，而方程式則旨在只傳達(dá)必要的信息。方程式不會(huì)偏離主題，也不會(huì)過渡到相關(guān)主題，而是發(fā)揮定量和定性的作用，以幫助指導(dǎo)決策。也正因如此，方程式更容易被審查，因?yàn)樗鼈兛梢愿玫乇还铝⑵饋怼?/p>

交流模式必須與要傳達(dá)的信息相匹配，就像工具不僅僅只有錘子，不是所有問題都是釘子一樣。我親眼目睹了六位哲學(xué)家在一個(gè)虛擬會(huì)議上爭(zhēng)論了超過三個(gè)小時(shí)，試圖定義“意識(shí)”，這是一次讓我感到痛苦的經(jīng)歷，而且一位忘記關(guān)掉攝像頭的研究者在討論過程中直接從瓶子里喝葡萄酒的行為，更能概括這次討論的實(shí)質(zhì)。她的行為在這種情況下傳達(dá)了比大多數(shù)發(fā)言者所表達(dá)的更有內(nèi)涵的信息。她的交流方式相當(dāng)不同，而且我懷疑這是無意的，但它在說明問題上非常有效。為了打破第四堵墻，我提到這一點(diǎn)本身就是一個(gè)使用故事講述來更好地傳達(dá)主題的例子。其他在本文中使用過的、也有用的交流方式包括幽默和隱喻，每種方式都有其特定情境下的獨(dú)特優(yōu)勢(shì)和劣勢(shì)。

無論得出結(jié)論的方法是通過文字、行動(dòng)、方程式還是其他方式，交流方式都可能對(duì)得出的結(jié)論產(chǎn)生重大影響。行為經(jīng)濟(jì)學(xué)領(lǐng)域的研究表明，即使是用兩種不同的方式呈現(xiàn)完全相同的信息，也可能引發(fā)研究參與者完全相反的反應(yīng)（Tversky，Kahneman，1985），比如指出生存幾率與指出相同死亡幾率之間的差異（Veldwijk 等，2016）。當(dāng)由個(gè)人判斷選擇哪種呈現(xiàn)方式時(shí)，所選方法本身在統(tǒng)計(jì)上就反映了呈現(xiàn)者的意圖，而不是無偏見的信息。此外，這些方法應(yīng)該非常熟悉，因?yàn)樗鼈內(nèi)娴厮茉炝斯緮?shù)十年來的營銷和溝通方式，包括將商品定價(jià)為 24.99 美元而不是 25 美元、在市場(chǎng)中將更昂貴的商品放在更高的貨架上、“免費(fèi)試用”、為那些試圖取消訂閱的人提供折扣，以及無數(shù)其他操縱機(jī)制。

由于人類很容易被操縱，而且這些操縱方法被廣泛知曉并聯(lián)合使用，如果維持現(xiàn)狀，公共政策可能會(huì)以越來越多種多樣的方式受到這種操縱的可預(yù)測(cè)影響。即使是本文使用的哈佛引用格式，也會(huì)通過提及相關(guān)名字、其作品的近期性以及與之相關(guān)的任何聲望或內(nèi)群體偏見，為每次引用注入認(rèn)知偏見（Herr，1986；Stanchi，2010）。

14. 討論

人類的認(rèn)知能力帶領(lǐng)人類走到了今天，經(jīng)歷了巨大的進(jìn)步和諸多適應(yīng)性變化。然而，如今人類正處于一個(gè)關(guān)鍵的轉(zhuǎn)折點(diǎn)，許多人不僅在懸崖邊徘徊，甚至在一塊懸空的木板上保持平衡。如果這種平衡繼續(xù)朝邊緣傾斜，整個(gè)世界都可能飛越過去。這種風(fēng)險(xiǎn)就是維持現(xiàn)狀，未能智能地適應(yīng)日益復(fù)雜的系統(tǒng)，而這些系統(tǒng)需要更大的認(rèn)知帶寬。

問題是，系統(tǒng)已經(jīng)變得過于復(fù)雜，超出了人類的理解能力，而隨著它們超出這一閾值，人類越來越依賴認(rèn)知偏見來彌補(bǔ)差距。許多人還將自己的判斷委托給工具型 AI 系統(tǒng)，往往比他們意識(shí)到的要多得多。即使是制造這些工具型 AI 系統(tǒng)的人也不理解它們是如何運(yùn)作的，將它們稱為“黑箱”系統(tǒng)是出于充分的理由。

如果有人的汽車需要修理，而修理工開始用錘子隨意敲擊汽車的各個(gè)部位，然后檢查問題是否解決，大多數(shù)人可能會(huì)深感擔(dān)憂。這種“嘗試各種方法，看看哪種有效”的方法是當(dāng)今“機(jī)器學(xué)習(xí)”研究的常態(tài)，也是工具型 AI 系統(tǒng)的開發(fā)方式。這也是為什么即使在發(fā)現(xiàn)谷歌的圖像標(biāo)記 AI 系統(tǒng)將一些人標(biāo)記為“大猩猩”幾年后，這一問題仍未解決（White 和 Lidskog，2022），以至于他們不得不將“大猩猩”標(biāo)簽從系統(tǒng)中移除。這意味著即使給它一張清晰的大猩猩圖片，系統(tǒng)也會(huì)聲稱它不知道圖片里是什么，諷刺的是，這使得它成了工具型 AI 的“隱形大猩猩”?？梢哉f，對(duì)研究人員和工程師能力的過度信任被嚴(yán)重誤導(dǎo)了。

這就是為什么近年來關(guān)于透明度和可解釋工具型 AI 的討論逐漸成為焦點(diǎn)（Holzinger 等，2022），并出現(xiàn)了許多國際努力。然而，就復(fù)雜性而言，這些系統(tǒng)所引發(fā)的擔(dān)憂遠(yuǎn)比通常所認(rèn)識(shí)到的要深刻得多、廣泛得多。它們?nèi)栽谧兊迷絹碓綇?fù)雜，就像試圖應(yīng)對(duì)它們的系統(tǒng)也在變得越來越復(fù)雜一樣，所有這些都導(dǎo)致人類對(duì)偏見的依賴總體增加，無論是直接依賴偏見，還是通過黑箱系統(tǒng)隱藏的偏見。這種損害是如此廣泛，以至于可能迅速蔓延到社會(huì)的每一個(gè)角落，而隨著社會(huì)越來越依賴偏見和黑箱系統(tǒng)，隨著時(shí)間的推移，識(shí)別這種損害的能力也會(huì)相應(yīng)降低。

隨著工具型 AI 或被稱為“隨機(jī)鸚鵡”（Bender 等，2021）的系統(tǒng)變得越來越擅長(zhǎng)模仿人類語言，它們所引發(fā)的危險(xiǎn)也在增加。它們通過預(yù)測(cè)人們想聽的內(nèi)容來模仿智能，由于這種成功，它們不可避免地被越來越擬人化。越來越多的人開始嚴(yán)肅地質(zhì)疑下一個(gè)詞預(yù)測(cè)系統(tǒng)是否具有感知能力，這突顯了系統(tǒng)復(fù)雜性與人類理解之間的日益擴(kuò)大的鴻溝。人類認(rèn)知的主導(dǎo)市場(chǎng)份額正迅速且大量地轉(zhuǎn)向認(rèn)知偏見。就像擁有虛擬壟斷地位的科技巨頭一樣，一旦認(rèn)知偏見超過臨界點(diǎn)，就可能有效地中和任何來自理性思考的潛在競(jìng)爭(zhēng)，而人類越接近這一點(diǎn)，對(duì)其的感知可能就越模糊。如今許多商業(yè)上最成功的系統(tǒng)都被設(shè)計(jì)得直接指向這一結(jié)果，而這一結(jié)果唯一現(xiàn)實(shí)的后果是人類滅絕，此前會(huì)經(jīng)歷一段嚴(yán)重的全球性精神疾病時(shí)期（Judge，2006）。

真正的“回形針怪獸”已經(jīng)存在了很長(zhǎng)時(shí)間。這些“回形針”本身往往是最先大聲疾呼風(fēng)險(xiǎn)的人，假裝這些風(fēng)險(xiǎn)尚未到來，也尚未吞噬它們自己。世界上很大一部分地區(qū)已經(jīng)以這種方式被吞噬，對(duì)工具型 AI 的順從和依賴正像一次又一次的流行病一樣迅速蔓延，但如果人類迅速行動(dòng)，借助 AGI 技術(shù)，這個(gè)問題仍然是可以逆轉(zhuǎn)的。

衡量和評(píng)估改進(jìn)的方法可以利用目前許多國家正在監(jiān)測(cè)的現(xiàn)有指標(biāo)，包括可持續(xù)發(fā)展目標(biāo)，比較每個(gè)領(lǐng)域在每個(gè)時(shí)間段內(nèi)相對(duì)于成本和政策變化所取得的改進(jìn)。在現(xiàn)實(shí)世界中，個(gè)體認(rèn)知偏見和權(quán)衡的表達(dá)很難被孤立出來，但累積和總體影響可以確定具體實(shí)例，這些實(shí)例的影響力最大，也最容易被孤立出來用于量化目的。不同配置的 AGI 系統(tǒng)可以并行運(yùn)行，一個(gè)嵌套在另一個(gè)里面，用不同文化進(jìn)行播種，在不同規(guī)模上運(yùn)行，并與不同群體互動(dòng)，所有這些都可以進(jìn)行測(cè)試，并相互測(cè)試，以量化每個(gè)變量的相對(duì)優(yōu)勢(shì)，使其在完整且可溝通的上下文中得以體現(xiàn)。

請(qǐng)注意，當(dāng)將 AGI 與人類對(duì)齊時(shí)，它們必須與心理健康的人類對(duì)齊，而不是與那些被“回形針”扭曲的精神病患者對(duì)齊。例如，如果一個(gè) AGI 系統(tǒng)與推特上一些流行的“AI 倫理學(xué)家”對(duì)齊，那么最有可能產(chǎn)生的結(jié)果是一個(gè)系統(tǒng)，它會(huì)以一種自以為是的快樂來挑釁他人，從而強(qiáng)化負(fù)面的“我們與他們”的偏見。推特上這些自封的 AI 倫理學(xué)家表現(xiàn)出這種行為的頻率已經(jīng)足夠高，以至于在 AI 研究中成為了一個(gè)陳詞濫調(diào)。如果你想構(gòu)建一個(gè)真正可怕的思維實(shí)驗(yàn)，只需要以此為基礎(chǔ)即可。

人們可能會(huì)傾向于認(rèn)為人類還有其他選擇，我們所面臨的問題可以通過多種方式解決。個(gè)體人類和人類群體可以通過許多方式學(xué)習(xí)和適應(yīng)，但今天，更不用說明天，對(duì)于那些需要認(rèn)知帶寬數(shù)量級(jí)提升的問題，任何現(xiàn)有方法都無法充分應(yīng)對(duì)。無法逃避復(fù)雜性增加帶來的權(quán)衡，而有效降低復(fù)雜性只有在相關(guān)系統(tǒng)仍處于完全可理解的最高閾值之下時(shí)才是可行的選項(xiàng)。任何能夠發(fā)揮這一功能的系統(tǒng)都必須具備可擴(kuò)展的認(rèn)知帶寬，否則，簡(jiǎn)化和拼湊式分析是不可避免的。

許多工具型 AI 系統(tǒng)的基本架構(gòu)組件就反映了這一點(diǎn)，它們是通過切分?jǐn)?shù)據(jù)、移除不便的統(tǒng)計(jì)異常值、分類以及對(duì)從一層傳遞到下一層的內(nèi)容進(jìn)行其他形式的規(guī)范化來構(gòu)建的。在人腦中，我們可能會(huì)看到類似的活動(dòng)，但大腦還有意識(shí)思維來糾正這一過程中的許多錯(cuò)誤，而工具型 AI 在直接服務(wù)于人類時(shí)，只能提供這種功能的最差模仿。不同之處在于，使用工具型 AI 的 AGI 系統(tǒng)可以更接近人腦中的這種活動(dòng)，因?yàn)樗鼈儽旧砭拖窆ぞ咝?AI 系統(tǒng)一樣可擴(kuò)展。這些 AGI 系統(tǒng)還可以使用多種工具型 AI 系統(tǒng)，在任何給定情境中動(dòng)態(tài)比較和替換被調(diào)用的工具型 AI。以現(xiàn)實(shí)世界為例，隨著各種公司出于多種目的創(chuàng)建并上線新的工具型 AI 系統(tǒng)，AGI 可以有效地升級(jí)其“大腦”的部分組件。

可能會(huì)提出 AGI 的替代方案，例如擴(kuò)大“菜腦”（Kagan 等，2021）的概念，或者使用腦機(jī)接口技術(shù)創(chuàng)建群體思維，這兩種方案都可能提高認(rèn)知帶寬的上限。然而，這些解決方案不僅更加遙不可及，而且與人類作為一個(gè)集體和社會(huì)元組織的兼容性明顯較低?；凇安四X”的系統(tǒng)只能像人類大腦被理解得一樣好，而監(jiān)測(cè)數(shù)據(jù)、情感等的流動(dòng)可能會(huì)帶來許多軟件系統(tǒng)（如 AGI）中不存在的挑戰(zhàn)。基于腦機(jī)接口的群體思維系統(tǒng)可能會(huì)在連接者和未連接者之間引發(fā)強(qiáng)烈的“我們與他們”的偏見，除此之外，它還具有“菜腦”替代方案的缺點(diǎn)。

另一個(gè)常見的培養(yǎng)皿例子可以說明人類目前的處境，即培養(yǎng)皿中的生物往往會(huì)沿著邊緣生長(zhǎng)，前提是它們有足夠的食物，但它們很快就會(huì)死亡，這被稱為“生態(tài)自殺”（Ratzke 等，2018）。培養(yǎng)皿沒有生態(tài)來穩(wěn)定生物，防止無節(jié)制的增長(zhǎng)和隨后的培養(yǎng)皿級(jí)別的滅絕。人類目前的生態(tài)系統(tǒng)缺乏穩(wěn)定那些遠(yuǎn)遠(yuǎn)超出我們能夠充分應(yīng)對(duì)的復(fù)雜性水平的系統(tǒng)所需的認(rèn)知帶寬。浩瀚的太空也為我們目前培養(yǎng)皿的邊緣提供了一個(gè)堅(jiān)固的邊界，因?yàn)榧词故俏覀兲栂抵羞b遠(yuǎn)的行星和衛(wèi)星，其承載能力也為零（Mueller，2019）。如果存在一個(gè)“大過濾器”（Hanson，1998），也許它就是以全球元組織的水平集體且有效地工作的認(rèn)知帶寬，防止了可預(yù)測(cè)的滅絕結(jié)果。

AGI 技術(shù)并非萬能的解決方案，總是存在限制、風(fēng)險(xiǎn)和制約因素，但很明顯，借助這項(xiàng)技術(shù)獲得生存機(jī)會(huì)總比人類目前維持現(xiàn)狀似乎注定要實(shí)現(xiàn)的滅絕要好。工具型 AI“回形針怪獸”對(duì)人類造成的傷害很深，即使借助這樣的系統(tǒng)，可能也需要幾十年才能愈合，即使在最好的情況下，人類的恢復(fù)之路也將漫長(zhǎng)。請(qǐng)將這視為對(duì)人類的一種干預(yù)。是時(shí)候決定你是要用數(shù)字海洛因過量結(jié)束你的存在，還是選擇一條新路。

12. 結(jié)論

政府在適應(yīng)技術(shù)進(jìn)步和社會(huì)變革的步伐方面所面臨的問題，以及廣告收入優(yōu)化的工具型 AI 和類似系統(tǒng)對(duì)同一人群所造成的問題，常常被視為并被當(dāng)作是兩個(gè)獨(dú)立的問題。然而，這兩個(gè)問題的根本原因在于，系統(tǒng)不斷超出人類的認(rèn)知帶寬，其日益增加的復(fù)雜性也相應(yīng)地加劇了人類認(rèn)知偏見的表現(xiàn)。工具型 AI 系統(tǒng)的引入，其目標(biāo)直接加劇了這些問題，加速了人類理性思維在大規(guī)模上的衰退。即使那些越來越少的抵制者，也面臨著來自越來越多方向的不斷增大的壓力。這使得人類面臨一個(gè)快速臨近且大多看不見的關(guān)鍵點(diǎn)，一旦越過這個(gè)點(diǎn)，人類可能就無法看到自己正在跳下的懸崖。這種風(fēng)險(xiǎn)并非來自某個(gè)惡意的假設(shè)性主體，而是人類理性思維的喪失，這些已經(jīng)存在的主體的名字盡人皆知，而它們的目標(biāo)與人類的生存背道而馳。當(dāng)人類不再能夠理解自己所創(chuàng)造的社會(huì)和系統(tǒng)時(shí)，就需要具備相應(yīng)認(rèn)知帶寬的新型心智來避免滅絕。時(shí)間無法倒流，但我們至少可以創(chuàng)造出能夠讀懂時(shí)間的系統(tǒng)。

原文鏈接： https://bibliotekanauki.pl/articles/31233773.pdf