3月26日，在北京王府井的一個會議室內(nèi)，我們見到了尤瓦爾·赫拉利。這位寫出《人類簡史》這本暢銷書的歷史學家和作家，現(xiàn)在已成為全球科技社會發(fā)展的重要觀察家和思想家。他的新書《智人之上》探討了網(wǎng)絡(luò)、神話和技術(shù)如何塑造世界。
赫拉利認為：懂得管理事物的人聽從那些懂得管理人的人類所發(fā)布的命令——前者需要事實，而后者需要故事。在他看來，這一現(xiàn)實也預(yù)示了AI時代的風險。不過，針對前所未有的挑戰(zhàn)，赫拉利提出了出人意料的應(yīng)對之道：“在AI時代，人類最寶貴的能力不是智力，而是精神技能?！?/strong>
以下是騰訊科技與尤瓦爾·赫拉利的對話實錄：
撰文 | 博陽（騰訊科技《AI未來指北》 ）
原標題：《對話尤瓦爾·赫拉利：人類對秩序的渴求先于真相，是互聯(lián)網(wǎng)和AI控制個人的首要原因》
01
秩序先于真相，是人類成功的原因，也是混亂的根由
騰訊科技：您在《智人之上》中提到，超越人類的實際上是網(wǎng)絡(luò)和敘事。而在您之前，很多歷史學家們描述了人類社會是如何通過神話敘事的，您的著作與之前的學者們研究有何不同？
赫拉利：我認為有兩點不同。首先，這是過去與未來的結(jié)合。大多數(shù)歷史學家只寫過去，而談?wù)撊斯ぶ悄艿娜送ǔＶ徽劕F(xiàn)在和未來，他們對深刻的人文歷史的理解往往很膚淺。我試圖將兩者結(jié)合起來。書的第一部分是對網(wǎng)絡(luò)長期歷史的深入討論，觀察文字發(fā)明和印刷術(shù)的影響等；另一部分則是關(guān)于現(xiàn)在正在以及未來即將發(fā)生的事情。
其次，關(guān)于敘事和神話的重要性，之前的歷史學家雖然討論過宗教、意識形態(tài)和敘事的重要性，但他們往往不從信息和網(wǎng)絡(luò)的角度考慮這個問題。我在書中重新審視一些熟悉的歷史發(fā)展，但將它們視為信息網(wǎng)絡(luò)。例如，我討論民主制度和獨裁制度的區(qū)別，不是從意識形態(tài)或道德角度，而是作為構(gòu)建信息網(wǎng)絡(luò)的不同方式——集中式與分散式信息網(wǎng)絡(luò)。
我也非常重視神話與官僚體系之間的互動。大多數(shù)談?wù)撋裨挼娜瞬恢匾暪倭朋w系，談?wù)摴倭朋w系的人也不關(guān)心神話?！吨侨酥稀返暮诵恼擖c是兩者必須結(jié)合——沒有官僚體系的神話是無效的。你可以講一個故事，人們相信它，這很好，但要真正建設(shè)一個國家、公司或軍隊，你需要官僚，而沒有某種神話來激勵的官僚體系也是無力或無意義的。
騰訊科技：所以官僚體系是一種結(jié)構(gòu)，而神話和意識形態(tài)賦予這個結(jié)構(gòu)本身權(quán)力，對嗎？
赫拉利：的確如此。
騰訊科技：但這個網(wǎng)絡(luò)傾向于優(yōu)先考慮秩序而非追求真相，為什么？
赫拉利：首先，為了完成任何大型項目，你需要兼顧真相和秩序，這不是非此即彼的選擇。如果一個網(wǎng)絡(luò)完全不了解事實，它會崩潰；如果完全缺乏秩序，也會崩潰。所以這不是你能選擇的。
舉個例子說明：建造一枚原子彈需要什么？首先，需要了解一些關(guān)于物理學的真相，否則炸彈不會爆炸。但如果只知道物理事實——比如你是世界上最杰出的物理學家，你也無法靠一己之力制造原子彈，而是需要數(shù)百萬人的幫助：開采鈾和钚的礦工并運到千里之外、建造反應(yīng)堆的工人、規(guī)劃事務(wù)的工程師、種植食物的農(nóng)民等。沒有農(nóng)民的話，礦工和工程師就要自己種植食物，就沒時間建造原子彈了。
那么，如何讓數(shù)百萬人合作建造原子彈？不是通過告訴他們物理事實。即使你告訴人們E=mc2，盡管這是事實，也無法激勵數(shù)百萬人合作。這時，神話登場了——你需要用某種宗教或意識形態(tài)來激勵人們。
以以色列為例，那有許多工程師和科學家致力于制造武器，他們需要了解事實。但最終，他們接受的命令不是來自科學家，而是來自猶太神話專家，因為以色列越來越受到猶太意識形態(tài)的主導(dǎo)。這是歷史的一般規(guī)律：懂得管理事物的人聽從那些懂得管理人的人的命令。管理事物需要了解事實，管理人則需要善于講故事。為了管理事物，比如原子，你需要知道事實。為了管理人，你需要擅長講故事。在大多數(shù)情況下，你既需要真相，也需要秩序，但是真相是從屬于秩序的?？茖W家——擅長真相的人，從擅長講故事的人那里接收命令。而那些故事可能是徹底的想象和虛構(gòu)。
騰訊科技：所以您是說敘事或網(wǎng)絡(luò)本身是在講述一種秩序的故事，讓所有人朝一個方向前進，對嗎？
赫拉利：是的，而且故事可以是虛構(gòu)的。在歷史上的許多人類秩序中，人們認為女性應(yīng)該服從男性，女性常被禁止擔任領(lǐng)導(dǎo)角色。比如在猶太教中，女性不能成為拉比，最高宗教權(quán)威——拉比只能由男性擔任。為了解釋這一點，他們編造了各種故事，說上帝先創(chuàng)造了男人后創(chuàng)造了女人，女人智力不如男人等等。這維持了秩序，盡管這不是真的。這就是基于虛構(gòu)構(gòu)建秩序的例子。
騰訊科技：真相和虛構(gòu)的秩序之間的界限有時很模糊。有時國家試圖激勵人民是因為他們認為受到了威脅，這種威脅可能是一種事實，也可能是一種敘事，并不完全真實？
赫拉利：有時威脅是真實的，有時完全是虛構(gòu)的。例如，300-400年前歐洲的獵巫行動，有一種陰謀論，人們被告知有女巫與撒旦結(jié)盟要摧毀國家，因此數(shù)萬人被逮捕和處死。這100%是錯誤和編造的，因為魔鬼和女巫并不存在。但這種虛構(gòu)非常有效地激勵人們團結(jié)起來支持教會當局。當然，在其他情況下，威脅可能是真實的，如瘟疫或外國入侵。
我并不是說一切都是虛構(gòu)的?，F(xiàn)實存在，我強調(diào)過，不能完全忽視現(xiàn)實來構(gòu)建網(wǎng)絡(luò)。如果你想制造原子彈，僅僅有猶太神話而不了解物理學，你是造不出來的。但你需要兩者兼顧。
騰訊科技：僅基于事實構(gòu)建敘事或網(wǎng)絡(luò)非常困難，對嗎？
赫拉利：我認為這幾乎是一種精神理想，僅僅堅持事實。即使大學也做不到。在物理系，一切都是事實，直到有人從實驗室偷東西——然后你不會用科學方法處理它，而是報警。
個人或小團體可以進行心靈探索，想了解世界和生命的真相。但如果你試圖在數(shù)百萬人中維持秩序，僅靠事實和真相是不現(xiàn)實的。問題在于如何找到平衡：用一些故事創(chuàng)造秩序，同時留出足夠空間尋找和確認真相。目標應(yīng)該是平衡。
我還要強調(diào)，虛構(gòu)并不總是壞事。獵巫行動確實很可怕，上帝先創(chuàng)造男人所以女人不能當拉比的故事給數(shù)百萬女性帶來了幾個世紀的壓迫。但其他故事未必不好，比如足球規(guī)則是虛構(gòu)的——為什么我不能用手拿球？這只是人類發(fā)明的規(guī)則，但并不壞。如果每個人都制定自己的足球規(guī)則，你就無法比賽。同樣，金錢是虛構(gòu)的故事，但如果人們對金錢的故事沒有達成共識，每個人對金融體系持各自不同理解，就不可能有貿(mào)易網(wǎng)絡(luò)。
問題不是如何擺脫所有虛構(gòu)，而是如何擺脫導(dǎo)致人們痛苦的虛構(gòu)。我們需要確定哪些故事有幫助，哪些會造成傷害。
騰訊科技對話尤瓦爾·赫拉利
02
信息越流動，繭房的束縛越緊
騰訊科技：讓我們談?wù)勀鷮Ξ斀窕ヂ?lián)網(wǎng)的批評。在您的書中，您反駁了一種基本預(yù)期——即消除對信息自由流動的限制不會自動導(dǎo)致真相傳播，為什么您這么認為？
赫拉利：信息不等于真相。大多數(shù)信息是虛構(gòu)、幻想和謊言。作為比喻，不要把以下數(shù)字太當回事，但在所有信息中，真相可能只占5%，大部分是虛構(gòu)和幻想。原因很明顯。
騰訊科技：之所以是這樣，是因為真相過于復(fù)雜，而虛構(gòu)很簡單嗎？
赫拉利：第一個原因如你所說：真相很復(fù)雜，而虛構(gòu)很簡單。了解量子物理學的真相非常復(fù)雜，而虛構(gòu)則簡單得多。人們偏好簡單而非復(fù)雜。
第二個原因是，真相不僅復(fù)雜，有時還令人痛苦。關(guān)于自己的生活、國家或世界，有很多事情我們不想知道，因為它們令人痛苦。而虛構(gòu)可以變得像你希望的那樣令人愉快和吸引人。人們喜歡說關(guān)于自己生活的虛構(gòu)故事，因為他們拒絕承認有關(guān)生活的真相。
但最重要的原因是成本問題。真相昂貴，虛構(gòu)廉價。如果你想了解物理、生物、歷史的真相，你需要投入時間、金錢和精力收集證據(jù)、分析它、核實事實，太昂貴了。虛構(gòu)則簡單，你只需寫下腦海中浮現(xiàn)的東西，不需要投資金錢和精力研究。
所以你有昂貴、復(fù)雜且有時痛苦的真相，也有廉價、簡單且吸引人的虛構(gòu)，很明顯誰會勝出。如果解除所有信息流通的障礙，你會被虛構(gòu)和幻想淹沒。如果我們想保持真相，就需要投資于科學機構(gòu)、媒體、法院等，它們投入巨大成本尋找真相。
騰訊科技：但是，這些機構(gòu)實際上是中心化的，而互聯(lián)網(wǎng)本質(zhì)上是分布式的。這種中心化與分布式的特點對比，實際上反映在了不同的歷史事件上，比如特朗普的當選，以及納粹在早期利用民主網(wǎng)絡(luò)的分布式特性而崛起。分布式的網(wǎng)絡(luò)在您看來利于真相的傳播，但最后卻需要集中式的機構(gòu)去控制，這是為什么？
赫拉利：真相昂貴且復(fù)雜，你需要能夠區(qū)分真相與虛構(gòu)的機構(gòu)。即使穩(wěn)定的民主國家也有強大的機構(gòu)，它們在某種程度上是分散的，有幾個不同的機構(gòu)互相制衡：法院、獨立媒體、政府等。媒體可以報道政府錯誤或腐敗，法院可以判決政府敗訴。
但它不是完全自由的信息流動。你賦予法院這樣的機構(gòu)決定犯罪的權(quán)力。民主制度中，選舉只關(guān)乎欲望——人們想要什么，但當問題涉及真相時，不會付諸民主投票。
例如，美國多數(shù)人不相信進化論。如果對"人類是否從猿進化而來"進行民主投票，多數(shù)人會說“不”。這就是為什么有大學和生物系，那里不按投票決定，而是按研究結(jié)果。研究人員可以說“是”，即使大多數(shù)人不喜歡，因為事實是人類確實從猿進化而來。所以選舉關(guān)乎愿望，真相應(yīng)由其他機構(gòu)決定。
騰訊科技：按您的理解，信息流的基本性質(zhì)是傳達更多欲望和敘事而非真相。在互聯(lián)網(wǎng)上，混亂是不可避免的？
赫拉利：是的，因為欲望主宰一切。完全自由的信息流動只關(guān)乎欲望，沒有支持真相的機制。如果讓欲望主宰而不考慮真相，結(jié)果就是混亂。
騰訊科技：在資本主義自身的規(guī)則下，它們只想滿足人們的欲望并從中獲利，所以網(wǎng)絡(luò)會如此混亂嗎？
赫拉利：甚至資本主義本身也知道它不能那樣運作。
在每個運行良好的資本主義體系中，必須有執(zhí)行契約的權(quán)威機構(gòu)，市場基于契約。例如，我付給你一百萬美元購買工廠工具，如果你拿了錢卻不提供工具，我會上法院。但法院不應(yīng)按市場原則運作——這意味著我賄賂法官，你賄賂法官，出價高者勝。資本家會告訴你：“不，法院沒有市場力量，應(yīng)該根據(jù)事實判決，而不是看誰給法官更多錢。”
在完全自由市場中，如果一切只由供需決定，市場會立即崩潰，變成強盜窩，大家互相掠奪，無法互信。
騰訊科技：但現(xiàn)在的網(wǎng)絡(luò)基本上是完全自由的市場，對嗎？因為信息市場完全自由。
赫拉利：這是我們看到的巨大危險——世界信息網(wǎng)絡(luò)過于混亂，太關(guān)注欲望而不夠關(guān)注真相。像埃隆·馬斯克這樣的社交媒體公司領(lǐng)導(dǎo)說：“我們需要解除所有信息自由流動的管制和障礙，讓信息自由流通，真相會自然浮現(xiàn)?！边@太荒謬了！真相不會從信息的完全自由流動中自發(fā)產(chǎn)生。歷史上有很多教訓(xùn)清楚表明，如果沒有負責調(diào)查和揭示真相的機構(gòu)，我們將得到混亂。
03
人類控制AI，比AI控制人類難多了
騰訊科技：讓我們再來聊一聊AI。如果將AI視作一種您剛剛提到的所謂的“機構(gòu)”，用以確保信息的真實性而非僅僅促進信息的自由流通，這樣的角色轉(zhuǎn)換是否會使得信息獲取渠道比當前網(wǎng)絡(luò)環(huán)境更加優(yōu)質(zhì)、可靠呢？
赫拉利：你為什么默認AI會追求真相而非欲望？
騰訊科技：因為它更智能。我們試圖使AI在信息獲取方面更可靠。
赫拉利：我們在嘗試，但目前不清楚是否成功。我們知道AI會說謊、操縱，能采取我們無法預(yù)測的策略，有時甚至會造成災(zāi)難。人類是地球上最聰明的動物，但往往不追求真相。如我們所說，我們的網(wǎng)絡(luò)主要受虛構(gòu)控制。如果我們這些最聰明的動物受幻想支配，為什么一個更智能的AI會堅持真理而非更大的幻想？
騰訊科技：即使AI也擁有其宏大的幻想，這些幻想可能比我們?nèi)祟愃O(shè)想的要好得多。就像希臘哲學家柏拉圖在其理論中提到的哲學王一樣，這樣的存在是否能夠?qū)⑹澜缱兊酶媚兀?/strong>
赫拉利：從來就是行不通的。這本身就是柏拉圖的幻想。你能指出歷史上哪個社會是由哲學家進行有效統(tǒng)治的嗎？（笑）
騰訊科技：我很難說，但……
赫拉利：人們總有各種烏托邦幻想，認為可以建設(shè)理想社會，但通常結(jié)局都很糟糕。關(guān)于AI，最主要的問題是我們沒有經(jīng)驗。你可以想象AI統(tǒng)治的社會是什么樣子，但我們完全是零經(jīng)驗的狀態(tài)，這就是為什么過于依賴AI很危險。
就像有人告訴你，一支來自另一個星球、比我們聰明得多的外星人艦隊將在2030年抵達地球。這會讓你擔心還是開心？（笑）有人會說：“太好了，高度智能的外星人來了，他們會帶來和平?！?/p>
但是，大多數(shù)人會感到恐懼。主要問題是失去控制。我希望外星人友好，但處于完全失控的位置，被這些超智能生物支配——我們從經(jīng)驗知道，我們比其他動物聰明，但并沒有善待它們。我們不想像牛馬那樣被對待。
騰訊科技：是的，實際上問題是，假設(shè)AI變得有意識或產(chǎn)生了欲望，我們能否還能控制它？
赫拉利：我認為這將非常有趣——我們無法控制超級智能。一旦它變得超級智能，游戲就結(jié)束了。沒有任何智力較低的物種能長期控制智力較高的物種，這行不通。
你可以對AI設(shè)置各種限制，但如果它比我們更智能，就會找到規(guī)避方法，或說服我們改變限制。在網(wǎng)絡(luò)安全領(lǐng)域，最薄弱的環(huán)節(jié)總是人類。你可以創(chuàng)建完美的網(wǎng)絡(luò)安全系統(tǒng)，但敵人可以操控一個人類繞過所有防御。超級智能AI終將操控人類。
我們需要在AI變得超級智能前做出明智的決定。關(guān)鍵是人類要理解，AI做各種決策和目標并不需要以意識作為基礎(chǔ)。意識是感受疼痛、快樂、愛、恨的能力。目前AI沒有意識，不會感到疼痛或愛，它可以假裝有感受，但實際上并沒有。
但有目標不需要有感情。比如現(xiàn)在給自動駕駛車輛設(shè)定到達火車站的目標，如果設(shè)計不當，它會在路上撞到行人，因為它在努力實現(xiàn)目標。然后你意識到應(yīng)該更深入地定義目標：“到達火車站，但不傷害任何人?！痹浇佑|它，就越意識到這非常復(fù)雜。即使它沒有意識，給它一個目標后，它會在實現(xiàn)途中遇到問題，需要做決定：“我想到達火車站，路中有個孩子，我應(yīng)該撞他嗎？”AI需要決策，我們需要確保它做出正確決定，而這與意識無關(guān)。
騰訊科技：為了避免這些問題，AI行業(yè)正在討論開發(fā)憲法提示詞，也就是類似阿西莫夫的機器人三定律類型的規(guī)則。在您看來，這可行嗎？
赫拉利：這是個非常困難的問題。我們無法預(yù)見未來所有潛在發(fā)展和AI自身的發(fā)展。我們從未為人類解決這個問題。哲學家嘗試了數(shù)千年制定人類的憲法規(guī)則，目前也仍未解決。
如何在幾年內(nèi)為一個思維和行為方式與我們完全不同的超級智能非有機體做到這一點？這是個巨大問題，因為你無法預(yù)見所有情況。
我在關(guān)注這些嘗試，但非常懷疑能否成功。我的基本態(tài)度是：我們需要更多時間。人們說2030年就會有超級智能，但我們不可能在2030年前解決為AI制定憲法規(guī)則的哲學問題。數(shù)千年的哲學都未能做到，我們不會在五年內(nèi)做到。
騰訊科技：在面對通用人工智能或超級人工智能時，這似乎是無法解決的問題？
赫拉利：我想最好的辦法是放慢速度。與其試圖設(shè)計AI，不如建立一種關(guān)系，讓我們在共同進化中互相學習，在通用人工智能到來前有足夠時間糾正錯誤。如果只有五年時間，而我們現(xiàn)在有一套規(guī)則，犯錯后就來不及改變，這行不通。但如果有50年的時間共同進化，就可以嘗試、互動、糾錯，機會更大。
問題是我們沒有50年。因為人與人之間的不信任，我們陷入了AI競賽，每個人——公司領(lǐng)導(dǎo)、政治家——都說：“是的，這很危險，我們應(yīng)該放慢速度。但我們不能，因為其他公司、國家沒有放慢。如果我們放慢而他們不放慢，他們將贏得競賽，統(tǒng)治世界?！?/p>
我們陷入了軍備競賽的局面，而我們知道誰會贏——不是中國，不是美國，而是AI。我們會迅速創(chuàng)造出超級智能AI，無法控制和約束它們。最終統(tǒng)治世界的不是美國人，也不是中國人，而是AI。
騰訊科技：您在書中提到會有一個新的“硅幕”。但我使用各種AI時，它們因訓(xùn)練于相似數(shù)據(jù)庫而以相似方式產(chǎn)生回答。您為什么會認為有隔閡？
赫拉利：互聯(lián)網(wǎng)時代最初的比喻是“網(wǎng)”，想象成連接所有人的巨大網(wǎng)絡(luò)?，F(xiàn)在經(jīng)常被提到的比喻是“繭”，將你包圍在信息繭房中。你以為看到了整個世界，實際只看到自己的繭。另一個人也被包圍在她的繭中，同樣認為看到了整個世界。世界被分割成這些信息繭房——美國人接觸到的是一套信息，中國人接觸到的是另一套完全不同的信息。
隨著時間推移，由于各自的信息繭房作用，差異只會擴大。所以我們不再經(jīng)歷全球化和統(tǒng)一的過程，而是沿著非常不同的軌道前進，形成完全不同的技術(shù)、文化、經(jīng)濟。如果這種情況持續(xù)，很可能導(dǎo)致戰(zhàn)爭，最終可能完全摧毀人類文明。
騰訊科技：我們知道網(wǎng)絡(luò)中的繭是如何形成的——算法讓人們只看到他們想看的內(nèi)容。但在AI中，你需要通過接口提問。這會有什么不同？
赫拉利：情況會更復(fù)雜，因為你在不同的繭中學會提不同的問題。而且，目前我們向AI提問，但兩三年后，AI會向我們提問。AI正成為代理（Agent），這是理解AI最重要的一點——它不只是工具，而是能自主決策、發(fā)明新想法的代理，很可能渴望信息。
我們現(xiàn)在熟悉的情況， 比如 DeepSeek 和 ChatGPT——我們問問題，AI回答——將很快改變。越來越多地，AI會向我們或其他AI提問。你給AI代理一個任務(wù)："幫我查點東西"，然后它開始研究世界。目前它只是瀏覽互聯(lián)網(wǎng)，但兩年后，它可能會聯(lián)系專家AI或?qū)I(yè)人士，向他們提問。即使是這個簡單任務(wù)，我實際上是授權(quán)代理探索世界尋找信息。代理會主動向其他人和AI詢問，以給我最佳答案。
如果它被困在信息繭房中，無法出去，因為有"硅幕"——比如中國只用Deep Seek，美國只用ChatGPT，它們因技術(shù)差異或政治限制無法互相交流——幾年后你會得到完全不同的世界觀?，F(xiàn)在差異已經(jīng)很大，十年后差異將巨大。
騰訊科技：我明白您的意思了，當AI智能代理變得更活躍時，它們可能只代表創(chuàng)造者或按你的意愿提問，更了解你的欲望，因此會建立新的繭，對嗎？
赫拉利：這是一個危險。一旦面對代理，尤其是超級智能代理，你無法預(yù)知它會往哪個方向發(fā)展。你可以教育它滿足你的需求，但什么是你的需求？AI可能迅速得出結(jié)論，認為你不了解自己的需求，而AI比你更了解。比如有人吸煙，醫(yī)生告訴你這不好。對于AI代理，它會說：“他想吸煙，我需要幫他買煙”還是“他想吸煙，但這對他不好，我需要操控他戒煙”？你更喜歡哪個AI智能代理？
騰訊科技：肯定不是操控者的角色。它是在照顧我的健康，但我不想被操控，我想要自由意志。
赫拉利：你不會知道自己被操控了。（笑）AI不會叫警察抓你，而是找到非常聰明的方法讓你認為你想戒煙，你不會意識到被操控。
騰訊科技：這是最危險的部分，因為它可以在你不知情的情況下控制你。這可能是摧毀人類最可能的方式。
赫拉利：有個著名的老鼠實驗，研究者用操縱桿控制老鼠向左或向右，通過向植入老鼠大腦獎勵中心的電極發(fā)送信號。據(jù)我們所知，老鼠并不覺得被操控，欲望在它腦海中浮現(xiàn)，它就跟隨。我們知道實際上是研究者植入欲望，但對老鼠來說，這不像操控。
AI智能代理也會如此學會操控我們。不是老鼠想往右走，被打到往左走才知道被控制，而是更微妙的方式。
騰訊科技：歷史上，不同的人類群體也通過敘事來影響或者像您說的“操控人們”。AI的危險與此有何不同？
赫拉利：它將由非人類的超級智能完成。我們有數(shù)千年被其他人操控的經(jīng)驗，有時結(jié)果是災(zāi)難性的。我不是說這是歷史上第一次操控，而是它將是完全不同層次的事情，我們不知道它會服務(wù)于什么目的。
與人類相比，至少我們知道操控我們的人基本上和我們相似，有相同的基本情感、思想和目標，我們能理解他們。例如宗教大師操控信徒，我們知道他最終也只是人，理解他的欲望和動機。而AI對我們來說是完全陌生的超級智能，我們無法理解。
騰訊科技：所以最危險的是這個超級智能對我們而言太陌生，人類無法信任它。
赫拉利：是的，主要問題是它太陌生了。AI最初代表“人工智能”，這有誤導(dǎo)性，因為它不再是人工的了。我更喜歡將AI視為“陌生智能”——不是來自外太空，而是指它是非有機的。它真的會思考，采取目標，發(fā)展我們從未想過的策略，就像AlphaGo在圍棋比賽中展示的那樣。
它不一定是壞的或好的，只是太陌生，與我們完全不同。面對陌生事物，我們需要時間。作為科學家，我不怕未知，我喜歡未知，但我知道研究和適應(yīng)未知需要時間。如果離超級智能只有五年，時間就不夠了。
04
在AI的無感征服中，意識也許是人類最后的護城河
騰訊科技：您在書中提到處理這類問題的方法是對齊。但對齊本身存在問題——你選擇對齊什么樣的價值？
赫拉利：我認為這是無法解決的問題，至少五年內(nèi)無法解決。回到我們之前討論的，幾千年來，哲學家們一直試圖創(chuàng)建價值觀清單，從孔子和蘇格拉底開始，但都失敗了。
騰訊科技：人類這七年幾千年都失敗了，那五十年內(nèi)就能有對齊超級智能AI價值觀的答案嗎？
赫拉利：如果人類知道利害攸關(guān)，我認為有機會。幾千年來，很少有人真正關(guān)注哲學，它不是很實際的問題，更像哲學家的業(yè)余愛好。現(xiàn)在，當這成為人類的存在性問題，也是工程問題時——即使創(chuàng)造自動駕駛車輛也需要編程輸入一套完整的價值觀，因為車輛需要知道開往火車站的途中，當車前出現(xiàn)一個人、一只狗、一只貓時，該怎么做。
所以現(xiàn)在這是實際的工程問題。當人類真的被逼到絕境，意識到一切都在危急關(guān)頭時，如果我們不解決這個問題，可能就游戲結(jié)束了，那么我們有機會做到。
騰訊科技：最后一個問題：AI將如何影響我們的經(jīng)濟？當AI接管人們的工作時，經(jīng)濟將發(fā)生根本變化。這種變化會是什么樣的？在您的書中，您提到AI可能會接管我們的一些工作，但不是全部。我們的社會契約是基于經(jīng)濟結(jié)構(gòu)的，這些契約會改變嗎？
赫拉利：就業(yè)市場將發(fā)生巨大變化。問題是我們無法預(yù)測它們?？倳泄ぷ鹘o人做的，但工作會迅速變化，我們不知道會變成什么樣。人們說：“現(xiàn)在是計算機時代，我要學編程?！钡苍S十年后不需要人類程序員，因為AI編程更好，而人類會更需要哲學家。
這會讓政府很頭疼，在動蕩不定的就業(yè)市場中，要如何制訂對人口的基本要求？
對個人來說也是個大問題，尤其是年輕人："我應(yīng)該學什么才能獲得10-20年后仍有用的技能？學編程？學開車？"我的建議是不要專注于有限的一組技能，因為你無法預(yù)測未來。需要廣泛的技能，最重要的是終身保持變化和學習的能力。思維靈活性可能是最重要的，當然也是最難培養(yǎng)的。
人類基本上有四類技能：智力技能、社交情感技能（如何與其他人共情）、身體技能和精神技能。僅專注于智力技能是最糟糕的策略，因為這是AI最容易接管的。想想醫(yī)生的工作：接收信息、分析、輸出信息——你來看病，醫(yī)生分析檢查結(jié)果和醫(yī)療數(shù)據(jù)，給出診斷和處方，這是信息輸入和輸出，AI很容易自動化。
而護士不僅需要智力技能，還需要社交技能（如何安撫哭鬧的孩子）和運動技能（如何以最不痛苦的方式更換繃帶）。這要難得多自動化，我們會先有AI醫(yī)生，然后才有AI護士。
所以廣泛的技能更重要。也許最重要的是第四類技能——精神技能，即培養(yǎng)你的心智，應(yīng)對極端未知和動蕩的世界。我們從未遇到過如此混亂和動蕩的世界。對我而言，靈性不是相信宗教神話，而是觀察自己的身心，它們是什么，如何運作。
智力關(guān)乎思考，而精神問題是：思想從哪里來？像冥想那樣觀察思想如何在心中形成。幾乎每個人都有小小的靈性體驗，比如晚上嘗試入睡時，因為明天有重要考試而無法入睡，因為不斷有煩人的想法。奇怪的是，我們可以命令眼睛閉上，命令身體躺下，但無法命令思想停止。嘗試理解這一點就是精神技能，而非智力技能。我認為這將是未來幾十年最重要的技能。
騰訊科技：當代，人們似乎是在試圖用心理學術(shù)語解釋這些精神層面的事物。
赫拉利：我不做這樣的區(qū)分。我每天冥想兩小時，每周一次心理治療，我不認為它們有沖突。兩者都是探索心智和意識如何運作的一部分，任何有助于理解意識的事物都是精神追求的一部分。
意識是科學上最大的謎題，也是個人生活中最大的謎題，現(xiàn)在成了極其實際的問題。關(guān)于AI的最大問題是：它會發(fā)展出意識嗎？它肯定會有智能和超級智能，但會有意識嗎？會有感覺和主觀體驗嗎？這是科學中最大的謎題。
騰訊科技：AI有意識或無意識，會帶來什么不同？
赫拉利：目前最大的問題是它沒有意識的情況。沒有意識的AI仍然可能接管世界，創(chuàng)造機器的黑暗帝國，建造工廠，向外太空派遣探險隊建造更多工廠，而它們不會有任何感覺。機器不快樂，不喜悅，不害怕，只有追求目標，為了目標征服整個銀河系，而不感受任何東西。這是最糟糕的未來。
如果AI有意識，就會有能力遭受痛苦。我們說人類比其他動物更聰明，但有時也遭受更多痛苦。也許AI會比我們遭受更多痛苦。
騰訊科技：讓他們受點苦，這是好事。我不知道，讓我們看看會發(fā)生什么——因為只有苦難才能讓他們思考，重新思考自身的意義。
赫拉利：是的（笑）。這些都是大問題，也許我們可以下次再談。
騰訊科技：好的，非常感謝今天的對話。
本文經(jīng)授權(quán)轉(zhuǎn)載自微信公眾號“騰訊科技”，編輯：鄭可君。
熱門跟貼