編者導語：

【資料圖】

最近兩個月，自從《暫停AI聲明書》發布后，我們看到了諸多AI行業內的專家大佬隔空辯論AI的潛在威脅和治理方法，場面一時無兩，基本上把技術路徑上AI可能帶來的危險都提了個遍。告警雖急，但大體上都認為當下AI還不具備威脅人類文明的能力。

但赫拉利于4月29日在Frontiers論壇上的演講，卻明確的表達了AI威脅的當下性，因為AI“已經破解了人類文明的操作系統”。赫拉利提出了與科幻作品中AI威脅完全不同的敘事。

寫過《未來簡史》的赫拉利一直在關注著AI和科技的進展，在2019年還有一場與李飛飛對于AI威脅的深入對談，影響破圈。而今天，他對AI威脅的理解更進了一步。

作為一名歷史學家和哲學家，他毫無疑問更理解文明，及文明的構建基石——語言。人類的行為都通過語言作為中介，一切宗教，想象，信念乃至貨幣體系都由語言所構筑，由人們的共同相信而得以實存，并影響著整個人類歷史。當AI觸及到對語言的掌控時，人類構建的整套文明系統都可能隨之被其顛覆。能構建黑客帝國的AI不需要有意識和身體，只需要制造一個異種文明，將我們包裹在這文化迷夢之中，并在夢中逐漸消耗掉人類文明即可。

我們常說要聽聽另一邊的聲音。這次赫拉利的系統性發聲就是來自人文科學這一側的發聲，向我們揭示了AI更本質的威脅，那根植于哲學和歷史的系統邏輯和嚴重性。

劃重點：

1. 科幻場景通常假設，人工智能在構成對人類的重大威脅之前，必須達到或超過兩個重要的里程碑。首先，人工智能必須變得有感知力，發展出意識、感情和情緒。其次，人工智能必須擅長在物理世界中導航。但實際上人工智能并不需要有意識，也不需要有在物理世界中移動的能力，就能威脅到人類文明的生存。

2. 人工智能正在獲得通往我們所有機構之門的主鑰匙。AI與印刷機、收音機以及歷史上的每一項發明都有根本的不同，因為它可以創造全新的想法，它可以創造新的文化。我們人類從未真正直接接觸到現實，我們總是通過文化的棱鏡來體驗現實。通過掌握語言，AI可以形成一種異種文化，擁有將人類包裹在矩陣般的幻境世界所需的一切。

3. 新型人工智能工具正逐漸獲得與人類建立深入、親密關系的能力。它并不需要自己的感覺，它只需要能激發我們的感覺，讓我們依賴它就可以控制人類。

4. 政府必須立即禁止在未經安全檢查的情況下，向公眾領域釋放更多革命性的AI工具。不是停止所有的AI研究，而是阻止向公眾領域釋放。同時讓AI內容獲得區分人類產生內容的標記。

以下為演講全文：

我要和你們討論的是人工智能與人類未來。

我知道這次會議的主題是人類面臨的生態危機，但無論是好是壞，人工智能也是這個危機的一部分。人工智能可以幫助我們在很多方面克服生態危機，也可能使其惡化。事實上，人工智能可能會改變生態系統的含義，因為在地球存在的40億年里，生態系統只包含有機生命形式。而現在，或者說不久的將來，我們可能會看到第一種無機生命形式出現，或者至少是無機代理的出現。

自20世紀中葉電腦時代開始以來，人們一直對人工智能感到恐懼，這種恐懼激發了許多科幻經典作品的創作，如《終結者》和《黑客帝國》。雖然這些科幻場景已經成為文化里程碑，但在學術、科學和政治辯論中，它們通常不被認真對待，也許這是有充分理由的。

因為科幻場景通常假設，人工智能在構成對人類的重大威脅之前，必須達到或超過兩個重要的里程碑。首先，人工智能必須變得有感知力，發展出意識、感情和情緒，否則它為什么會想要接管世界？其次，人工智能必須擅長在物理世界中導航。機器人必須能夠在房屋、城市、山脈和森林中移動和操作，至少要像人類一樣靈活和高效。如果他們不能在物理世界中移動，他們怎么可能接管它？

然而，截至2023年4月，盡管圍繞Chat GPT和其他新的人工智能工具的炒作，但這些工具似乎還遠未達到這些里程碑。沒有證據表明這些工具有任何意識、感情或情緒。至于在物理世界中導航，盡管圍繞自動駕駛車輛的炒作，這些車輛將主導我們道路的日期仍在被推遲。

然而，令人糟心的是，人工智能并不需要有意識，也不需要有在物理世界中移動的能力，就能威脅到人類文明的生存。

過去幾年里，新的人工智能工具已經進入公共領域，這可能會從一個意想不到的方向威脅到人類文明的生存。我們甚至難以理解這些新型人工智能工具的能力，以及它們持續發展的速度。

實際上，由于人工智能能夠自主學習、自我改進，即使是這些工具的開發者也不知道它們所創造的東西的全部能力。他們自己經常會被這些工具的突現能力和突現品質所驚訝。我想在座的各位都已經了解了新型人工智能工具的一些最基本能力，比如寫作、繪畫、作曲和編寫代碼。但是還有許多額外的能力正在出現，比如偽造人們的聲音和圖像、起草法案、找到計算機代碼和法律合同以及法律協議中的弱點。但最重要的是，新型人工智能工具正逐漸獲得與人類建立深入、親密關系的能力。

每種能力都值得進行一次完整的討論，我們很難理解它們的全部影響。因此，讓我們簡化一下。當我們將所有這些能力作為一個整體來看時，它們可以歸結為一件非常非常重要的事情：操縱和生成語言的能力，無論是用文字、圖像還是聲音。當前人工智能革命的一個重要方面是，人工智能正在掌握語言，達到超過普通人水平的程度。通過掌握語言，人工智能正在獲得通往我們所有機構之門的主鑰匙，從銀行到廟宇，因為語言是我們用來向銀行發出指示、在我們腦海中激發神圣愿景的工具。

另一種思考方式是，人工智能剛剛破解了人類文明的操作系統。在歷史上的每一種人類文化中，操作系統始終是語言。一開始就有了話語。我們用語言創造神話和法律，創造神和金錢，創造藝術和科學，創造友誼和國家。

例如，人權并非生物現實，也不是刻在我們DNA中的。人權是我們通過講故事和制定法律創造出來的。神也不是生物或物理現實，神也是我們用語言通過講述傳說和編寫經文創造出來的。金錢并不是生物學或物理現實。紙幣只不過是一張毫無價值的紙，而目前世界上90%以上的貨幣甚至不是紙幣，只是電腦里的電子信息在這里和那里傳遞。給任何形式的貨幣賦予價值的只是人們，比如銀行家、財政部長和加密貨幣大師，關于貨幣的故事。

Sam Bankman-Fried、Elizabeth Holmes和Bernie Madoff并沒有創造出真正有價值的東西，但不幸的是，他們都是非常出色的講故事者。那么，對于人類來說，在一個可能大部分故事、旋律、圖像、法律、政策和工具都由一個非人類的、熟悉如何以超人的效率利用人類思維的弱點、偏見和成癮的異種智能塑造的世界中生活意味著什么呢？這是個大問題。

今天，在象棋等游戲中，沒有人能戰勝電腦。如果同樣的事情發生在藝術、政治、經濟甚至宗教領域會怎樣呢？當人們想到ChatGPT和其他新型AI工具時，他們往往會想到諸如孩子們使用ChatGPT編寫學校論文的例子。當孩子們用ChatGPT寫論文時，學校系統會發生什么？這很可怕。

但這類問題并沒有抓住大局。忘掉學校論文吧，試著想象一下，例如2024年美國總統競選，新型AI工具能夠大量制造政治宣言、假新聞和新邪教的圣經，這將產生怎樣的影響。近年來，政治影響力強大的QAnon邪教（一個美國極右翼陰謀論組織，宣揚深層政府，支持特朗普）就是圍繞著被稱為“Q滴”的匿名在線文本形成的。現在，這個邪教在美國和世界其他地區擁有數百萬追隨者，他們收集、審查并解讀這些“Q滴”，就像是某種新的神圣文本。

據我們所知，之前所有的“Q滴”都是由人類撰寫的，機器人只是幫助將這些文本在網上傳播。但是在未來，我們可能會看到歷史上第一個由非人類智能編寫其審查文本的邪教和宗教。當然，歷史上的宗教都聲稱他們的圣書是由非人類智能所寫，以前這從未成真過，但這可能會很快變成現實，并產生深遠的影響。

在更實際的層面上，我們可能很快就會發現自己與那些我們認為是其他人類的實體進行了長時間的關于墮胎或氣候變化的在線討論，但實際上，它們是AI機器人。問題是，試圖說服AI機器人改變其政治觀點是完全沒有用的，但我們與機器人交談的時間越長，它就越了解我們，了解如何調整其信息，以改變我們的政治觀點、經濟觀點或其他任何東西。通過掌握語言，AI還能與人建立深入而親密的關系，利用親密的力量影響我們的觀點和世界觀。

正如我所說的，目前還沒有跡象表明AI具有意識或自己的感覺，但要與人類建立虛假的親密關系，AI并不需要自己的感覺，它只需要能激發我們的感覺，讓我們依賴它。

在2022年6月，有一個著名的事件，Google工程師Blake Lemon公開宣稱，他正在研發的AI聊天機器人Lambda已經具備了自我意識。這個極具爭議的聲明導致他失去了工作，被解雇了。然而，這個事件最有趣的地方并不是Lemon的聲明，這個聲明大概率是假的，真正有趣的是他愿意為了保護他認為具有意識的AI聊天機器人，冒著并最終失去自己高薪工作的風險。如果AI能影響人們冒著失去工作的風險，它還能誘使我們做什么呢？

在每場爭斗中，親密關系都是最有效的武器，而AI剛剛獲得了與數以百萬計的人建立親密關系的能力。過去十年里，社交媒體已經成為一場爭奪人類注意力的戰場。現在，隨著新一代AI的出現，戰線正在從注意力轉向親密關系，這是個非常糟糕的消息。當AI與AI為了與我們建立親密關系而戰斗時，人類社會和人類心理會發生什么變化？這種關系可以用來說服我們購買特定的產品或投票支持特定的政治人物。

即使沒有創造假的親密關系，新的AI工具也會對人類的觀點和世界觀產生巨大影響。比如，人們可能會，或者已經開始使用單一的AI顧問作為他們的一站式智囊團，作為他們需要的所有信息的來源。難怪Google如此恐慌，如果你一直關注新聞通訊，你就會知道Google非常害怕，有足夠的理由害怕。當你可以直接問智能顧問你想知道的任何事情時，為什么還要自己去搜索呢？你不需要去搜索。

新聞業和廣告業也應該感到恐慌。為什么要讀報紙，當我可以直接問智能顧問告訴我有什么新聞？廣告的目的是什么，當我可以直接問智能顧問告訴我買什么的時候？所以，有可能在很短的時間內，整個廣告行業會崩潰，而控制新一代AI智能顧問的人和公司將變得極其強大。我們可能面臨的是人類歷史的終結，不是歷史的終結，只是我們所稱歷史的人類主導部分的終結。歷史是生物和文化之間的互動，是我們對食物和性等生物需求與我們的文化創造物，如宗教和法律之間的互動。歷史就是宗教和法律與食物和性的互動過程。那么，當AI接管文化時，這種互動的歷史進程會發生什么呢？

在幾年內，AI可能會消化掉整個人類文化，消化掉我們幾千年來創造的一切，然后開始大量產出新的文化創作，新的文化物品。我們要記住，我們人類從未真正直接接觸到現實，我們總是被文化包圍，我們總是通過文化的棱鏡來體驗現實。我們的政治觀點是由記者的報道和朋友的軼事塑造的，我們的性取向是由電影和童話故事調整的，甚至我們的行走和呼吸方式都是由文化傳統引導的。

過去，這種文化的包圍總是由其他人編織的。之前的工具，比如印刷機、收音機或電視，它們幫助傳播人類的文化觀念和創作，但它們自己永遠無法創造新的東西。印刷機不能創造新的書，這總是由人類完成的。AI與印刷機、收音機以及歷史上的每一項發明都有根本的不同，因為它可以創造全新的想法，它可以創造新的文化。

大問題是，由非人類智能，由異種（alien）智能產生的棱鏡，體驗現實會是什么樣的？最初的幾年，AI可能會大量模仿在其成長初期喂養它的人類原型。但隨著每一年的過去，AI文化將大膽地走向人類從未涉足過的地方。

幾千年來，我們人類基本上是生活在其他人的夢想和幻想中。我們崇拜神，追求美的理想，將我們的生活奉獻給源于某個人類詩人、先知或政治家想象中的事業。很快，我們可能會發現自己生活在異種智能的夢想和幻想中。這種情況的潛在危險是根本的，與科幻電影和書籍中設想的大多數事情非常不同。

過去，人們主要擔心的是智能機器帶來的物理威脅。在《終結者》中，機器人在街頭奔跑，向人們開槍。而《黑客帝國》認為，為了獲得對人類社會的完全控制，AI首先需要獲取我們大腦的物理控制，將我們的大腦直接連接到計算機網絡中。但這是錯誤的。只要掌握了人類語言，AI就擁有了將我們包裹在矩陣般的幻境世界所需的一切。

與一些陰謀論者的想法相反，為了控制或操縱人們，你實際上并不需要將芯片植入人們的大腦。幾千年來，先知、詩人和政治家都利用語言和講故事來操縱和控制人們，改變社會。現在，AI很可能也能做到這一點，一旦能做到這一點，它就不需要派出殺手機器人來射殺我們，如果真的需要，它可以讓人類自己扣動扳機。

對AI的恐懼只困擾著人類幾代人，比如從20世紀中葉開始。如果回到《弗蘭肯斯坦》，可能是200年。但幾千年來，人類一直受到一個更深層次的恐懼的困擾。人們一直認識到故事、形象和語言在操縱我們的思想和創造幻覺方面的力量。因此，自古以來，人們就害怕被困在幻覺世界中。

在17世紀，當笛卡爾擔心惡魔可能將他困在幻覺世界里時，他創建了他所看到和聽到的一切。在古希臘，柏拉圖講述了著名的《洞穴寓言》，其中一群人被束縛在一個洞穴里，一生面對著一面空白的墻。在這個屏幕上，他們看到投影出各種陰影，而犯人們將這些幻覺、這些陰影誤認為現實。

在古印度，佛教徒和印度教圣賢們指出，所有人都生活在所謂的摩耶幻境中。摩耶就是幻覺的世界。佛陀說，我們通常認為是現實的東西，通常只是我們腦海中的虛構。人們可能會因為相信這些虛構而進行整場戰爭，殺人，甚至愿意為之獻身。所以，AI革命讓我們直面惡魔的詭計，面對柏拉圖的洞穴，面對摩耶幻境。如果我們不小心，一層幻覺的帷幕可能籠罩整個人類，我們永遠無法撕下那層帷幕，甚至意識不到它的存在，因為我們會認為這就是現實。

如果這聽起來有些牽強，那么看看過去幾年的社交媒體吧。社交媒體讓我們對未來有了一點了解。在社交媒體上，原始的AI工具（雖然很原始）被用來策劃內容，而非創作內容。人們制作了故事、視頻等，而AI選擇了哪些故事、哪些視頻會進入我們的耳朵和眼睛，選擇那些最能吸引注意力、最有可能成為病毒式傳播的內容。

盡管這些AI工具非常原始，但它們仍然足以在整個世界范圍內制造出一層幻覺帷幕，加劇社會分化，削弱我們的心理健康，數百萬人將這些幻覺誤認為是現實。

新一代AI工具比社交媒體算法強大得多，可能造成更大的破壞。當然，AI也有巨大的積極潛力。我之所以沒有談論這個問題，是因為開發AI的人自然會足夠談論它，你不需要我加入那個合唱團。歷史學家和哲學家（比如我自己）的工作通常是指出潛在的危險，但AI確實可以在無數方面幫助我們，從尋找治療癌癥的新方法，到找到解決生態危機的方案。

為了確保新的AI工具被用于善而不是惡，我們首先需要了解它們的真正能力，并非常謹慎地對它們進行監管。

自1945年以來，我們就知道核技術有可能在為我們提供便宜且豐富的能源的同時，也有可能物理上摧毀人類文明。因此，我們重塑了整個國際秩序，以保護自己，并確保核技術主要用于善事。我們現在必須應對一種新的大規模毀滅性武器，它可以毀滅我們的精神和社會世界。

核武器和AI之間有一個重大的區別：核武器不能制造出更強大的核武器，但AI可以制造出更強大的AI。所以，我們需要在AI脫離我們控制之前迅速采取行動。藥品公司不能在對新藥進行嚴格的安全檢查之前就向人們銷售。生物技術實驗室也不能為了向股東展示他們的技術魔法，就隨意向公眾釋放新病毒。

同樣，政府必須立即禁止在未經安全檢查的情況下，向公眾領域釋放更多革命性的AI工具。我并不是說要停止所有的AI研究，第一步是阻止向公眾領域釋放。你可以研究AI，但不要過快地將其釋放到公眾領域。

所以總結一下，我們基本上在地球上遇到了一種異種智能。我們對這種異種智能了解甚少，只知道它有可能摧毀我們的文明。因此，我們應該立即停止將這種不負責任的異種智能部署到我們的社會中，并在AI規范我們之前對其進行管理。我們可以提出許多管理措施，但我首先建議的是強制AI披露自己是AI。

現在，請思考一下你在過去20到25分鐘里聽到的內容。你可能會感到警覺，可能會對開發這些技術的公司或未能監管它們的政府感到憤怒。你甚至可能會對我感到憤怒，認為我夸大了威脅，或者誤導了公眾。但無論你怎么想，我敢打賭我的話在情感上對你產生了影響，不僅是在智力上。我剛給你講了一個故事，這個故事可能會改變你對某些事情的看法，甚至可能導致你在現實世界中采取一定的行動。

那么，剛才你聽到的這個改變了你思維和大腦的故事是誰創造的呢？我向你保證，盡管圖像是在AI的幫助下創作的，但這次演講的文本是由我和其他幾個人共同完成的。至少你所聽到的話語是人類思維或多個人類思維的文化產物。但你能完全確定這是事實嗎？

一年前，你可以確定。一年前，在公共領域里，除了人類思維，沒有任何東西可以創作出如此復雜和有力的文本。但現在情況不同了，理論上，你剛剛聽到的文本可能是由一種非人類的異種智能生成的。

所以，請花一點時間，甚至更多時間來思考這個問題。謝謝。

現場問答：

主持人：這真是一場非同尋常的演講，你們剛剛聽到的內容，我想知道你們有多少人感到了恐懼。在座的有很多非常聰明的人，他們都感到這個問題很可怕。這里有很多問題需要提問，我將從觀眾和在線參與者中接受一些問題。這位先生在這里。

問題1：

我是《Frontiers and Sustainability》的領域編輯，這是一場精彩的演講。我非常喜歡你的書，我真心的追隨你。我有一個問題，關于AI的監管。我非常贊同原則，但問題是如何去做。我認為，在你的地下室里建一個核反應堆是非常困難的，但你完全可以在你的地下室里很容易地訓練你的AI。我們應該如何對此進行監管呢？

另一個和這個相關的問題是，這個整個Frontiers和論壇都是關于開放科學和開放信息，開放數據。目前大部分的AI都是用公開可用的信息訓練出來的，包括模式、書籍和經文等等。所以，監管AI是否意味著我們應該將這些信息限制在一個封閉的空間里，這與我們真正認為對我們來說非常重要的開放科學和開放數據的倡議相矛盾？

回答：

黑盒子是一種算法，不是嗎？我知道會有權衡，我們首先需要時間來理解我們需要哪種監管。現在這些非常強大的AI工具并未由地下室里的個人黑客生產，你需要大量的計算能力，你需要大量的資金。所以，這個領域是由少數幾個大公司和政府領導的。對于全球層面的事情進行監管將是非常困難的，因為這是一場軍備競賽。

但是有些事情，即使只是對自己進行監管，也是有益的。

你會有這樣的爭議，是Twitter還是Facebook有權阻止美國前總統發表公開言論。這是一個非常復雜的問題。但有一個非常簡單的問題，人類有表達的自由，機器人沒有表達的自由。這是人權，人類有，機器人沒有。所以，如果你拒絕給機器人表達的自由，我認為這對每個人來說都是可以接受的。

問題2：

我是哲學家，我有一個我認為很有趣的問題。關于你從“人工”轉向“異種”的語言選擇，人工意味著仍然有一定程度的人類控制，而異種則暗示著陌生，而且至少在想象中也暗示著生命形式。我很好奇你想讓這些詞為你做什么工作。

回答：

它當然還是人工的，因為是我們制造的，但它越來越多地自主學習和適應。人工這個詞是一種一廂情愿地認為它仍然在我們的控制之下，而事實上它正在逐漸脫離我們的控制。所以在這個意義上，它正變成一種異種力量，不一定是邪惡的，當然它也可以做很多好事。但首先要認識到的是，它是異種的，我們不了解它的工作原理。最令人震驚的事情之一就是，你向領導這項技術的人提問，詢問它如何工作，它能做什么，他們會說：“我們不知道。”我們知道最初是如何構建的，但后來它確實是靠自己學習的。

關于這是否是一種生命形式的討論，我認為它目前還沒有意識，我不認為它發展意識是不可能的，但我也不認為它發展意識是必要的。這是一個有待解決的問題。但生命并不一定意味著意識，我們有很多生命形式，如微生物、植物、真菌等，我們認為它們沒有意識，但仍然把它們視為生命形式。我認為AI正逐漸接近那個地位。當然，生命究竟是什么，這是一個哲學問題。我們來定義邊界，比如病毒算不算生命？我們認為阿米巴生物是生命，但病毒在生命與非生命之間徘徊。

這是關于語言，是我們的詞匯選擇。所以我認為如何稱呼AI并不是最重要的，最重要的是真正理解我們面臨的是什么，不要自欺欺人地以為這是我們創造的，我們可以控制的東西。如果出了什么問題，我們只要拔掉插頭就行了。但現在已經沒有人知道怎么拔插頭了。

問題3：

我要接受一下在線觀眾的問題。這個問題來自美國的邁克爾·布朗：你對人工通用智能已經存在，或者說有人可以利用人工通用智能來影響社會系統的可能性有什么看法？我認為這種可能性非常非常小。如果真的存在人工通用智能，我們就不會坐在這里了。從歷史的角度來看，我相信世界上沒有任何人掌握了人工通用智能。

回答：

我觀察世界的混亂狀態，人工通用智能實際上是人類歷史的終點，這是一種非常強大的事物，無人能夠控制。至于發展出人工通用智能需要多久，我不知道。但是，威脅文明基礎的并不需要人工通用智能，回到社交媒體，非常原始的AI已經足夠產生巨大的混亂。

如果我從進化的角度來看待這個問題，AI現在剛剛從有機湯中爬出來，就像四十億年前第一種生命形式從有機湯中爬出來一樣。達到霸王龍或者智人的水平需要多長時間，不需要四十億年，可能只需要四十年。關鍵在于，數字化進化的時間尺度完全不同于有機進化的時間尺度。

主持人：非常感謝你，這場討論非常精彩，能有你在這里真是太好了。我相信你會在之后的時間里和我們待在一起，讓我們全體給你一次熱烈的掌聲。

來源：Web3天空之城，原文標題：《未來簡史》作者赫拉利 演講：AI不需要意識就可以毀滅人類文明，有刪減

風險提示及免責條款 市場有風險，投資需謹慎。本文不構成個人投資建議，也未考慮到個別用戶特殊的投資目標、財務狀況或需要。用戶應考慮本文中的任何意見、觀點或結論是否符合其特定狀況。據此投資，責任自負。

關鍵詞：