這是1968年科幻電影《2001：太空漫游》中的經典場景，人工智能HAL9000拒絕了人類的請求，由此展開了殊死搏斗。

如今也成為深度學習巨頭、圖靈獎得主Yoshua Bengio最新博文的封面：危害人類的AI是如何出現的。

近幾個月來，強人工智能對話系統的興起，引發了各種AI風險的討論。

即便科學家們普遍認為，有必要對人工智能進行監管，但對于「AI系統是否會失控，進而對世界造成災難性損害」存在深刻的分歧。

事實上，這些災難會如何發生，存在諸多不確定性。于是Bengio團隊做了一系列的正式定義Rogue AI、假設和主張，并討論了發生條件、可能情況以及規避策略。

一時間引發熱議，不少學界人士站出來推薦：

在不改變原意的基礎上，量子位聯合ChatGPT做了如下編譯。

Rogue AI如何出現

定義1：一個潛在的Rogue AI，是一個自主的人工智能系統，其行為方式可能會對大部分人類造成災難性傷害，可能會危及我們的社會，甚至我們的物種或生物圈 。

人類大腦是一種生物機器，我們在理解和展示人類智能多個方面的原理上取得很大進展，比如從實例中學習知識和熟練運用語言。雖然我也相信人們有能力設計出有用且安全的AI系統，但必須遵守具體指導方針，比如限制他們的機構。

然而最新進展表明，超級智能AI（全面比人類聰明）的建立離我們預期比以前更近，我們不清楚如何防止潛在的Rogue AI產生。

Rogue AI是目標驅動的。當前大模型幾乎沒有自主能力，但正如Auto-GPT那樣可以轉化。更深入了解Rogue AI的產生方式，需要在技術和政策方面的努力。

AI對齊問題（人類真實意圖與人工智能的理解和行為不匹配）以及社會競爭壓力將有利于更強大、更自主的AI系統的產生，不自覺間就增大了Rogue AI誕生的可能性。

假設1：人類水平的智力是有限的，因為大腦是生物機器。

假設2：一臺具有人類水平學習能力的計算機，通常會因為額外的技術優勢而超過人類的智力。

如果假設1正確，那么會存在超級智能AI系統執行人類無法完成的任務（或者能力和速度不在一個水平上），至少有以下方面的原因：

• 一臺計算機的AI系統可以在任意數量計算機上進行自我復制、獲取經驗并聚合。
• AI已經能相當快速閱讀整個互聯網的內容。

此外，人類大腦還具有進化賦予的能力，當前一些相關的AI研究也正在進行。至于進化需要高能量消耗，這點在AI上已經實現。例如訓練目前最先進的大模型的一萬個GPU集群。

定義2：一個自主的、目標導向的智能實體會設定并努力實現自己的目標（可能作為人類設定目標的子目標），并相應地采取行動。

需要注意的是，自主性可能產生于人類設定的目標和獎勵。當主要目標是生存和繁殖，那么它將是完全自主的，這是最危險的情況。

如果這些目標不嚴格包括人類和生物圈的福祉，即不足以與人類的權利和價值觀保持一致，那么這樣的系統就有可能成為潛在的Rogue AI。

下面這些情況都將可能導致Rogue AI的出現：

• 不懷好意的人類。
• 構建AI Agent的意外后果。除非AI對齊研究取得進展，否則沒有強有力的安全保障。
• 企業失控。企業可以被視作特殊的人工智能，其構建模塊是企業中的員工，他們大部分時間意識不到企業整體行為的后果。
• 人類對創造類人實體的迷戀。正如科幻小說/電影中看到的， 這些實體具有情感、人類外貌甚至意識。

我認為我們應該遠離那些外貌和行為都很像人類的AI系統，因為他們可能會變成Rogue AI。

• AI Agents之間進化壓力的意外結果。不同人類和組織爭相設計更強大的AI系統，成千上萬的研究員給予AI指令，這種過程可能會激發AI學習更快。

以上分析和AI安全研究能幫助我們設計政策、降低潛在風險。

比如前陣子“暫停開發比GPT-4更強的人工智能系統”的呼吁，就是個很好的開端。這需要國家監督和國際協議，條約需要各國來共同達成。這類似于上世紀50年代關于禁止核武器條約。

為了保護公眾、社會和人類免受災難性后果，減緩高風險的人工智能研究和應用進展是值得的。

當然這也不會阻止一些有益研究，比如幫助科學家更好地理解疾病和氣候變化的人工智能系統。

不過資本主義競爭本質將可能導致Rogue AI行為，AI經濟學家將會幫助我們設計出不依賴競爭、更關注利潤最大化的經濟體系，并提供足夠的激勵和懲罰機制。

Rogue AI的風險是可怕的，但它也可能成為重新設計我們的社會，使之朝著更廣泛福祉的方向發展，比如解決醫療、教育資源不平等問題。

首先感謝Hinton

值得一提的是，在這篇博文的最后，Bengio還特意感謝了Hinton，可是放在了第一位哦~

而就在此博文發布之際，LeCun也淺評價了他倆：

他們都不是經濟學家，沒有研究技術進步對勞動力市場的影響。

嗯，而他自己卻經常與經濟學家交流。（手動狗頭）

感興趣的旁友，可戳下方鏈接學習學習：
https://yoshuabengio.org/2023/05/22/how-rogue-ais-may-arise/