超級人工智能的終極討論——如何與人類共存？或徹底威脅人類？
上個世紀50年代，科幻作家弗雷德里克·布朗（Fredric Brown）寫了一個關于超級智能機器的故事。在短短半頁的篇幅里，這個故事向我們介紹了一臺功能強大的計算機，在一個名叫Dwar Ev的人打開開關的那一刻，數以億計的小型計算機最終連接在一起。過了一會兒，一個問題出現在機器面前：“上帝存在嗎？”答案就來自電腦的聲音：“是的，現在有了上帝“。計算機機智能會控制開關，阻止自己被關閉，甚至可能謀殺人類。
這是一個令人不安的警示性科幻短篇小說。我們對自己的創造充滿雄心壯志，但什么時候雄心壯志會變成危險呢？
今天，計算機和人工智能已經使我們的生活更加方便。人工智能的應用有很多——從自動駕駛技術到外科手術機器人，未來的人口不僅由人構成，也由機器構成。這些機器能否擁有意識是一個有爭議的問題。但這不是關于有意識的問題，這是關于擁有超級理解能力的超智能機器。
創造一個超級智能人工智能的理由有很多。它可以幫助我們把我們的世界變得更好，找到治療絕癥的方法，分析我們的經濟，幫助我們解決物流問題，并找到幫助人類更長壽的方法。但未來仍有不確定性。
超級智能的人工智能將被賦予無限的潛力，但我們也將受其支配。上個月發表在同行評議的《人工智能研究雜志》上的一篇論文強調了這一結論：“超級智能無法被控制，可計算性理論的教訓（Superintelligence cannot be contained: Lessons from Computability Theory）”。
- 電影《機械姬》中的人工大腦。
在人與機器的關系上，存在著艾薩克·阿西莫夫科幻小說中著名的機器人三定律。雖然最初只有三個定律，但后來又增加了第零定律。它們如下：
0. 機器人必須保護人類的整體利益不受傷害，其它三條定律都是在這一前提下才能成立。
1. 機器人不得傷害人類，也不得坐視人類受到傷害。
2. 機器人必須服從人類給它的命令，除非這些命令與第一定律相違背。
3. 在不違反第一定律或第二定律的前提下，機器人必須保護自己的存在。
乍一看，這些定律似乎足夠讓人類與機器人共存。但事實上，這些定律從一開始就注定要失敗。比如在《我，機器人》（I, Robot）這部影片中，觀眾對一個人格化的機器人產生了同情，隨著影片的進行，機器人似乎越來越有知覺。最后，我們不禁會想，這些機器（不僅僅是冰冷的金屬和電路）是否是一種非常人性化的存在。
阿西莫夫的科幻小說探索了這些法則的許多失敗之處。多年來，評論家們也指出了他們的許多缺點。也許最大的缺陷是定律含糊不清。如果機器變得如此人性化，以至于我們很難講它們與人類區分開來，那么機器將如何區分呢？人類在哪里終結，人工智能在哪里開始？當然，一個比我們更聰明的人工智能可以計劃一種方法來訪問其核心，逃避任何現有的限制。
這是一個可怕的問題。然而，即使是這些科幻故事中的機器人也遠不如真正的超級智能機器。雖然阿西莫夫的機器人按照今天的標準已經很先進了，但它們離人工智能真正的頂峰還差得遠。機器人將比超級智能機器早幾十年出現。隨著生命的發展，在毀滅性的小行星上生存下來，解決全球變暖問題，人類必然面臨著自身技術的生存。
- 阿西莫夫的“三定律”有助于講好故事，但人工智能研究人員并沒有實施它們。
今年，由馬克斯·普朗克人類發展研究所進行的這項研究，利用計算來預測超級智能人工智能的安全性。這個級別的人工智能不僅比所有人類都聰明，還可以連接到互聯網上，繼續學習，并控制網絡上的其他機器。今天已經有機器在沒有人類程序員幫助的情況下完成任務。程序員自己也不明白機器是如何學習并完成這些任務的。
該研究小組試圖使用一種理論上的遏制算法，在模擬人工智能的行為后，如果它被認為對人類有害，就可以阻止它繼續下去。該算法被發現是不可能建立的。我們所知道的任何算法都不能確定人工智能是否會做一些有害的事情。
人類與機器中心機構的主任伊亞德·拉溫是這樣描述的：
如果你把這個問題分解成計算機理論科學的基本規則，那么一個命令人工智能不要毀滅世界的算法，可能會在不經意間停止它自己的操作。
如果發生這種情況，您將不知道遏制算法是否仍在分析威脅，或者它是否已停止遏制有害的人工智能。實際上，這使得這種算法無法使用。
從擾亂市場經濟到控制戰爭，超級智能的許多行為將是人類無法理解的。它甚至可能開發出一種超越我們現在熟悉的編程語言。
- 日本的富岳超級計算機是目前世界上最強大的計算機，在IBM的峰會上位居榜首。富岳被用于藥物開發、自然災害模擬和新材料的開發。
除了遏制算法之外，還有其他控制人工智能的想法被提出。一個例子便是著眼于限制人工智能的能力。不要讓它連接到互聯網或其他任何設備上，本質上就是把它與世界隔絕。但這也限制了人工智能的用途。在另一個例子中，我們從一開始就關注編程的道德原則，灌輸一種只希望人類變得更好的愿望。但是，正如我們在上面看到的阿西莫夫的三定律，機器中的倫理是不穩定的，充滿了漏洞。
可計算性理論告訴我們，我們不知道如何或是否能夠構建一個程序來消除與足夠先進的人工智能相關的風險。正如一些人工智能理論家和科學家所相信的那樣，沒有任何先進的人工智能系統可以保證絕對安全。
這種不確定性在人工智能領域被稱為控制問題。我們是否過于匆忙地去做一些我們不理解其含義的事情？然而，我們似乎已經沒有辦法阻止機器的發展。
不管有沒有我們的支持，人工智能已經進入了我們的生活，這種模式在未來還會繼續。不管有沒有我們的理解，人工智能都會繼續進化，至于進化到什么程度，我們無法確定。我們不會知道我們創造了什么，直到它已經浮現在我們面前。
