編輯 | 伊風
“現存的機器顯然并不比人類更強大，馬也比我們強壯得多，速度也比我們快。但沒有人感受到馬的威脅。但AI并不是這樣。”
“我們現在還缺乏對具有人類水平智能的AI系統的藍圖規劃”。
“我們要阻止科學向一個方向或另一個方向發展是不可行的”。
“未來的AI系統必須是目標驅動且可控的。”
這些強烈的觀點，是圖靈獎獲得者楊立昆與其他三位AI界大佬，在瑞士達沃斯舉行的世界經濟論壇上的圓桌內容，圍繞著“我們應不應該恐懼AGI”"我們能不能控制AGI"，他們展開了非常激烈、極具思辨性的探討和辯論。
在這場頭腦風暴中，大家更深一步地探討了，人工智能生成的潛在極限是什么，我們離人工智能的其他變革性進步還有多遠，以及當我們說 "人工智能生成 "時，我們到底是什么意思。
在開場時，主持人要求嘉賓們按照對AGI問題的擔憂程度就坐，認為問題越嚴重就越靠右側坐。
圖片
從左到右的AI專家依次是：
- Daniela Rus - 麻省理工學院計算機科學與人工智能實驗室（CSAIL）的主任，專注于機器人學和人工智能。
- Yann LeCun（楊立昆） - 紐約大學教授，Meta的首席AI科學家，以其在深度學習和卷積神經網絡方面的貢獻而聞名。
- Stuart Russell - 加州大學伯克利分校的計算機科學教授，主要研究人工智能的安全和監管問題。
- Connor Leahy - AI研究員，以其在EleutherAI組織中的工作著稱，主要關注先進的AI系統。
以下是經過整理的圓桌內容：
主持人：好的，現在把時間交給我們的圓桌嘉賓。當然，人工智能目前面臨著許多挑戰，我們需要應對和解決。由于大選、詐騙和各種其他原因，今年的deepfake問題非常突出。如果你想了解更多，我們有一個deepfake演示工具，你可以自己進行deepfake，并分享你的想法。但這不是我們現在要談論的，因為我們要展望更長遠的未來。
從一開始，人工智能的最終目標就一直是真正解決智能問題，并了解如何制造出與人類所能做到的所有事情能力相當的機器。這既令人興奮又令人恐懼。
我們在這里的主要目標并不是辯論我們是否應該擔憂AI的未來，而是本著麻省理工學院的精神就可能的解決方案進行一次頭腦風暴，可以嗎？
我有一個非常激進和異端的信念，即你實際上同意的東西比普通Twitter用戶可能意識到的要多得多。我們將通過提問探索下，看看我們是否能找到一些你們都同意的事情，現在我們將開始這個環節。所以我會用一些快問快答讓你們熱身，基本上只能回答是或否。
第一個問題，你是否對改進人工智能以使其成為我們的工具并真正補充和幫助人類感到興奮，Yes or no?
Daniela：yes.
Yann：yes.
Stuart：yes.
Connor：yes.
主持人：下一個問題，你相信未來幾年人工智能會比現在好得多嗎？
Daniela：yes.
Yann：yes.
Stuart：yes.
Connor：yes.
主持人：現在，讓我們更難一點。所以，如果我們將通用人工智能定義為，可以在人類水準或更好地完成所有認知任務的人工智能，你覺得我們現在已經擁有它了嗎？
Yann：絕對沒有
Connor：沒有
Daniela&Stuart：不，不。
主持人：好的，4個no。你認為我們可能會在接下來的一千年內擁有它嗎？
Daniela：也許？
Yann：當然。
Connor：yes.
Stuart：yes.
主持人：你認為你可能會在下一百年內擁有它嗎？
Daniela：可能。
Yann：也許很可能。
Stuart：很可能，除非發生了核災難。
Connor：是的。
主持人：好的，如果你去確定一個數字，比如多少年，我們就能等到有50% 的機會以某種方式實現AGI，你估計是哪一年？
Daniela：不會很快。
Yann：幾十年。
Stuart：比我以前想象的要少得多。
Connor：5.4.
主持人 ：5.4年，好的，你說的很精確。所以我認為，你們都會同意我們安排嘉賓坐在了正確的位置上，你應該看到他們的警報級別與他們認為我們將（實現AGI并且）不得不處理安全問題的速度相關。
所以很明顯，如果你有一些世界上領先的世界專家認為它可能會相對較快發生，我們必須認真對待這種可能性。問題是，我們如何確保AI成為我們可以控制的工具，以便我們可以獲得所有的正面影響，而不是風險？
在達沃斯真正打動我的一件事是，我聽到的絕大多數人對AI、所有大多數醫學突破、消除貧困、改善全球氣候、創造偉大的新商業機會感到興奮，但這些都不需要AGI。
所以我實際上很好奇，是否有辦法讓我們解讀這個悖論。我們說，能做所有事情的偉大的人工智能，也許最早要到2040年才能做成。這是你們覺得可以接受的事情，還是你們覺得迫切需要盡可能快地使某些東西變得超級智能？這次你朝哪個方向走？你會說什么？
Connor：我可以接受。
主持人：你可以接受這一點。你呢Stuart，我們可以再詳細闡述一下。
Stuart ：我也可以接受，但實際上我接不接受并不影響這件事。我認為真正具有影響的是推動AGI的經濟力量是什么，如果AGI價值15萬億美元——正如我估計的那樣，有點難說，人們知道你阻止不了這件事的發生。
Yann：首先，沒有所謂的AGI。我們可以談論人類水準的人工智能，但人類的愛（感知）、人類的智能是非常精確的（并不通用），所以我們根本不應該談論AGI。我們應該討論一下，我們可以觀察到的目前人工智能系統尚不具備的人類和動物所擁有的智能類型。
而且，你知道，目前的人工智能系統還不具備，比如像你的貓或者你的狗那樣的能力。因此，我們要解決的問題是如何讓機器像人類和動物一樣高效地學習，這在很多應用中都很有用。
這是未來，因為我們將擁有AI助手，你知道，我們和AI將在日常生活中交談來獲得幫助。
我們需要這個系統具有人類水平的智能。所以你知道，這就是為什么我們需要它，我們需要把它做好。
主持人：Daniela？
Daniela：我同意簡的看法，但讓我首先說，我認為要說我們要阻止科學向一個方向或另一個方向發展是不可行的。所以我認為新的知識必須繼續被探索出來。我們需要繼續突破知識的邊界。這是目前在這個領域工作最令人興奮的方面之一。
我們確實希望改進我們的工具，我們確實希望開發出比我們現在擁有的模型更接近自然的更好的模型。我們希望盡可能詳細地了解自然。我相信可行的前進之路是從自然界中更簡單的生物開始，逐步發展到更復雜的生物，比如人類。
Stuart：所以我想對一些事情提出異議。那就是，知道和行動之間有一個重要的區別。對于人類來說，實際上，了解和懂得一件事情，并不都是好事情，這是有局限性的。如果地球上每個人都知道如何在他們的廚房里創造一種能夠消滅人類的有機體，是一個好主意嗎？這不是。所以我們接受它是有限制的，我們應該知道懂得什么是一件好事。并且我們應該考慮我們在將知識付諸實踐上同樣存在邊界。
我們應該制造大到足以點燃整個地球大氣層的核武器嗎？我們可以做到。但大多數人會說，不，制造這樣的武器不是個好主意。好的，所以我們應該如何運用我們的知識是有限制的。
然后第三點是，構建比我們不知道如何控制的人類更強大的系統（AI）是一個好主意嗎？
Daniela：好的，我必須回答你。我會說，每一項發明的技術都有積極和消極的一面。我們發明知識，然后找到確保發明被用于好而非壞的方法。并且有這樣的控制機制，世界正在為人工智能開發機制。
關于你的觀點，即我們是否擁有比人類更強大的機器。我們已經在做了。我們已經有了可以比你更能精確移動的機器人。我們有機器人能舉起比你能舉的更重的東西。我們擁有的機器學習算法可以處理比我們更多的數據，因此我們已經擁有可以做比我們更多事情的機器。
Stuart：但這些機器顯然并不比人類更強大，就像大猩猩并不比人類更強大一樣，即使它們比我們強壯得多。馬也比我們強壯得多，速度也比我們快。但沒有人感受到馬的威脅。
Yann：我認為所有這一切都有一個很大的謬論。首先，我們沒有一個具有人類智能水平的系統的藍圖。它不存在，相關研究也不存在，需要做科學研究。這就是它即將要做的事情，需要很長時間。
因此，如果我們今天談論如何防止AI系統接管世界，談論它的危險——不管它們是什么，這就好像我們在1925年談論以接近音速穿越大西洋的危險一樣，當時渦輪噴氣發動機還沒有發明。你知道，我們不知道如何使這些系統安全，因為我們還沒有發明它們。現在，一旦我們有了一個智能系統的藍圖，我們可能也會有一個可以控制的系統的藍圖，因為我不相信我們可以建造沒有內部控制機制的智能系統。我們像人類進化一樣，用特定的驅動力構建了我們。我們可以用相同的驅動器制造機器。所以這是第一個謬論。
第二個謬論是，并不是因為一個實體有智慧，它就想要主宰地位，或者它必然是危險的。它可以解決問題。你可以告訴它，你可以為它設定目標，它就會實現這些目標。系統會以某種方式想出自己的目標并試圖接管人類的想法是荒謬的。
Connor：對我來說令人擔憂的是，AI的危險不是來自任何不良的特質、或者有一種可以從AI中移除的邪惡。而是，因為它有能力、因為它強大——這就是它危險的原因。一項技術之所以有用，也就是它之所以危險。核反應堆有用的原因是因為核彈很危險。
幾十年和幾個世紀以來，隨著技術的進步，這是同樣的邏輯，我們已經獲得了越來越多的強大技術，更多的能源，對我們環境的更多控制。這意味著，最好和最壞的事情可能是有意發生的，也可能是意外地與我們構建的技術同步發展。
AI是一種特別強大的技術，但它并不是唯一一個可以變得如此強大以至于即使是一次事故也是不可接受的技術。有些技術今天已經存在或將在未來某個時候存在。讓我們不要現在爭論是十年還是兩次。我的孩子們將在50年后仍然活著，我希望他們在我們之后繼續生活下去。一次事故可能就是終點。
如果你擁有一項技術，無論是AGI、未來核武器、生物武器還是其他東西，你都可以制造出強大的武器或系統，以至于一次事故就意味著游戲結束。我們的文明并沒有建立在我們目前開發技術的方式上，以便能夠處理那些不會讓你重試的技術。這就是問題所在。如果我們再試一次，如果我們可以一次又一次地嘗試，我們失敗了，有些東西爆炸了，你知道，也許會有幾個人死亡，但沒關系。是的，那么我同意簡和丹妮拉的觀點，我認為我們的科學家得到了這個。我認為你的實驗室會解決這個問題。我認為這些人會解決它。但如果一個事故造成的危害太多了，我認為這個問題會無法解決。
Yann：但是到了那個點，到了Stuart和Connor剛剛提到的點，你可以想象無限種情況，當所有這些事情都變壞了。你可以用任何技術做到這一點。你可以用AI做到這一點，顯然科幻小說中充滿了此類的情節。
你可以用渦輪噴氣發動機做到這一點，渦輪噴氣發動機可能會爆炸，有很多很多方法來構建這些系統，這些方法將是危險的，錯誤的，會造成人類死亡等等。
但只要至少有一種方法可以讓我們控制它，那就是我們需要的技術。例如，過去在原型水平上開發的很多技術，我們都決定不應該真正，因為它太危險或者不可控，例如核動力汽車，人們在50年代就談論過這個問題，它從未部署過。因此，如果技術真的很危險，社會上有機制可以阻止技術的部署，所以有辦法使AI安全。
Daniela：我實際上同意理解當今技術的局限性并理解并著手開發解決方案非常重要，在某些情況下，我們可以得到開發的技術解決方案。
例如，我們一直在談論機器學習中的偏見問題。我們實際上有技術解決方案，解決這個問題的技術解決方案，我們在談論模型的大小，我們在談論可解釋性，科學界正在努力應對當今解決方案的挑戰，同時也在尋求發明新的AI方法，具有其他類型屬性的機器學習的新方法。
事實上，在麻省理工學院，許多研究小組的真正目標是突破界限，開發可部署在安全關鍵系統和邊緣設備上的解決方案。這非常重要，而且有非常出色的進展，所以我非常看好在安全關鍵應用中使用機器學習和人工智能。所以我同意斯圖爾特所說的一件事，但也同意年輕人分享的許多觀察。
主持人：你們中的幾個人獨立地說我們需要新的架構，新的技術解決方案。所以總結一下，如果你們中的一些人想要簡單地分享一些看法嗎？我們需要什么樣的新架構，才能更有前途，使其成為能力補充而不是取代我們的AI？
Yann：當然，是的。我真的不能給你一個有效的例子，因為這是進展中的工作，但這些是驅動實現的目標。在推理時，他們必須滿足實現我們給他們的目標，同時也要滿足一堆保護原則。所以他們應該計劃他們的答案，而不是僅僅一個字接一個地產生自回歸（楊立昆并不看好LLM可以產生AGI）。它們不能被越獄，除非你入侵它們。
因此，我認為這將是一種比我們正在談論的當前類型要安全得多的架構。這些系統將能夠計劃和推理，記住，也許是理解物理世界，做出目前做不到的各種事情。因此，未來的AI系統不會在我們目前擁有的藍圖上，并且它們將是可控的，因為它將是目標驅動的。
Daniela：液體網絡是解釋大腦運行的靈感，大腦是小的生物，它們是可證明的因果關系。它們緊湊，可解釋，并且可以部署在邊緣設備上。既然我們有這些偉大的特性，我們也有控制權。
我也很興奮能夠將我們正在開發的一些機器學習工具與控制理論工具聯系起來。例如，將機器學習與屏障網絡和控制屏障功能等工具相結合，以確保我們的機器學習系統的輸出是安全的。
Connor：我認為最重要的實際技術是社會層面的技術。對于技術人員、技術書呆子來說，就像我們在這個小組中的所有人一樣，試圖想出不涉及人類的解決方案是非常誘人的。但事實是世界很復雜。這既是一個政治問題，也是一個技術問題。如果我們忽視這個問題的技術和社會方面，我們將注定會失敗。因此，理解技術樂觀主義并不能取代人文主義是非常重要的。
主持人：太棒了，讓我們感謝你們精彩的小組激發了我們。我希望你也能從中得出結論，盡管他們并非在所有問題上都達成一致，但他們都同意我們想制作可以控制并補充我們的工具，而且他們都非常技術宅，擁有令人興奮的技術想法。感謝大家的參與！
