近來，AI安全已成為高度命中的話題。

AI「教父」Geoffrey Hinton和吳恩達就人工智能和災難性風險進行了一次深度的隔空對話。

吳恩達今日發文分享了他們的共同想法：

- 人工智能科學家對風險達成共識很重要。類似于氣候科學家，他們對氣候變化有大致的共識，所以能制定良好的政策。 

- 人工智能模型是否了解這個世界？我們的答案是肯定的。如果我們列出這些關鍵技術問題，并形成共同觀點，將有助于推動人類在風險方面達成共識。

Hinton表示，

我以前經常和吳恩達進行交談，很高興再次見面，并了解到他對人工智能最近發展所帶來的各種風險的看法。我們在很多事情上達成了共識，特別是，研究人員需要對風險達成共識，以告知政策制定者。

在此之前，吳恩達同樣和Yoshua Bengio進行了人工智能風險的對話。

他們得出的一致意見是，闡明AI可能帶來重大風險的具體場景。

接下來，一起來看看兩位AI大佬都具體討論了什么。

急需共識！

首先，Hinton提出，最重要的是——共識。

他表示，現在整個AI社群缺乏一種統一的共識。就像氣候科學家達成的共識一樣，AI科學家同樣需要。

在Hinton看來，之所以我們需要一個共識，是因為如果沒有的話，每個AI科學家各執一詞，那么政府和政策制定者就可以隨心從其中選擇一個符合自身利益的觀點作為指導。

這顯然會失去公允性。

而從目前的情況來看，AI科學家之間的不同觀點差異化很大。

Hinton認為，如果我們各執一詞的局面能快點過去，大家都能達成一致，共同接受AI可能帶來的某些主要威脅，認識到規范AI發展的緊迫性，就好了。

吳恩達贊成Hinton的觀點。

雖說他現在還不覺得AI界差異化大到分裂，但好像在慢慢往那個方向演變。

主流AI界的觀點非常兩極分化，各陣營之間都在不遺余力地表達訴求。不過在吳恩達看來，這種表達更像一種爭吵，而不是和諧的對話。

當然，吳恩達對AI社群還是有些信心的，他希望我們能共同找到一些共識，妥善進行對話，這樣才能更好地幫助政策制定者制定相關計劃。

接下來，Hinton聊到了另一個關鍵問題，也是他認為目前AI科學家們難以達成某個共識的原因——像GPT-4和Bard這種聊天機器人，究竟理不理解他們自己生成的話？

有些人認為AI懂，有些人認為它們不懂，只是隨機鸚鵡罷了。

Hinton認為，只要這種差異還存在，那么AI界就很難達成一個共識。因此，他認為當務之急就是厘清這個問題。

當然，就他自己來講肯定是認為AI懂的，AI也并不只是統計數據。

他也提到了諸如Yan LeCun等知名科學家認為AI并不能理解。

這更加凸顯了在這個問題上調和清楚地重要性。

吳恩達表示，判斷AI究竟是否能理解并不簡單，因為好像并不存在一個標準，或者某種測試。

他自己的觀點是，他認為無論是LLM也好，其它AI大模型也罷，都是在構建一種世界模型。而AI在這個過程中可能會有些理解。

當然，他說這只是他目前的觀點。

除此以外，他同意Hinton的說法，研究人員必須先就這個問題達成一致，才能繼續聊后面的風險、危機那堆東西。

Hinton接著表示，AI根據數據庫，通過前面的單詞判斷、預測下一個單詞的生成，這件事在Hinton眼中就是理解的一種。

他認為這和我們人腦思考的機制其實差不了多少。

當然，究竟算不算理解還需要進一步的討論，但最起碼不是隨機鸚鵡那么簡單。

吳恩達認為，有一些問題會讓持不同觀點的人得出不同的結論，甚至推出AI將會滅絕人類。

他表示，想要更好地理解AI，我們需要更多去了解，更多去討論。

這樣才能建設一個包含著廣泛共識的AI社群。

LeCun雙手贊成，再提「世界模型」

前段時間，在全世界呼吁暫停超強AI研發期間，吳恩達與LeCun開直播就此話題展開了討論。

他們同時反對暫停AI是完全錯誤的，汽車剛發明時沒有安全帶和交通信號燈，人工智能與先前的技術進步之間沒有本質上的差異。

這次，LeCun就吳恩達和Hinton對話，再次提出了自己的「世界模型」，以及當前人工智能連阿貓阿狗都不如。

我們都同意，我們需要在一些問題上達成共識。

我同意Geoffrey Hinton說的，即LLM有「某種程度」的理解力，還有稱它們「只是統計數據」是一種誤導。

LLM對世界的理解是非常膚淺的，很大程度上，是因為它們純粹是在文本上訓練的。

從視覺中學習世界如何運作的系統，將對現實有更深刻的理解。其次，自回歸LLM的推理和規劃能力非常有限。

我認為，如果沒有（1）從視頻等感官輸入中學習「世界模型」，（2）一個能夠推理和規劃的架構（不僅僅是自回歸），我們不可能接近人類水平的人工智能（甚至是貓級人工智能）。

現在，如果我們有能夠規劃的架構，它們將是「目標驅動的」：它們的規劃將通過在推理時（不僅僅是訓練時）優化一組目標來工作。

這些目標可以包括使這些系統安全和順從的「護欄」，即使它們最終擁有比人類更好的世界模型。

然后，問題變成了設計（或訓練）好的目標函數，以保證安全和效率。這是一個困難的工程問題，但并不像有些人說的那樣難。

LeCun的觀點立馬遭到了網友的反駁：感官對人工智能理解的重要性被高估了。

無論如何，我們所有的感官都簡化為電化學信號，供大腦處理。

文本攝取是一種元感覺，可以描述來自觸覺、視覺、嗅覺的信息…… 攝取大量元感官文本，已經讓像必應（Sydney版）這樣的LLM有能力，以一種優于多數人的方式表達生活和世界。 

因此，我認為一種重要的理解能力已經存在，盡管時隱時現。而且更多地是由于資源限制，以及處理人員有意設置的沙盒，而不是缺乏感官數據。

我認為是時候團結起來，為社會和人工智能的進步而努力了。想想吧，你還是baby人工智能。我們難道不想教那個孩子如何成為技術有機的統一者，而不是世界上的野獸主義者？

當他變得有知覺時，他們不僅會更快樂，而且世界也不會陷入戰爭?？纯刺┒骱优系募~卡斯爾。如此短暫的和平時期，但創造的美麗是偉大的。

而吳恩達和Hinton所說的共識，目前來看似乎不太可能。不是你我個人能力所及，需要所有人有這樣的意愿。

還有網友稱，這是相當有爭議的談話。

我確實想知道，當我教2歲的孩子說話時，他的行為更像隨機鸚鵡，還是真的理解上下文？或者兩者兼而有之？

因為他的上下文向量比LLM豐富得多（文本、語氣、面部表情、環境等）。但是我確實想知道，如果一個人關閉了另一個人的所有感官，唯一可用的輸入是一些「文本嵌入」（文本輸入->神經刺激），那個人會表現得更像隨機鸚鵡，還是能理解上下文？

Hinton：超級AI比預期來得快

離職谷歌后的Hinton，已經全身心投入AI安全。6月10日，Hinton在智源大會上再次談及AI風險。

如果一個大型神經網絡能夠模仿人類語言獲取知識，甚至可以自取自用，會發生什么？

毋庸置疑，因為能夠獲取更多的數據，這個AI系統肯定要超越人類。

最壞的情況便是，不法分子會利用超級智能操縱選民，贏得戰爭。

另外，如果允許超級AI自己制定子目標，一個子目標是獲得更多權力，這個超級AI就會為了達成目標，操縱使用它的人類。

值得一提的是，這樣超級AI的實現，便可通過「凡人計算」（mortal computation）。

2022年12月，Hinton曾發表的一篇論文The Forward-Forward Algorithm: Some Preliminary Investigations在最后一節提到了「凡人計算」。

論文地址：https://arxiv.org/pdf/2212.13345.pdf

如果你希望萬億參數神經網絡只消耗幾瓦特的電，「凡人計算」可能是唯一的選擇。

他表示，如果我們真的放棄軟件和硬件的分離，我們就會得到「凡人計算」。由此，我們可以使用非常低功耗的模擬計算，而這正是大腦正在做的事情。

「凡人計算」能夠實現將人工智能與硬件緊密結合的新型計算機。

這意味著，未來將GPT-3放入烤面包機中，只需1美元，耗電只需幾瓦。

因此，凡人計算的主要問題是，學習過程必須利用它所運行的硬件的特定模擬屬性，而無需確切知道這些屬性是什么。

比如，不知道將神經元的輸入與神經元的輸出相關聯的確切函數，并且可能不知道連接性。

這也就是說，我們不能使用反向傳播算法之類的東西來獲得梯度。

所以問題是，如果我們不能使用反向傳播，我們還能做什么，因為我們現在都高度依賴反向傳播。

就此，Hinton提出了一種解決辦法：前向算法。

而前向算法是一種有前途的候選算法，盡管它在大型神經網絡中的擴展能力還有待觀察。

在Hinton看來，人工神經網絡很快要比真實神經網絡更智能，而超級智能將會比預期快得多。

由此，現在世界需要達成一個共識，AI未來還應該由人類攜手創造。