圖靈71年前就已提出神經網絡！《智能機器》再掀熱議
早在 1948 年，圖靈就寫了一篇題為《智能機器》的論文，描繪了現在成為人工智能核心的許多概念，包括遺傳算法、神經網絡、強化學習等。在沒有電子計算機的年代，圖靈用紙和鉛筆做出了這項開創性的研究，在今天引發熱議。
很少人知道，早在 1948 年，艾倫 · 圖靈就寫了一篇題為《智能機器》(Intelligent Machinery) 的論文，描繪了人工智能中聯結主義的大部分內容。
這篇論文是圖靈在倫敦國家物理實驗室工作時寫的，但沒有得到他的老板的認可。當時的實驗室主任查爾斯 · 達爾文爵士稱這是一篇 “學生論文”，并寫信給圖靈，抱怨論文“滿是臟痕” 外觀。
事實上，這篇具有遠見卓識的論文是關于人工智能的***個宣言，但遺憾的是圖靈從未發表它。
在這篇論文中，圖靈不僅闡述了聯結主義的基本原理，而且出色地引入了許多后來成為人工智能核心的概念，包括具有學習能力的遺傳算法和神經網絡（他稱之為 “ 無組織機器 ”）、甚至強化學習的思想。當然，這些概念是在其他人重新發明之后才成為核心的。
圖靈在論文摘要中寫道：
這篇文章討論了使機器顯示出智能行為的可能方法。指導原則是與人腦的類比。本文指出只有提供適當的教育，機器才能實現人的智慧潛能。研究主要圍繞一個應用于機器的類似教學過程展開。定義了無組織機器 (unorganized machine) 的概念，并提出嬰兒期的人腦皮層具有這種性質。本文給出了這類機器的簡單例子，并討論了它們的獎懲教育。在一種情況下，教育過程一直進行到它的組織性與 ACE 類似為止。
(注：ACE 是指 Automatic Computing Engine, 圖靈設計的一種早期的電子計算機。)
圖靈說：我提議研究這樣一個問題：機器是否有可能表現出智能行為。人們通常想當然地認為這是不可能的。常見的說法如像機器一樣做事”、“純粹的機械行為” 等揭示了這種常見的態度。
圖靈 1948 年論文引熱議：一個對深入了解大腦癡迷的家伙
這篇論文在 Reddit 上引發了熱烈討論。
有人評論：像這樣的論文今天幾乎會被所有 “***” 人工智能會議和期刊拒絕，但我不得不說，我很欣賞它的簡潔性和直接性（和誠實）。這在圖靈的那個時代是很受重視的。那時編輯想到的***件事不是：“這篇會得到多少引用？”
有人評論：從長遠來看，我認為跨學科是一種方法，但考慮到可用的計算和數據量以及仍未觸及的領域或問題，你可以通過試驗和使用蠻力獲得一些結果。對于有哲學背景的人來說，這是一篇非常好的讀物。
也有人 一語中的：這個家伙(圖靈)實際上是對深入了解大腦過程癡迷。
谷歌大腦研究科學家 Divid Ha 推薦了這篇論文：圖靈在 1948 年提出利用進化來 “訓練” 一種特殊類型的神經網絡，他稱之為 “B 型無組織機器”。他發展了二進制網絡來執行當時的各種任務。
圖靈是一個有遠見的人。他理解這種機制所需的復雜性。我們的 “深度網絡” 在信息處理的復雜性方面非常淺：它們甚至無法推斷任意長度的分支多米諾骨牌鏈的結果。
那么，圖靈這篇***性的論文講了什么？新智元帶來解讀：
圖靈提出“無組織機器”：類比嬰兒的大腦皮層
圖靈在這篇論文中提出了 “無組織機器”(unorganized machine) 的概念，他認為人類嬰兒的大腦皮層就是一種 “無組織機器”，可以通過適當的干擾訓練來有組織化。
圖靈將無組織機器定義為在初始時大部分結構隨機，但是能夠被訓練去執行特定的任務的機器。
實際上，圖靈的無組織機就是一種早期的隨機連接神經網絡模型，是對真實神經網絡系統最簡單的猜想之一。
圖靈定義了兩個類型的無組織機器。***種是 A 型機器 —— 這些機器本質上是由 NAND 邏輯門隨機連接的網絡。
第二種被稱為B 型機器，它采用 A 型機器的結構，并使用一個稱為 connection modifier 的結構來替換每個節點間的連接。connection modifier 的目的是讓 B 型機接受 “適當的干擾，模仿教育”，以便將網絡的行為有組織化，以執行有用的工作。
B 型無組織機可以說是一種神經網絡，由人工神經元組成，如下圖的圓圈所示；connection-modifiers 如下圖的方框所示。
B 型網絡中的兩個神經元
在 “遺傳算法” 這個術語被創造出來之前，圖靈甚至提出使用他稱為 “genetical search”的機制來配置他的無組織機。
圖靈認為，當網絡中的節點數量較大時，B 型機器的行為可能非常復雜，并指出 “從進化和遺傳學的角度來看，大腦皮層作為一個無組織機器的觀點是非常有道理的”。
圖靈的神經網絡是如何工作的
如上圖所示，每個神經元有兩個輸入，神經元的輸出是兩個輸入的簡單邏輯函數。網絡中的每個神經元都執行相同的邏輯操作，稱為 “Nand”。
Nand 的定義如下表所示:
中斷模式 (interrupt mode) 下 ,connection-modifier 的輸出總是 1。因此，如果神經元的一個輸入連接在中斷模式下通過 connection-modifier 傳遞，那么神經元的輸出與第二個輸入的任何內容完全相反 (或稱 “布爾否定”)。
例如，表格的前兩行顯示了當 INPUT-1 在中斷模式下連接到 modifier 時會發生什么。在這種情況下，神經元的輸出與 INPUT-2 相反。
圖靈選擇 nand 作為他的模型神經元的基本操作，因為其他邏輯 (或布爾) 操作都可以由一組 nand 神經元執行。圖靈表明，甚至連 connection-modifier 本身也可以由 nand-neuron 構成。因此，每個 B 型網絡都可以由 nand-neuron 及其連接組成。這是大腦皮層的最簡單模型。
下面是一個 B 型無組織機的例子，圖靈將這個例子描述為 “隨機選擇”
你能弄清楚這個網絡的行為嗎？
下面是一個更大的 B 型網絡的例子，其中神經元自由互聯：
大型初始隨機 B 型網絡的一部分
在沒有電子計算機的時代，用紙和鉛筆模擬大腦
大腦中一個神經元的大量輸出可以直接或通過一些中間的神經元鏈與神經元自身的輸入相連。
神經科學家長期以來強調大腦反饋的重要性和普遍性。例如，大腦利用反饋來幫助我們把注意力集中在某些感知上，而不是排斥其他感知。Stefan Treue 和 John Maunsel 最近發現，當一只猴子的注意力集中在電腦屏幕上幾個獨立移動的點中的一個點上時，反饋會從較高皮層的神經元返回到識別運動的下部皮質區域的神經元。
這種反饋作用是抑制神經元的活動，這些神經元對無參與點的運動作出反應。然而，盡管反饋在大腦中很重要，但在現代的連接主義網絡中很少使用。相反，B 型網絡中的神經元相互連接非常自由，像大腦一樣，一個大的網絡通常會充滿反饋。
圖靈希望研究更復雜的大腦皮層模型。他渴望做現代連接學家能夠做的事情：用一臺普通的數字計算機模擬神經網絡及其訓練方案。
他說，他將 “允許整個系統運行一段相當長的時間，然后作為一種’學校督察員’介入，看看能取得什么進展”。但他自己對神經網絡的研究是在***臺通用電子計算機投入使用前進行的，當時他只能用紙和鉛筆。
后來，他將注意力轉向現在所謂的人工生命的相關研究。直到 1954 年，也就是圖靈去世的那一年， B.G. Farley 和 W.A. Clark 才在 MIT 成功地運行了***個小型神經網絡的計算機模擬。
圖靈的原始論文：
https://weightagnostic.github.io/papers/turing1948.pdf
解讀：
