看到標題，很多專家可能馬上想來爭辯，別急，本文我們一步步推演。

首先訂正一個詞：AGI, 國外稱Artificial General Intelligence， 國內譯作通用人工智能General Artificial Intelligence, 看似很小的一個順序差異，實則謬以千里，大家多讀英文幾遍仔細體會。

生命是什么

薛定諤在1944年出版的書《What is Life?》中闡述了他對生命的觀點，生命是由負熵喂養大的，后來更正為，自由能才是生命的源泉。薛定諤眼里的生命就是一團活生生的自由能，也是普里高津世界里，不斷獲取自由能的開放的耗散結構。

大腦如何工作

一. 貝葉斯大腦假說

大腦是一個貝葉斯推理機器。大腦不斷從世界接收感官信息，并使用這些信息來更新其對世界的內部模型，并對未來事件做預測。大腦的內部模型可以被視為關于世界的先驗信仰或假設，感官信息被用于更新這些信仰。

二. 大腦的自由能理論

基于貝葉斯概率理論和生物物理學原理，大腦的主要目標是預測和控制外界的信息，以最大限度地降低不確定性和內部熵。大腦通過不斷收集和處理外部信息來構建內部模型，以預測和控制外界。

三. 大腦的信息熵

信息熵用來衡量系統不確定性或隨機性，這里指大腦關于世界的內部模型的不確定性。大腦的目標是將其內部模型與感官輸入之間的預測誤差最小化，減少信息熵是減少預測誤差的一種方法。通過減少信息熵，大腦可以對世界做出更準確的預測，這等于是使系統的自由能最小化。

ChatGPT 機理

ChatGPT的訓練方法是基于Transformer模型，通過學習文本數據的模式來生成文本。Transformer模型的核心是注意力機制，可以在生成文本時，選擇性地關注輸入的一些部分，從而生成更加符合上下文的文本。

一. Embedding, 形成自己的語言系統

如果將英語看成是26個字母表征的，26個字母張成的空間中，每個單詞是一個點，每個句子是一條曲線，每篇文章是一個曲面。

借助Embedding ，GPT 將人類的語言 “編碼”成自己的語言，然后通過注意力Attention從中提取各種豐富的知識和結構，加權積累與關聯生成自己的語言，然后“編碼”回人類的語言。

本質上看，GPT 其實是構建了一個高維的語言體系，可以將自然語言，程序語言，視覺聽覺語言，映射（或者叫編碼）到這個高維的語言空間中。高維語言空間是概率分布張成的空間。

二. Transformer，提取海量人類知識與相應的知識結構

Transformer是足夠強大的特征提取器。僅從知識角度，GPT可以看作是一種以模型參數體現的隱式知識圖譜。知識存儲在Transformer的模型參數里：多頭注意力存儲信息的結構（相關強度，信息整合方式等）；類似Query/Key/Value結構的FFN存儲知識主體。

 GPT在自己構造的高維語言空間中，通過預訓練，記錄了人類海量的語言實例，從中提取了無數的結構與關聯信息。這個高維的語言空間，加上訓練提取的結構與關聯信息，可以理解構成了GPT的腦。

從GPT目前的表現看，他應該也已經從這些人類語言蘊含的知識中，學習到了歸納、演繹、對比、類比等基礎能力，而這些都是本質的原子思維能力，組合成為推理能力。諸如貝葉斯推理，最優輸運，估計都可能已經被提取出來，成為GPT的思維結構的一部分。

三. Pre-train, 海量學習最小化各領域信息熵

預訓練 pre-train 階段，優化目標是最小化交叉熵（cross entropy）, 對于GPT 自回歸語言模型而言，是看能否正確預測到下一個單詞。這里的交叉熵就是信息熵。

研究表明，增加訓練數據量，模型參數量，訓練時間都會降低測試集上的信息熵. OpenAI 采用的策略是同時增加訓練數據量和模型參數,  讀得多，記得多。優先增加模型參數，然后才是訓練數據量，記憶要好，再多學，再勤學， 與人類學習形式相通。

人們發現，增加多任務的任務數量，增加模型大小，提供思維鏈提示, 以及增加任務的多樣性，都可以提高GPT 泛化能力，包括理解能力，以及推理能力。這些措施都是豐富GPT在某一問題域的信息量，降低其信息熵， 盡力讓他見多識廣。

上下文學習，通過提供一些例子，具象的表達任務命令。命令是一種更符合人類習慣的抽象任務描述。兩者本質上是相通的，GPT從中都是學到了任務的信息熵結構。

上下文中，直接追加輔助推理的提示, 例如“因此”是典型的關系模式選擇健，GPT可以借助這些提示選擇不同的關系模式。例如“解題思路如下”這樣的提示，可以很好激發GPT推理能力，應該緣于訓練語料中此類說法很多，可以很好的降低信息熵。

四. 代碼訓練，獲取長程關聯與推理能力

目前研究已經證明GPT對知識有強大的記憶能力。而增強GPT推理能力的方法：a) 提供提示語或提示樣本   b) 預訓練中引入代碼樣本。ChatGPT強大的推理能力，被認為大概率來自代碼參與GPT3.5的預訓練。

代碼使用計算機語言，是設計完善的特殊語種，結構性強，長程關聯，關系明確。可以用微語言結構的概率分布為基底，張成語言空間，程序就是該語言結構空間的點線面體。GPT 可以用自己構建的高維語言空間簡單方便的學習代碼。

代碼其實也可以看成特殊的思維鏈，訓練可以降低信息熵，讓信息更可預測。大量這種語言結構示例參與預訓練的話，GPT被注入足夠的信息量，形成各種復雜關聯的模式, 涵蓋代碼中的知識和知識結構。高質量的代碼，可以顯著的降低GPT 獲取的信息熵，這也是為什么GPT在代碼上比自然語言更讓人驚艷。

五. Emergent Ability, 涌現能力，相變完成量變到質變 

GPT表現，取決于任務類型。a) 知識密集型任務，體現Scaling law, 也就是學的越多，做的越好；b) 推理密集型任務，體現“智慧”，學到一定程度，能力突然爆發。這個好比物理現象，雖然一直維持零度，冰卻需要不斷吸收熱量，最終相變成了水。

信息熵的背景下同樣可以出現相變現象。信息熵是衡量系統不確定性或隨機性的度量，熵的相變可以被視為系統基礎模式或組織的變化。復雜網絡系統和量子系統中都可以觀察到熵的相變。

在大語言模型領域，模型規模跨越某個閾值，處理任務能力突然性增長，被稱為涌現能力（Emergent Ability）。只要針對某個特定問題或任務的相關領域，模型“足夠”大，注入足夠的信息量，相變就可能發生，即開始涌現。

GPT 構建了海量自然語言和代碼的概率分布空間，被注入足夠的信息量（等于注入大量負的信息熵），形成各種復雜關聯的模式，涵蓋自然語言和代碼中各種知識與結構。這些知識和結構，體現為概率分布的距離與關系，從而為對比、類比、歸納、演繹等推理步驟提供支撐，也就是“涌現出”這些推理能力。

大膽猜測，GPT甚至可能學習到了在空間里面的貝葉斯概率圖和推理，概率分布的比較和遷移基于Wasserstein 距離和最優輸運Optimal Transport.（筆者在設法從用戶的角度進行檢驗）。提供足夠語料，可以降低概率空間的信息熵到一定閾值，從而對某類任務達成相變。

后ChatGPT 時代

今天來自斯坦福大學的最新研究結論，“原本認為是人類獨有的心智理論（Theory of Mind，ToM），已經出現在ChatGPT背后的AI模型上。” 所謂心智理論，就是理解他人或自己心理狀態的能力，包括同理心、情緒、意圖等。這項研究發現：davinci-002版本的GPT3（ChatGPT由它優化而來），已經可以解決70%的心智理論任務，相當于7歲兒童；至于GPT3.5（davinci-003），也就是ChatGPT的同源模型，更是解決了93%的任務，心智相當于9歲兒童！

ChatGPT 給GPT 注入幾萬人工標注，有監督學習，雖然不足以修正GPT千億參數，但是為GPT注入人類偏好，讓他聽的懂人話、也比較禮貌。這等同于對這個7-9歲兒童的社會教育與激發。

這一天還是到來了，ChatGPT, 人類創造的第一個真正意義上的AGI , 人工通用智能. 后ChatGPT時代，人們應該如何學習與工作？聽聽ChatGPT的建議：

在 ChatGPT 時代，人們應該采取綜合的學習方法，包括接受傳統教育，并通過實際應用和獨立研究來加深對知識的理解。同時，人們應該不斷學習和提高自己的技能，以適應不斷變化的環境和技術。此外，利用ChatGPT 等人工智能技術增加學習效率和提高學習質量也是一種很好的途徑。

人們可以通過更好地利用 AI 和自動化技術來提高效率和創造力。同時，人們應該加強對人工智能、機器學習和相關領域的學習，以適應未來的工作需求。此外，人們還應該繼續關注人類獨特的技能，如創造力、社交能力、情感智慧等，以更好地與AI 合作。

本文轉載自 ??清熙??，作者： 王慶法,