本文經AI新媒體量子位（公眾號ID:QbitAI）授權轉載，轉載請聯系出處。

千呼萬喚始出來，馬毅教授的AI綜述論文終于出爐！

耗時三個多月，聯合神經科學家曹穎、計算機大牛沈向洋，協作完成。

據本人描述，這篇論文是將他“過去五年的工作以及智能七十多年的發展有機結合起來”，并且還表示：

一生從未在一篇文章上花這么多精力和時間。

具體而言，就是“理出了智能的起源以及計算原理的基本輪廓和框架，能讓大家認識到這種理論聯系實踐的可能性。”

此前在社交網絡上預告時，許多網友都期待十足。

結果今天剛發不久，就有學者表示，正好要設計新的生成模型，給了我靈感。

來看看這是篇怎樣的論文？

兩大原則：簡約和自洽

過去十年中，人工智能的進展主要依賴于訓練同質化的黑箱模型，決策過程、特征表示等方面在很大程度上都是難以解釋的。

而這種端到端的粗暴訓練，不僅導致了模型大小、訓練數據以及計算成本不斷增長，而且在實踐中還伴隨著許多問題。

學到的表征缺乏豐富性；訓練中缺乏穩定性；缺乏適應性，容易出現災難性遺忘……

基于這樣的背景，研究人員假設，在實踐中出現這些問題的根本原因之一，是對智能系統的功能和組織原則缺乏系統和綜合的理解。

而這背后是否存在一個統一的方法來解釋。

為此這篇文章提出了兩個基本原則——簡約和自洽，分別回答兩個關于學習的基本問題。

1、學什么：從數據中學習的目標是什么，如何衡量？

2、如何學：我們如何通過高效和有效的計算來實現這樣一個目標？

他們認為這兩個原則制約著任何智能系統的功能和設計，而且完全可以以可測量和可計算的方式重新表述。

以簡約性為例。智能的基礎是環境中的低維結構，這讓預測和泛化變成可能，這也就是簡約原則。而應該如何來度量？本文提出了個幾何公式來衡量簡約性。

基于這兩個原則， 得出了感知/智能的通用架構：壓縮器和生成器之間的閉環轉錄。

它暗示了兩者之間的交互應該是一種追逃游戲。在這個游戲中，他們扮演聯合目標函數的對立面，而非自動編碼器。

這也是此框架的主要優勢之一，通過自我監督和自我批判進行自我學習，這是最自然和有效的。

從根本上說，這個框架可以擴展到完全無監督的環境中， 這時候只需將每個新樣本和它的增量做看作新的累。

自監督類型+自我批評的游戲機制，這樣一個閉環轉錄就會很容易學會。

值得一提的是，這種學習特征的結構，類似于在靈長類動物的大腦中觀察到的類別選擇區域的結構。

作者之一曹穎表示，這個框架與此前諸多想法類似，包括預測編碼、對比學習、生成模型、Transformer……

除此之外，他們還給出了些新方向，比如CV與圖形學之間的閉環關系。

最后整合在一起，一個自主的智能體，學習某種任務的最佳策略，是將感知（反饋）、學習、優化和行動整合到一個閉環中。

它統一并解釋了現代深度網絡和許多人工智能實踐的演變。雖然整個文章主要以視覺數據的建模為例。

但研究人員相信這兩個原則，將統一對廣泛自主智能系統的理解，并為理解大腦提供一個框架。

最后，他們還以熱力學之父的話作為結尾。

大致意思是只有當你能測量，并用數字來表示你所講的東西時，你就對它有了解；如若不然，它可能是知識的開始，但在你的思想中，你幾乎沒有推進到科學的階段。

One More Thing

有意思的是，就在提交arXiv之際，馬毅教授還在網絡上求助：

有人就不能寫一個接口嗎？一鍵提交論文的那種。而不是花費大量時間在修改論文。

網友們也紛紛支招：使用LaTeX 編譯器，而不是PdfLaTeX。

還有人直接上圖。

好了，感興趣的旁友可戳下方鏈接了解更多～

論文鏈接：

https://arxiv.org/abs/2207.04630