一個算法統治一切！DeepMind提出神經算法推理，深度學習和傳統算法融合再現奇跡？
雄心勃勃的 DeepMind，要在深度學習網絡和傳統算法之間架橋了！
眾所周知，經典算法是使軟件能夠風行世界的原因，但這些算法所使用的數據并不總是能反映真實世界。
而深度學習是當今 AI 應用的源動力，但深度學習模型需要重新訓練，才能應用于最初設計的領域。
現在，DeepMind 想開創一條新路，他們要找到一種深度學習模型，模仿任何經典算法，并在現實世界實現功能。
只用一個算法，統治一切！
近年來，DeepMind 因 AI 領域的一些標志性成就而屢上頭條。AlphaGo 打破人類選手對圍棋的統治，AlphaFold 解決了生物學領域 50 年來的大難題。
現在，DeepMind 將目光投向另一個重大挑戰：將深度學習與計算機科學經典算法聯系起來。
經典算法和深度學習網絡的本質不同
要實現這個目標，首先要理解二者的主要區別。即：經典算法和深度學習網絡的性質有什么不同？
DeepMind 的兩位研究人員 Charles Blundell 和 Petar Veličković專門談了這個問題。他們都在 DeepMind 擔任高級研究職位。
他們認為，二者之間的主要區別在于「泛化性」和「最優解」問題。
Blundell 表示，第一，算法在大多數情況下不會改變。算法由一組固定的規則組成，這些規則在某些輸入上執行。對于算法獲得的任何類型的輸入，算法都會在合理的時間內給出合理的輸出。更改輸入的大小，算法會繼續工作。
第二，算法可以串連在一起。算法的性質決定了：給定某種輸入，只產生某種輸出。我們可以把一個算法輸出作為其他算法的輸入，構建一個完整的堆棧。
即使是簡單任務，要用深度學習來完成算法的工作也很困難。比如一個最簡單的任務：復制文本。輸出為輸入的本文復制。
這么簡單的任務，要深度學習完成就很麻煩。如果只在1-10 個字符長度上進行訓練，那么當任務字符長度超出時，輸出就會出問題，因為它學不會算法中的核心思想。
如果任務再復雜一點，比如涉及排序，訓練神經網絡的性能會更差。而這對于傳統意義上的算法來說根本不是問題。
總結一下就是：
深度學習網絡的泛化性能很差，但在充分訓練的特定問題上，往往比算法產生更優化的結果。
傳統算法是可泛化的。改變輸入數據的大小和類型，原來可用的算法程序依然可用。但算法有時產生的結果可能不是最優的。
怎么同時解決這兩個問題，同時獲得算法和深度學習的優勢？
神經算法推理：一個算法，統治一切！
Blundell 和 Veličković提出了一個方向：神經算法推理（NAR）。
NAR 關鍵點是，通過用深度學習方法更好地模仿算法，讓深度學習實現算法的高度可泛化性，同時保留對問題的最優解。
DeepMind 已經選擇和谷歌地圖 APP 進行合作，將圖網絡作為 NAR 的試驗場。他們利用谷歌地圖的圖網絡數據，對用戶旅行時的到達時間進行預測。相關論文已經發表。
2020 年，谷歌地圖是美國下載量最大的地圖和導航應用，每天有數百萬人在使用。谷歌地圖重要的尋路（Pathfinding） 功能，其背后的技術支持正是 DeepMind 提供的。
為何選擇圖網絡模型來做這件事呢？
Veličković表示，因為實際上任何對象都可以適用圖表示的框架。
「比如圖像，可以看作是由附近的像素組成的圖。文本可以看作彼此相連的一系列目標。更廣泛地說，自然界中沒有被人為設計編排進某個框架或序列的東西，都非常自然地表現為圖結構。」
為什么要使用專門應用于深度學習算法的泛化框架，而不僅僅是直接使用機器學習算法？
因為他們希望設計能在真正在復雜現實世界中順利運行的解決方案。大規模處理大量自然數據的最佳解決方案就是深度神經網絡。
Blundell 對 NAR 研究的未來潛力表示樂觀。
「在面向對象的編程中，在對象類之間發送消息，你會發現它完全相似，你可以構建非常復雜的交互圖，然后將其映射到圖神經網絡中。從這種復雜的內部結構中獲得的豐富性，可以學習使用更傳統的機器學習方法不一定能獲得的算法。」Blundell 說。
https://venturebeat.com/2021/10/12/deepmind-is-developing-one-algorithm-to-rule-them-all/
https://venturebeat.com/2021/09/10/deepmind-aims-to-marry-deep-learning-and-classic-algorithms/
https://arxiv.org/abs/2108.11482
