【51CTO.com快譯】深度學習的挑戰

　　過去的幾年已經證明，作為深度學習模型的主要組成部分，人工神經網絡相對生物大腦來說缺乏效率、靈活性以及通用性。

　　本吉奧、辛頓和勒庫在論文中提到：雖然在各式任務中取得成功，但監督學習需要大量的數據標注，而僅基于獎勵的強化學習又需要大量交互。這正是當下的機器學習需要突破的地方。

　　具體來說，監督學習是機器學習中的一種訓練方式，通過讓機器學習大量帶有標簽的樣本數據，訓練出一個模型，并使該模型可以根據輸入得到相應輸出的過程。簡言之，在訓練集中找規律，再對測試樣本使用這種規律。由此可見，對于有大量標簽樣本的任務來說監督學習非常有用。

　　強化學習則是機器學習的另一種訓練方式，機器（agent）以“試錯”的方式進行學習，通過與環境進行交互獲得的獎勵指導行為，旨在使機器選擇的行為能獲得環境最大的獎勵。簡單如五子棋的棋盤，機器在棋盤上排列出五子連珠即可獲得獎勵，復雜如城市交通環境，自動駕駛汽車在其中要避免碰撞、遵守交規、到達目的地就能獲得獎勵。

　　上述可見，這兩種機器學習的方式需要投入大量勞力。對監督學習來說，標注數據集非常難得，尤其是在沒有開源數據集的專業領域，因為這往往意味著大量標注的人力成本和時間。對強化學習來說，需要大量的計算資源來進行不斷地訓練試錯，因此只有少數公司和科研機構可以采用這一訓練方式。

　　本吉奧、辛頓和勒庫也在文中提到，目前深度學習能解決的問題范圍依然比較局限。固然這些學習方式在某些特定任務中表現出色，但出了那個它們接受過訓練的狹窄領域后，這些系統往往是脆弱的。一般來說，一些細微的變化，諸如圖片像素的微調或環境規則的變更，都可能導致深度學習任務誤入歧途。

　　這種局限性很大程度上要歸因于“獨立同分布”（I.I.D）假設。從早期開始，機器學習領域的理論家們就專注于I.I.D假設——測試用例應該來自與訓練用例相同的分布。但遺憾的是，這種假設與現實世界并不相符。

　　現實世界的構成會因為不同的因素而不斷變化，其中許多因素如果沒有因果模型幾乎是不可能展現的。智能體必須不斷地觀察并從環境和其他智能體中學習，從而使自己的行為適應這種變化。事實上，即使是當今最好的人工智能系統，從實驗室遷移到生產環境時表現也往往會受影響。

　　當應用到諸如計算機視覺和自然語言處理等領域時，智能體必須處理高熵環境，I.I.D假設就變得更加脆弱。目前很多研究人員和公司試圖通過在更多數據上訓練神經網絡來克服深度學習的局限性，希望更大的數據集覆蓋更廣泛的分布，從而降低其在現實世界中的失敗幾率。

　　深度學習vs混合人工智能

　　人工智能科學家的最終目標是通用人工智能。但如今的深度學習系統對于分布變化適應的魯棒性較之人類還是相去甚遠。

　　本吉奧、辛頓和勒庫在他們的論文中提到，人類和動物主要通過觀察來學習大量關于這個世界的常識。這些常識可以作為基礎幫助人類學習復雜任務，因此人類往往只需要幾個范例，就能夠快速適應類似的變化。

　　他們認為，人類進行泛化的方式不同于普通的I.I.D：人類正確解釋現有概念的新組合。即使這些組合在我們的訓練分布中出現的概率極低，只要符合我們已經學到的高級句法和語義模式，我們就能正確理解。

　　科學家們為縮小人工智能和人類智能之間的差距提供了各種解決方案。在過去幾年中，一種被廣泛討論的方法是將神經網絡與經典符號系統相結合的混合人工智能。符號操縱是人類思考世界能力的重要組成部分，也是深度學習系統面臨的巨大挑戰之一。但本吉奧、辛頓和勒庫并不認可這一觀點，他們并不相信神經網絡和符合人工智能的混合方案。他們認為，更好的神經網絡架構將最終覆蓋到人類和動物智能的各個方面，包括符號操縱、推理、因果推理和常識。

　　新進展

　　如果要讓未來的機器學習系統有更好的泛化能力，以及更快地適應分布外數據，我們應該如何進行設計？

　　在他們的論文中，Bengio, Hinton和LeCun介紹了深度學習的最新進展。其中一個例子就是Transformer，這種神經網絡架構已經成為很多應用中的主導架構，包括我們比較熟悉的OpenAI的GPT-3和谷歌的Meena等語言模型的核心。Transformer的優勢之一是無需標注數據就能學習。Transformer可以通過自監督學習來開發表征，然后在收到提示后應用這些表征來填補單詞缺失的句子或生成連貫的文本。最近，研究人員發現Transformer也可以應用于計算機視覺任務。Transformer與卷積神經網絡相結合可以預測隱藏區域的內容。

　　一種更有前景的技術是對比學習，它試圖找到缺失區域的向量表示，而不是預測準確的像素值。這似乎是一種更接近人類思維的方式。當我們看到如下圖所示的圖像時，我們可能無法精準地描述真實照片的細節，但我們的大腦可以對遮罩區域（如門、窗等）中可能出現的情況進行高水平的描述。這可能更有利于將神經網絡中的向量表示與現實世界的概念結合起來。

[[419935]]

　　讓神經網絡減少對人類標注數據的依賴，契合勒庫專注的自監督學習方向的研究。

　　其他要點

　　如今的深度學習對于感知而言無疑是最為成功的，也就是所謂的系統1類任務，如何通過深度學習進行系統2類任務，則需要審慎的通用步驟。在這方面的研究也令人期待。

　　“系統2類深度學習”這個概念借用了諾貝爾獎得主心理學家丹尼爾·卡尼曼的術語。系連通2類描述了需要有意識思考的大腦功能，包括符號操作、推理、多步驟規劃和解決復雜的數學問題。系統2類深度學習仍處于早期階段，但如果它成為現實，它可以解決神經網絡的一些關鍵問題，包括分布外泛化、因果推理、魯棒遷移學習和符號操作。

　　此外，“膠囊網絡”是辛頓過去幾年關注的一個研究領域。膠囊網絡的目的是將神經網絡從檢測圖像中的特征升級到檢測物體、物體的物理性質以及物體之間的層次關系。膠囊網絡可以通過直觀物理學提供深度學習，這種能力使人類和動物能夠理解三維環境。

The future of deep learning, according to its pioneers – TechTalks  https://bdtechtalks.com/2021/07/01/deep-learning-future-bengio-hinton-lecun/?utm_campaign=Artificial%2BIntelligence%2BWeekly&utm_medium=email&utm_source=Artificial_Intelligence_Weekly_224

【51CTO譯稿，合作站點轉載請注明原文譯者和出處為51CTO.com】