盡管深度學習已經在人工智能領域做出重大貢獻，但這項技術本身仍存在一項致命缺陷：需要大量數據的加持。深度學習領域的先驅者乃至批評者已經就此達成共識——事實上，正是由于可用數據量有限加上處理大規模數據的計算能力不足，才導致深度學習直到最近幾年才成為AI層面的前沿技術。

因此，減少深度學習對數據的依賴性，已經成為AI研究人員最重要的探索方向之一。

[[321345]]

在AAAI大會的主題演講中，計算機科學家Yann LeCun討論了當前深度學習技術的局限性，同時提出“自我監督學習”的發展藍圖——這是他為解決深度學習數據問題而構建的路線圖。作為深度學習領域的教父級人物之一，LeCun正是卷積神經網絡(CNN)的發明者，而該網絡也成為過去十年內推動人工智能革命的一大核心因素。

自我監督學習，可謂當前提升人工智能系統數據利用效率的多種嘗試之一。目前我們還很難斷言哪種具體嘗試能夠成功掀起下一輪AI革命(也許我們最終會采取完全不同的政策)，但LeCun的規劃與思路仍然值得我們認真了解。

澄清深度學習的局限性

首先，LeCun強調稱，深度學習技術面對的局限性實際上正是監督學習技術的局限性。所謂監督學習，屬于一類需要對訓練數據進行標記才能正常完成學習的算法。例如，如果希望創建圖像分類模型，則必須為系統提供經過適當分類標記的大量圖像，由模型在其中完成充分訓練。

LeCun在AAAI主題演講中提到，“深度學習并不是監督學習，也不只是神經網絡?；旧?，深度學習是將參數化的模塊組裝到計算圖中以構建起AI系統。它的優勢在于，我們不需要對系統進行直接編程——我們只需要定義架構并調整參數。不過其中需要調整的參數可能多達數十億之巨。”

LeCun同時補充道，深度學習適用于多種不同學習范式，包括監督學習、強化學習以及無監督/自我監督學習等。

但目前人們對于深度學習以及監督學習的抱怨并非空穴來風。當下，大部分能夠實際應用的深度學習算法都基于監督學習模型，這也充分暴露出現有AI系統的缺點所在。我們日常使用的圖像分類器、人臉識別系統、語音識別系統以及眾多其他AI應用都需要利用數百萬個帶有標記的示例進行充分訓練。

到目前為止，強化學習與無監督學習只能算是在理論上存在的其他機器學習算法類型，還極少在實踐場景中得到應用。

深度學習當下到底發展到了怎樣的水平?

監督深度學習為我們帶來多種非常實用的應用方案，特別是在計算機視覺與自然語言處理等特定領域。深度學習已經在癌癥檢測等敏感應用中扮演越來越重要的角色，而且事實證明，其確實能夠在部分人類無法解決的問題中發揮核心作用。例如，社交媒體巨頭們正紛紛利用這類技術審核并通報用戶在平臺上發布的大量內容。

LeCun表示，“如果把深度學習元素從Facebook、Instagram以及YouTube等廠商中剝離出來，他們的業務會瞬間崩潰。事實上，他們的業務完全圍繞深度學習構建而成。”

但正如前文所述，監督學習只適用于具備充足高質量數據、且數據內容足以涵蓋所有可能情況的場景。一旦經過訓練的深度學習模型遇到不同于訓練示例的全新狀況，它們的表現將徹底失去控制。在某些情況下，單是從稍有區別的角度展示對象，就有可能令神經網絡將其誤判為其他物體。

深度強化學習則在游戲與模擬場景中表現出強大能力。過去幾年以來，強化學習已經征服了眾多以往人工智能無法攻克的游戲項目。當下，AI程序在《星際爭霸2》、《Dota》以及具有悠久歷史的圍棋領域將人類頂尖選手殺得片甲不留。

但是，這些AI程序在摸索解決問題的方法方面，與人類完全不同。基本上，強化學習代理就是一張白紙，我們只為其提供在特定環境中能夠執行的一組基本操作。接下來，AI會不斷自行嘗試，通過反復試驗來學習如何獲取最高獎勵(例如盡可能在游戲中取勝)。

當問題空間比較簡單，而且我們擁有充足的計算能力以運行更多不斷重復的試驗性會話時，這類模型就能正常起效。在大多數情況下，強化學習代理要耗費大量時間以掌握游戲精髓，而巨大的成本也意味著這類技術只能存在于高科技企業內部或者由其資助的研究實驗室當中。

強化學習系統的另一大短板體現在遷移學習方面。如果要游玩《魔獸爭霸3》，那么即使是已經精通了《星際爭霸2》的代理，也需要從零開始接受訓練。實際上，即使對《星際爭霸2》游戲環境做出一點點微小發動，亦會嚴重影響AI的實際表現。相反，人類非常擅長從一款游戲中提取抽象概念，并快速將其遷移至新的游戲當中。

強化學習在解決無法準確模擬的現實問題時，同樣顯示出強烈的局限性。LeCun提到，“如果想要訓練一輛無人駕駛汽車，我們該怎么辦?”這類使用場景確實很難準確模擬，因此為了開發出一臺真正具備無人駕駛能力的汽車，“我們恐怕得撞毀很多很多汽車。”而且與模擬環境不同，我們無法在現實場景中快速進行實驗，更遑論由現實實驗帶來的巨大成本。

深度學習面前的三座大山

LeCun將深度學習面臨的挑戰分為三個具體領域。

首先，我們需要開發出能夠利用更少樣本或者更少試驗學習完成訓練的AI系統。LeCun指出，“我的建議是使用無監督學習，我個人更傾向于稱其為自我監督學習，因為其中用到的算法仍然類似于監督學習，只是監督學習的作用主要在于填補空白?？偠灾?，在學習任務之前，系統需要首先了解這個世界。嬰兒或者小動物都是這樣成長的。我們首先接觸這個世界、理解其運作規律，而后才考慮如何解決具體任務。只要能看懂這個世界，那么學習新任務就只需要很少的試驗與樣本量。”

嬰兒在出生后的前幾個月內，會快速建立起關于引力、尺寸與物體性狀的概念。雖然研究人員還無法確定其中有多少屬性與大腦建立起硬連接、又存在多少具體認知，但可以肯定的是，我們人類首先觀察周邊世界、而后才實際行動并與之交互。

第二項挑戰在于構建起具備推理能力的深度學習系統。眾所周知，現有深度學習系統的推理與推理能力相當捉急，因此需要大量數據才能解決那些最簡單的任務。

LeCun指出，“問題在于，我們要如何超越現有前饋計算與系統1?我們要如何讓推理與基于梯度的學習方式相兼容?我們要如何在推理中實現差異性?這些都是最基本的問題。”

系統1是指那些不需要主動思考的學習任務，例如在已知區域內導航或者進行少量計算。系統2則代表一種較為活躍的思維方式，需要推理能力的支持。作為AI領域的經典方案，象征性人工智能已經在推理與抽象領域帶來廣受好評的能力提升。

但LeCun并不建議人們廣泛采用這些備受科學家推崇的象征性AI或者混合人工智能系統。對于AI未來的發展愿景，他的思路與另一位深度學習先驅Yoshua Bengio更為接近。他在NeurIPS 2019大會上介紹了系統2深度學習的概念，并在AAAI 2020大會上做出進一步討論。但LeCun也坦言，在實現深度學習系統的推理能力方面，“并不存在一種完美的答案”。

第三大挑戰在于如何建立深度學習系統，確保其能夠學習并規劃復雜的行動序列，進而將任務拆分為多個子任務。深度學習系統擅長為問題提供端到端解決方案，但卻很難將其分解為可解釋且可修改的特定步驟。目前，業界已經在AI系統對圖像、語音及文本的分解方面取得一定進展，由Geoffry Hinton發明的膠囊網絡成功解決了其中一部分難題。

但學習復雜的推理任務仍然遠超現有AI的能力上限。LeCun承認，“我們不知道要如何實現這種能力。”

自我監督學習

自我監督學習的基本思路，是開發出一種能夠填補上述空白的深度學習系統。

LeCun解釋道，“我們只需要向此類系統展示輸入、文本、視頻甚至是圖像，而后剔除出其中一部分，由經過訓練的神經網絡或者您選定的類或模型預測這些缺失的部分。預測對象可以是視頻內容的后續走向，也可以是文本中缺少的詞匯。”

目前市面上最接近自我監督學習系統的當數Transformers，這是一種在自然語言處理領域大放異彩的架構方案。Transformers不需要標記數據，它們可以通過維基百科等資料進行大規模非結構化文本訓練。而且事實證明，與之前的同類系統相比，Transformers在生成文本、組織對話以及建立回復內容方面擁有更好的表現。(但它們仍然無法真正理解人類語言。)

Transformers已經相當流行，并成為幾乎一切最新語言模型的基礎技術，具體包括谷歌的BERT、Facebook的RoBERTa、OpenAI的GPT2以及谷歌的Meena聊天機器人。

最近，AI研究人員還證明，Transformers能夠進行積分運算并求解微分議程——換言之，它已經展現出解決符號處理問題的能力。這可能暗示著Transformers的發展最終有望推動神經網絡突破模式識別與近似任務統計等傳統應用的樊籬。

截至目前，Transformers已經證明了自己在處理離散數據(例如單詞與數學符號)方面的價值。LeCun指出，“訓練這類系統比較簡單，因為雖然單詞遺漏可能造成一定程度的不確定性，但我們可以利用完整詞典中的巨大概率矢量來表達這種不確定性，所以問題不大。”

但Transformers還沒能將自己的威力引入視覺數據領域。LeCun解釋稱，“事實證明，在圖像與視頻中表達不確定性并做出預測，其難度要遠高于文本層面的不確定性表達與預測。這是因為圖像與視頻內容并非離散存在。我們可以根據詞典生成所有單詞的分布情況，但卻不可能表達所有潛在視頻幀的分布情況。”

對于每個視頻片段，都存在著無數種可能的后續情況。這就導致AI系統很難預測出特定結果，例如視頻內接下來幾幀所展示的畫面。神經網絡只能計算出可能結果的平均值，并據此輸出非常模糊的影像。

LeCun指出，“如果要將自我監督學習應用于視頻等多種形式，首先得解決這個核心技術問題。”

LeCun個人最偏好的監督學習方法，是所謂“基于能量的潛在變量模型”。其中的核心思路在于引入一個潛在變量Z，該變量用于計算變量X(視頻中的當前幀)與預測Y(視頻的未來幀)之間的兼容性，并選擇具有最佳兼容性得分的結果。LeCun也在演講中進一步闡述了基于能量的模型與自我監督學習的實現方法。

關于深度學習的未來

LeCun在AAAI大會的演講中提到，“我認為自我監督學習才是未來。這意味著我們的AI系統與深度學習系統將更上一層樓。也許它們能夠通過觀察了解關于現實世界的充足背景知識，進而形成自己的某種常識體系。”

自我監督學習的主要優勢之一，在于AI能夠輸出巨大的信息量。在強化學習中，AI系統訓練只能由標量級別來決定;模型本身會收到一個數值，用于表示對相關行為的獎勵或懲罰。在監督學習中，AI系統會為每條輸入預測出對應的類別或數值。

但在自我監督學習中，輸出則能夠擴展為完整的一幅甚至一組圖像。LeCun表示，“信息會更為豐富。而且只需要更少的樣本量，系統就能掌握關于真實世界的更多知識中。”

必須承認，不確定性問題的處理方式仍然有待探索;但如果解決方案真正出現，AI技術將迎來通往光明未來的通天大道。