自監督學習真的是通往 AGI 的關鍵一步？

Meta 的 AI 首席科學家 Yann LeCun 在談到「此時此刻要采取的具體措施」時，也沒有忘記遠期的目標。他在一次采訪時說：「我們想要構建像動物和人類一樣學習的智能機器。」

近幾年，Meta 發表了一系列關于 AI 系統自監督學習（SSL）的論文。LeCun 堅定地認為，SSL 是 AI 系統的必要前提，它可以幫助 AI 系統構建世界模型，以獲得類似人類的能力，如理性、常識，以及將技能和知識從一個環境遷移到另一個環境的能力。

他們的新論文展示了一種被稱為掩蔽自編碼器（MAE）的自監督系統如何學會從非常零散、不完整的數據中重建圖像、視頻甚至音頻。雖然 MAE 并不是一個新的想法，但 Meta 已經將這項工作擴展到了新的領域。?

LeCun 說，通過研究如何預測丟失的數據，無論是靜態圖像還是視頻或音頻序列，MAE 系統都是在構建一個世界模型。他說：「如果它能預測視頻中即將發生的事情，它必須明白世界是三維的，有些物體是無生命的，它們自己不會移動，其他物體是有生命的，很難預測，一直到預測有生命的人的復雜行為。」一旦 AI 系統有了一個精確的世界模型，它就可以使用這個模型來計劃行動。

LeCun 說，「智能的本質是學會預測。」雖然他并沒有聲稱 Meta 的 MAE 系統接近于通用人工智能，但他認為這是通往通用人工智能的重要一步。?

但并非所有人都同意 Meta 的研究人員走在通往通用人工智能的正確道路上。Yoshua Bengio 有時會與 LeCun 就 AI 領域的重大想法進行友好的辯論。在給 IEEE Spectrum 的一封電子郵件中，Bengio 闡述了他們在目標上的一些不同和相似之處。

Bengio 寫道：「我真的不認為我們目前的方法（無論是不是自監督）足以彌合人工與人類智能水平的差距。」他說，該領域需要取得「質的進步」，才能真正推動技術向人類規模的人工智能靠攏。

對于 LeCun 的「對世界的推理能力是智能的核心要素」這一觀點，Bengio 表示贊同，但他的團隊并沒有把重點放在能夠預測的模型上，而是放在了能夠以自然語言的形式呈現知識的模型上。他指出，這樣的模型將允許我們將這些知識片段結合起來，以解決新問題，進行反事實模擬，或研究可能的未來。Bengio 的團隊開發了一種新的神經網絡框架，它比致力于端到端學習的 LeCun 所青睞的框架更具模塊化的性質。?

大火的 Transformer

Meta 的 MAE 建立在一種名為 Transformer 的神經網絡架構基礎之上。這種架構最初在自然語言處理領域走紅，之后擴展到計算機視覺等多個領域。?

當然，Meta 并不是第一個成功將 Transformer 用到視覺任務中的團隊。Meta AI 的研究者 Ross Girshick 介紹說，谷歌在視覺 Transformer（ViT）上的研究啟發了 Meta 的團隊，「ViT 架構的采用幫助（我們）消除了試驗過程中遇到的一些障礙」。

Girshick 是 Meta 第一篇 MAE 系統論文?的作者之一，這篇論文的一作是何愷明，他們論述了一種非常簡單的方法：掩蔽輸入圖像的隨機區塊并重建丟失的像素。

這種模型的訓練類似于 BERT 以及其他一些基于 Transformer 的語言模型，研究人員會向它們展示巨大的文本數據庫，但有些詞是缺失的，或者說被「掩蔽」了。模型需要自己預測出缺失的詞，然后被掩蔽的詞會被揭開，這樣模型就能檢查自己的工作并更新自己的參數。這一過程會一直重復下去。Girshick 解釋說，為了在視覺上做類似的事情，研究小組將圖像分解成 patch，然后掩蔽一些 patch 并要求 MAE 系統預測圖像缺失的部分。

該團隊的突破之一是意識到，掩蔽大部分圖像會獲得最好的結果，這與語言 transformer 有著關鍵區別，后者可能只會掩蔽 15% 的單詞。「語言是一種極其密集和高效的交流系統，每個符號都包含很多含義，」Girshick 說，「但是圖像——這些來自自然世界的信號——并不是為了消除冗余而構建的。所以我們才能在創建 JPG 圖像時很好地壓縮內容。」

?Meta AI 的研究人員試驗需要掩蔽多少圖像獲得最佳效果。

Girshick 解釋說，通過掩蔽圖像中超過 75% 的 patch，他們消除了圖像中的冗余，否則會使任務變得過于瑣碎，不適合訓練。他們那個由兩部分組成的 MAE 系統首先使用一個編碼器，通過訓練數據集學習像素之間的關系，然后一個解碼器盡最大努力從掩蔽圖像中重建原始圖像。在此訓練方案完成后，編碼器還可以進行微調，用于分類和目標檢測等視覺任務。

Girshick 說，「最終讓我們興奮的點在于，我們看到了這個模型在下游任務中的結果。」當使用編碼器完成目標識別等任務時，「我們看到的收益非常可觀。」他指出，繼續增大模型可以獲得更好的性能，這對未來的模型來說是一個有潛力的方向，因為 SSL「具有使用大量數據而不需要手動注釋的潛力」。

全力以赴地學習海量的未經篩選的數據集可能是 Meta 提高 SSL 結果的策略，但也是一個越來越有爭議的方法。Timnit Gebru 等人工智能倫理研究人員已經呼吁大家注意大型語言模型學習的未經整理的數據集固有的偏見，這些偏見有時會導致災難性的結果。

視頻和音頻的自監督學習

在視頻 MAE 系統中，掩蔽物遮蔽了每個視頻幀的 95%，因為幀之間的相似性意味著視頻信號比靜態圖像有更多的冗余。Meta 研究人員 Christoph Feichtenhofer 說，就視頻而言，MAE 方法的一大優勢是視頻通常需要大量計算，而 MAE 通過屏蔽每幀高達 95% 的內容，減少了高達 95% 的計算成本。?

這些實驗中使用的視頻片段只有幾秒鐘，但 Feichtenhofer 表示，用較長的視頻訓練人工智能系統是一個非常活躍的研究課題。想象一下，你有一個虛擬助理，他有你家的視頻，可以告訴你一個小時之前你把鑰匙放在哪里了。

更直接地說，我們可以想象圖像和視頻系統對 Facebook 和 Instagram 上的內容審核所需的分類任務都很有用，Feichtenhofer 說，「integrity」是一種可能的應用，「我們正在與產品團隊溝通，但這是非常新的，我們還沒有任何具體的項目。」

對于音頻 MAE 工作，Meta AI 的團隊表示他們將很快將研究成果發布在 arXiv 上。他們發現了一個巧妙的方法來應用掩蔽技術。他們將聲音文件轉化為聲譜圖，即信號中頻率頻譜的視覺表征，然后將部分圖像掩蔽起來進行訓練。重建的音頻令人印象深刻，盡管該模型目前只能處理幾秒鐘的片段。?

該音頻系統的研究人員 Bernie Huang 說，這項研究的潛在應用包括分類任務，通過填充數據包被 drop 時丟失的音頻來輔助基于 IP 的語音傳輸（VoIP），或者找到更有效的壓縮音頻文件的方法。

Meta 一直在進行開源 AI 方面的研究，如這些 MAE 模型，還為人工智能社區提供了一個預訓練的大型語言模型?。但批評人士指出，盡管在研究方面如此開放，但 Meta 還沒有把它的核心商業算法開放出來供大家研究，即那些控制新聞推送、推薦和廣告植入的算法。?