幾張貼紙就能「改變」交通標志識別結果，轉個方向就看不出圖中的動物種類，今天的人工智能系統經常會出現莫名其妙的 bug。最新一期《自然》雜志上的這篇文章向我們介紹了深度學習為什么如此容易出錯，以及解決這些問題的研究方向。

一輛自動駕駛汽車在接近停止標志時非但沒有停車，反而加速駛入了繁忙的十字路口。一份事故調查報告顯示，該汽車之所以做出這種決策，是因為停止標志的表面貼了四個小矩形。這樣一來，自動駕駛汽車就把停止標志識別為了「限速 45」。 

這種事件其實還沒有在實際中發生，但蓄意破壞 AI 系統的可能卻是真實存在的。在停止路牌上貼標簽、在帽子和眼鏡上貼貼紙都有可能成功欺騙自動駕駛系統和人臉識別系統，還有研究者用白噪音來欺騙語音識別系統。

這些案例都說明欺騙一個領先的 AI 模式識別系統（即深度神經網絡）有多么容易。這些系統已經在我們生活中無處不在，但只要對這些系統的輸入做一些微小的改動，最好的神經網絡也會受到欺騙。

在尋找問題的過程中，研究人員發現了 DNN 失效的很多原因。「深度神經網絡本質的脆弱性是無法修復的，」谷歌 AI 工程師 François Chollet 指出。Chollet 及其他研究者認為，為了克服這些缺陷，研究者需要借助其他力量來鞏固模式匹配 DNN：例如，讓 AI 能夠自己探索世界、自己寫代碼并保留記憶。一些專家認為，這類系統將成為未來十年 AI 研究的主題。

接受現實的檢驗

2011 年，谷歌推出了一個能識別貓的系統，從此掀起了 DNN 分類系統的研究高潮。人們驚呼：計算機終于可以理解世界了！

但 AI 研究者知道，DNN 其實并不理解這個世界。它們粗略地模仿大腦結構，其實是一種由分布在很多層上的數字神經元組成的軟件結構。每個神經元與其相鄰層的神經元相連接。

其基本思想是，原始輸入（如圖像的像素）的特征進入底層，觸發一些神經元，然后根據簡單的數學規則將信號傳到上層的神經元。訓練一個 DNN 網絡需要將其暴露在大量樣本中，然后每次調整神經元的連接方式，最終由上層得出想要的答案，比如把某頭獅子的圖像識別為獅子，盡管 DNN 從未見過這一頭獅子的照片。

對 DNN 進行的首次重大檢驗發生在 2013 年。當時，谷歌的研究者 Christian Szegedy 及其同事發表了一篇名為「『Intriguing properties of neural networks」的預印版論文。該團隊表明，通過修改幾個像素就能誤導 DNN 將獅子識別為圖書館等其他物體。他們將修改后的圖像稱之為「對抗樣本」（adversarial example）。

一年之后，Clune 等人組成的團隊表明，讓 DNN 看到不存在的物體也是可能的，如在波浪形線條中看到企鵝。「任何從事過機器學習研究的人都知道，這些系統經常會犯一些低級錯誤，」Yoshua Bengio 說道，「但這種錯誤令人驚訝，而且出人意料。」

新型錯誤層出不窮。去年，Nguyen 證明，簡單地旋轉物體就能淘汰一波當前最好的圖像分類器。今年，Hendrycks 等人報告稱，即使是未經篡改的自然圖片也能騙到當前最好的分類器，使其將蘑菇識別為餅干。

這個問題不止在目標識別中出現：任何使用 DNN 對輸入進行分類的 AI 都能被騙到，如使用強化學習的游戲 AI，在屏幕上隨機添加幾個像素就能讓智能體輸掉比賽。

DNN 的弱點會給黑客接管 AI 系統提供可乘之機。去年，谷歌的一個團隊表明，使用對抗樣本不僅可以迫使 DNN 做出某種錯誤決策，也可能徹底改變程序，從而有效地將一個訓練好的 AI 系統用于另一項任務。

許多神經網絡理論上都能用來編碼任何其他計算機程序。「理論上來說，你可以將一個聊天機器人轉化為任何你想要的程序，」Clune 表示。在他的設想中，不遠的將來，黑客就能夠劫持云中的神經網絡，運行他們自己的垃圾郵件躲避算法。

加州大學伯克利分校的計算機科學家 Dawn Song 認為，DNN 很容易受到攻擊，但防守卻非常困難。

能力越大越脆弱

DNN 非常強大，因為它們有很多層，也就意味著它們可以識別出輸入的不同特征模式。經過訓練，用于識別飛行器的 AI 算法有可能會找到諸如色塊、紋理、背景等因素與預測目標具有關聯性。但這也意味著輸入內容的很小變化就可以讓 AI 的識別結果出現明顯的變化。

解決方法之一就是簡單地給 AI 投喂更多數據，特別是多訓練出錯的情況以糾正錯誤。在這種「對抗性訓練」的情況下，一個網絡學會識別目標，另一個網絡嘗試修改第一個網絡的輸出，并制造錯誤。通過這種方法，對抗樣本成為了 DNN 訓練數據的一部分。

Hendrycks 等研究者建議測試 DNN 在各種對抗樣本的性能，從而量化 DNN 對犯錯的魯棒性。他們表明，訓練能抵御一種攻擊的神經網絡可能會削弱它對其他攻擊的抵抗力，而魯棒性的 DNN 不應該因其輸入的微小擾動而改變其輸出。這種因擾動而改變最終結果的屬性，很可能是在數學層面上引入神經網絡的，它限制了 DNN 學習的方式。

然而在當時，沒有人可以解決所有 AI 都很脆弱這一問題。問題的根源，根據 Bengio 的說法，深度神經網絡中沒有一個很好的可以選擇什么是重要的模型。當 AI 觀察一個將獅子篡改為圖書館的圖片，人類依然可以看到獅子，因為他們有一個思維模型，能夠將動物視為更高級的特征——如耳朵、尾巴、鬃毛等。而其他低級別的細節則會被忽略掉。「我們知道從先驗知識中學習什么特征是重要的，」Bengio 說，「而這來自于對結構化的世界的深度理解。」

解決此問題的一種嘗試是將 DNN 與符號 AI 結合起來。符號 AI 也是機器學習之前，人工智能的主要方法。借助符號 AI，機器可以使用關于世界如何運作的硬編碼規則進行推理，例如它包含離散的對象，之間以各種方式相互關聯。一些研究人員，例如紐約大學的心理學家 Gary Marcus 說，混合 AI 模型是前進的方向。「深度學習在短期內非常有用，以至于人們對長期發展視而不見，」一直以來對當前深度學習方法持批評態度的馬庫斯說。

今年 5 月，他在加利福尼亞州帕洛阿爾托聯合創立了一家名為 Robust AI 的初創公司，該公司旨在將深度學習與基于規則的 AI 技術相結合，以開發可以與人一起安全操作的機器人。公司正在做工作仍處于保密狀態。

即使可以將規則嵌入到 DNN 中，這些規則的效果也只是能與學習一樣好。Bengio 說，AI 智能體需要在更豐富的可探索環境中學習。例如，大多數計算機視覺系統無法識別一罐啤酒是圓柱形的，因為它們只在 2D 圖像數據集上進行訓練。這就是 Nguyen 等研究者發現我們可以通過不同角度的對象來愚弄 DNN 的原因。

但是，AI 的學習方式也需要改變。Bengio 說：「了解因果關系必須在現實世界做一些任務，智能體可以實驗并探索現實世界。」另一位深度學習的先驅，Jürgen Schmidhuber 說，模式識別非常強大，足以使阿里巴巴、騰訊、亞馬遜、Facebook 和 Google 等企業成為世界上最有價值的公司。他說：「但是將會有更大的浪潮，其涉及智能體操縱真實世界并通過自己的行動創建自己的數據。」

從某種意義上來講，使用強化學習在人工環境中搞定計算機游戲的方式已經是這樣了：通過反復試錯，智能體以規則允許的方式操縱屏幕上的像素點，直到達成目標為止。然而，真實世界要比當今大多數 DNN 訓練所依據的模擬環境或數據集要復雜得多。

即興表演的機器人

如下圖所示，在加州大學伯克利分校 (University of California, Berkeley) 的一個實驗室里，一只機器人手臂在雜物中翻找。它拿起一個紅色的碗，然后用它把一只藍色的烤箱手套向右推幾厘米。它放下碗，拿起一個空的塑料噴射器，然后估量著平裝書的重量和形狀。經過連續幾天的篩選，機器人開始對這些陌生的物體有了感覺，知道它們各自用來做些什么。

機器人手臂正在使用深度學習來教自己使用工具。給定一盤物體，它依次撿起并觀察每一個物體，觀察當它移動它們并將一個物體撞向另一個物體時會發生什么。

當研究人員給予機器人一個目標，例如向它展示一張幾乎空的托盤圖像，并指定機器人安排物體來匹配狀態。這樣，機器人可以與其之前未見過的物體交互并即興做出行動，例如用海綿將桌子上的物體抹干凈。機器人還能意識到，用塑料水壺清理掉擋道的物體要比直接拿起它們要快。

伯克利實驗室的研究員 Chelsea Finn 認為，一般而言，這種學習可以使得 AI 更深入地了解物體和世界。如果你曾經只在照片上見過水壺或海綿，則或許能夠在其他圖像中識別出它們。但是，你不會真正地理解它們是什么或它們用來做什么。因此，Finn 表示，只有你真正地與它們接觸才可以更深入地了解它們。

但是，這種學習過程很慢。在模擬環境中，AI 可以非常快速地瀏覽示例。例如，2017 年，DeepMind 的 AlphaZero 自學習游戲軟件接受訓練在圍棋、國際象棋和日本象棋領域大殺四方。那時，AlphaZero 針對每場賽事進行了 2000 多萬場訓練游戲。

AI 機器人學習這種能力很慢。AI 和機器人公司 Ambidextrous 聯合創始人 Jeff Mahler 表示，在深度學習領域，幾乎所有的結果都極度依賴大量數據。他說道：「在單個機器人上收集數以千萬計的數據點將需要連續數年的執行時間。」此外，數據或許不可靠，因為傳感器校準會隨時間出現變化，硬件也會退化。

因此，大多數涉及深度學習的機器人工作仍然使用模擬環境來加速訓練。亞特蘭大佐治亞理工學院機器人專業的博士生 David Kent 認為，你能學到什么取決于模擬器有多好。模擬器一直在改進，研究人員也正在把從虛擬世界學到的經驗更好地轉移到現實世界。然而，這樣的模擬仍然無法應對現實世界的復雜性。

Finn 認為，使用機器人學習最終要比使用人工數據學習更容易擴展。她制作的會使用工具的機器人花了幾天時間學會了一項相對簡單的任務，但不需要大量的監控。她說:「你只要運行這個機器人，每隔一段時間就需要檢查一下。」她想象著有一天，世界上有很多機器人可以使用自己的設備，晝夜不停地學習。這應該是可能的——畢竟，這是人們理解世界的方式。「小孩不能通過從 Facebook 下載數據來學習，」Schmidhuber 說。

從較少的數據中學習

需要指出的一點是，一個小孩也可以通過一些數據點識別出新的物體：即使他們之前從來沒有見過長頸鹿，但依然可以在看過它們一兩次后識別出來。識別如此之快的部分原因是，這個小孩已經看過很多除長頸鹿之外的其他生物，所以熟悉了這些生物的顯著特征。

將這些能力賦予 AI 的一個統稱術語是遷移學習：即將之前通過訓練獲得的知識遷移到其他任務上。實現遷移的一種方法是在新任務訓練時將所有或部分預訓練任務再次用作起點（starting point）。例如，再次使用已經被訓練用來識別一種動物（如識別基本體型的層）的部分 DNN 可以在學習識別長頸鹿時為新網絡帶來優勢。

一種極端形式的遷移學習旨在通過向新網絡展示少量示例（有時甚至只有一個示例）來訓練它。此類已知的 one-shot 或 few-shot 學習極度依賴預訓練的 DNN。舉例而言，如果你想要構建一個能夠識別出犯罪數據庫中人的人臉識別系統，則利用包含數以百萬計人臉（并不一定是數據庫中的那些人）的 DNN 可以幫助該識別系統了解主要特征，如鼻子和下巴的形狀。

所以，擁有此類預訓練記憶可以幫助 AI 在未見過大量模式的情況下識別出新示例，這樣可以加速機器人的學習速度。但是，如果面臨一些它們經驗范圍外的任務，此類 DNN 或許依然表現不佳。這些網絡能夠實現多大程度的泛化也依然不清楚。

例如，DeepMind 的 AlphaZero 等最成功的 AI 系統所擁有的專業知識也極其有限。AlphaZero 雖然可以接受訓練來下圍棋和國際象棋，但無法同時進行。

學會如何學習

AlphaZero 在游戲領域的成功不僅僅歸功于有效的強化學習，還要得益于一種算法（用到了蒙特卡洛樹搜索技術的一種變體），這種算法可以幫助 AlphaZero 縮小下一步的選擇范圍。換言之，AI 學習如何以最好的方式從環境中學習。Chollet 認為，AI 的下一步重大進展將是賦予 DNN 編寫各自算法的能力，而不僅僅是使用人類提供的代碼。

Chollet 還說道，為基礎的模式匹配補充推理能力將使得 AI 能夠在它們的舒適區（comfort zone）外更好地處理輸入。計算機科學家們多年來一直都在研究程序合成（program synthesis），讓一臺計算機自動生成代碼。所以，在他看來，將這一領域與深度學習相結合可以生成更接近人類所使用的抽象心智模型的 DNN 系統。

例如，在機器人領域，Facebook AI 研究所（FAIR）的計算機科學家 Kristen Grauman 正在教機器人自身如何最有效地探索新環境。

該領域的研究人員表示他們在修復深度學習缺陷方面取得了一些進展，但他們也在探索一些新技術來使得 DNN 不那么脆弱。Song 認為，深度學習背后沒有太多的理論可遵循。如果出了故障，則很難找出原因。整個領域依然以實證為主，所以研究人員必須親自嘗試著解決。

目前，盡管科學家們意識到了 DNN 的脆弱性以及他們對數據的過度依賴，但大多數人認為 DNN 技術將繼續存在和發展。需要承認的一點是，近十年來，與大量計算資源相結合的神經網絡可以在接受訓練的情況下很好地識別模式。但遺憾的是，Clune 認為，沒有人真正知道如何改進 DNN 技術。