▲ 桌子上面的到底是井蓋還是蜻蜓?(圖片提供：Dan Hendrycks)

▲ 照片中的是一只綠鬣蜥，還是一只松鼠?(圖片提供：Dan Hendrycks)

▲這是獨輪車，還是一只穿越馬路的鱷魚?(圖片提供：Dan Hendrycks)

對人類而言，這些答案顯而易見。然而，世界上最強大的圖像識別人工智能卻還無法解決上述難題。

之所以會這樣，是因為每一張照片都經過精心挑選，專門用來“欺騙”圖像識別技術。這些照片來自一套專門的數據集，其中的7000張照片由加州大學伯克利分校、華盛頓大學以及芝加哥大學的研究人員們共同整理完成。

加州大學伯克利分校計算機科學博士生、論文作者Dan Hendrycks表示：“目前的(機器學習)模型還不夠完善。雖然已經有不少研究嘗試利用人工數據提升模型的能力，但我們發現，這些模型在面對某些真實數據(來自真實照片)時往往會出現嚴重且高度一致的錯誤判斷。

為了解釋這個問題的重要意義，我們首先對圖像識別技術的發展做一下回顧。

過去幾年以來，圖像識別工具已經變得越來越好，識別速度也越來越快。這在很大程度上要歸功于斯坦福大學創建的，并且其規模仍在持續拓展的開放數據集ImageNet。該數據集目前已經包含超過1400萬張照片，每張照片都配有“樹”、“天空”之類的標記。這個龐大的數據庫成為人工智能重要的訓練素材集合，也可以作為新AI系統的參考基準，用于訓練系統進行圖像識別。打個比方，它就像是一本專供幼兒學習新單詞的看圖學話繪本。目前，利用ImageNet訓練出的人工智能擁有極高的準確率，其物體識別精度可達95%，這一水平已經優于人類的圖像內容分辨效果。

然而，解決這最后5%的準確度缺口是個巨大的挑戰。自2017年以來，計算機在識別圖像的準確度方面一直比較羸弱。正因為如此，研究人員們才嘗試探索其中的原因——即計算機為什么無法解析某些特定圖像。

通過這套新的圖像集合，研究人員們以手工方式搜索Flickr(雅虎旗下的圖片分享網站)，尋找可能會令AI軟件陷入混亂的照片。然后，他們利用由ImageNet數據集訓練而成的AI模型進行測試，如果模型確實無法識別照片內容，則將其添加到這套名為ImageNet-A的新數據集內(很明顯，這個名稱代表的就是反ImageNet之意)。在識別這7000張照片時，AI的準確度從90%迅速降低至2%。是的，您沒有看錯，世界上最先進的視覺AI模型確實無法正確識別其中98%的照片。

至于AI系統為什么無法理解這些圖像，則是個相當復雜的問題。

目前的AI訓練基本上就是把大量數據投入“黑匣子”當中——換句話說，我們只能根據最終結果來判斷其準確性。比如，如果“黑匣子”見過足夠多樣的樹木圖像，它就會開始在新照片中認出樹木對象，而我們就認為訓練獲得成功(這類重復任務被稱為機器學習)。但問題是，我們并不知道AI是依靠哪些指標識別樹木的——是形狀?顏色?背景?質地?還是說樹木具有某種人類從未意識到的統一核心幾何樣式?對于這個問題，目前科學家們也回答不了。

總而言之，AI能力的判斷由結果實現，而非通過推理過程實現。這意味著我們可能會從AI當中發現種種令人意想不到的偏見，而這又進一步影響到AI系統在無人駕駛汽車或者刑事司法領域的實際應用。除此之外，這也意味著圖像識別系統并不算是真正實現的智能化，而更像是一種強大的匹配工具。

構建ImageNet-A數據集，正是為了“欺騙”AI，從而總結為什么這些圖像會讓系統找不到正確答案。舉例來說，當AI錯把一張松鼠的圖片誤認為是海獅時，其缺少深層智慧與推理能力的問題就會被直接暴露出來。該系統可能僅依賴于這些動物的紋理——而非對象的相對大小或形狀——進行識別。Hendrycks表示：“那些需要根據物體形狀才能做出正確判斷的照片，似乎最有可能騙過AI模型。”

利用ImageNet-A，研究人員們成功從視覺AI當中找到7000個盲點。但是，這是否意味著可以將這些圖像構建成新的訓練集，從而修復AI模型的這個大毛病?答案恐怕是否定的。Hendrycks指出，“由于現實世界中存在著大量多樣性與復雜性因素，因此利用這些圖像進行訓練可能無法教會模型如何真正可靠地管理全方位的視覺輸入信息。比方說，也許收集并標記1萬億張圖像足以解決一部分模型盲點，但當出現新的場景或者環境發生變化時，以往修復的各個盲點可能會再次暴露出來。”

換言之，簡單將更多照片添加到機器學習數據集當中，無法解決AI模型在邏輯層面的核心缺陷，畢竟總會出現計算機之前從未見過的圖像。那么，研究人員們該如何解決這最后5%的準確性空白?Hendrycks解釋稱，他們需要在現代機器學習范圍之外開發出新的方法，從而創建起更加復雜的AI系統。而在他們實現這一目標之前，人類仍然可以繼續保持一點小小的優越感——截至當下，AI在某些方面仍無法與人類相匹敵。