本文轉載自公眾號“讀芯術”(ID：AI_Discovery)

如今的人工智能存在一個很重要問題：太貴了。訓練現代計算機視覺模型Resnet-152的成本大約為100億浮點運算，這比起現代語言模型相形見絀。

[[350888]]

訓練OpenAI的最新自然語言模型GPT-3預計耗費3000萬億浮點運算，其中在商用GPU上的成本至少為500萬美元。與其相比，人類大腦可以識別面部、回答問題，且只需一杯咖啡就能駕駛汽車。

我們如何做到?

我們已經取得了很大的進展。

第一批電腦的產生有著特殊的目的。1822年，英國數學家查爾斯·巴貝奇(Charles Babbage)為了計算多項式函數創造了“差分機”。1958年，康奈爾大學教授弗蘭克·羅森布拉特(Frank Rosenblatt)創造了“Mark I”，這是單層感知器的物理形式，用于機器視覺任務。硬件和算法在早期是同一種東西。

硬件和算法的統一隨著馮諾依曼體系架構的出現發生了變化，該架構具備由計算處理單元組成的芯片設計以及儲存數據和程序指令的內存單元。這種模式上的轉變使得建造可以針對任何任務進行編程的通用機器成為可能。馮諾依曼體系架構已經成為現代數字計算機的藍圖。

但是這里存在矛盾。數據密集型程序需要進行大量內存單元和計算單元間的通信，這會減緩計算速度。這個“馮諾依曼瓶頸”是人工智能早期嘗試失敗的原因。標準的CPU在深度神經網絡的核心計算操作——大型矩陣乘法中效率不高。由于現有硬件的瓶頸，早期的神經網絡存在技術擱淺并且表現不佳。

有趣的是，問題的解決辦法不是來自學術界，而是來自游戲行業。在1970年代，為加速視頻游戲發展而開發的GPU使得數據密集型操作與數千的計算內核并行化。這種并行化是解決馮諾依曼瓶頸的有效辦法。GPU使得訓練更深層次的神經網絡成為可能，并且成為現代人工智能技術現行使用的硬件。

硬件彩票

人工智能領域研究的成功有很大的運氣成分。谷歌研究員薩拉·胡克(Sara Hooker)稱之為“硬件彩票”：早期的AI研究人員非常不幸，因為他們被速度緩慢的CPU困住了腿腳。在GPU出現時碰巧從事AI領域的研究人員“贏得了”硬件彩票。他們可以通過利用GPU的高效加速功能來訓練神經網絡，從而取得飛速的進展。

硬件彩票所體現的問題在于，一旦這整個領域中的人都成為了贏家，就很難探索出新事物。硬件的發展速度緩慢，需要芯片制造商進行大量回報不確定的前期投資。一個保險的做法就是對矩陣乘法進行優化，這已成為現狀。然而長期來說，這種關注于硬件和算法一個特定組合的做法會限制我們的選擇。

讓我們回到最開始的問題。為什么當今的人工智能如此昂貴?答案可能是我們還不具備合適的硬件。硬件彩票的存在加以商業激勵的機制，使得我們在經濟上難以擺脫目前的現狀。

一個很好的例子是Geoffrey Hinton的膠囊神經網絡——一種新穎的計算機視覺方法。谷歌研究人員Paul Barham和Michael Isard發現這種方法在CPU上很有成效，但是在GPU和TPU上效果不佳。

這背后的原因是什么呢?加速器的優化都針對例如標準矩陣乘法等最頻繁的操作，但缺少對膠囊卷積的優化。他們得出的結論(同時也是論文的標題)是：機器學習系統陷入困境。

AI研究人員可能會“過度適應”現有的硬件，從長遠來看，這將抑制該領域的創新。

前進的道路

“取得下一步的突破可能需要采用一種本質與以往不同的角度：將硬件、軟件與算法結合起來對世界進行建模。”

在人腦中，記憶和計算不是兩個獨立的部分，相反它們發生在同一個地點：神經元中。記憶來源于神經元通過突觸連接在一起的方式，而計算來源于神經元觸發并傳播感官輸入的信息的方式。就像早期的計算機一樣，硬件和算法是同一個東西。這與我們當今構建人工智能的方法不同。

由GPU和TPU驅動的深度神經網絡雖然在當今的許多任務中表現出色，但不是長遠辦法。也許它們只是硬件與算法的組合體系結構在廣闊前景之下的局部最優解。

意識到僅有算法還遠遠不夠是前進道路的開端。下一代的人工智能需要在硬件和算法方面都進行創新。在GPU出現之前，AI研究止步不前。如果沒有硬件上的突破，我們可能會再次陷入發展停滯的困境。