研究想法能否成功要看是否具備合適的軟硬件，而不是這個想法是否比其他研究方向優(yōu)秀。

天時、地利、人和，三者不得，雖勝有殃。

——《孫子兵法》

一件事的成敗總會牽涉多個因素，例如兵法中的「天時」、「地利」、「人和」。在計算機科學(xué)歷史上，也有類似的現(xiàn)象，如「硬件」、「軟件」、「算法」三要素對研究想法成敗的影響。

近日，谷歌大腦研究員 Sara Hooker 寫了一篇論文，她用「硬件彩票」（hardware lottery）來描述：一個研究想法的成功是因為具備了合適的軟硬件，而不是這個想法比其他研究方向更加優(yōu)秀。早期計算機科學(xué)史的許多例子表明，硬件彩票通過把成功的研究想法看作失敗，而拖慢了研究進度。而領(lǐng)域?qū)Ｓ糜布某霈F(xiàn)使研究想法偏離慣常路徑的成本增加，這就讓這一現(xiàn)象更加顯著。

論文地址：

https://arxiv.org/pdf/2009.06489v1.pdf

這篇論文指出，算力進步帶來的收獲可能更加不均勻，某些研究方向走上了快車道，而有的則困難重重。

人工智能領(lǐng)域，硬件決定 idea 的成敗

歷史告訴我們，科學(xué)進展并非是一帆風(fēng)順的。知識傳統(tǒng)和可用工具會使科學(xué)家對特定想法形成不同的認(rèn)知，這為判斷研究想法是否有潛力增加了噪聲。這篇論文指出，在人工智能研究領(lǐng)域中，工具對于判斷研究想法的成敗起到了絕大部分的作用。

這篇論文用「硬件彩票」來描述這一現(xiàn)象：一個研究想法的成功是因為它可以與當(dāng)時的軟硬件兼容，而不是因為這個想法比其他研究方向優(yōu)秀。在早期計算機科學(xué)史上，軟硬件選擇常常對決定研究想法的成敗起到?jīng)Q定性作用。

隨著我們進入軟件、硬件和機器學(xué)習(xí)研究社區(qū)更加緊密合作的新時代，這些經(jīng)驗愈發(fā)凸顯。過去幾十年，人們將硬件、軟件和算法看作割裂的選項，但促使近期三者更加緊密協(xié)作的催化劑就包括正在改變的硬件、深度學(xué)習(xí)架構(gòu)「規(guī)模越大性能越好」的理念，以及將機器學(xué)習(xí)部署到邊緣設(shè)備的需求。

軟硬件和機器學(xué)習(xí)算法之間更緊密合作的核心是新一代領(lǐng)域?qū)Ｓ糜布鼈冡槍ι疃壬窠?jīng)網(wǎng)絡(luò)的商用進行了優(yōu)化。盡管領(lǐng)域?qū)Ｓ糜布橹髁魃疃壬窠?jīng)網(wǎng)絡(luò)研究帶來了重要的效率提升，但這也使得研究想法偏離既有路徑的成本增加。更加碎片化的硬件市場意味著基于算力進展獲得的收益將變得更加不均衡。盡管深度神經(jīng)網(wǎng)絡(luò)已經(jīng)有了明確的商用場景，但目前已經(jīng)出現(xiàn)了早期信號，提醒我們要實現(xiàn) AI 的下一個突破可能需要完全不同的算法、硬件和軟件組合。

硬件、軟件、算法：三個獨立的部落

對于首批計算機的創(chuàng)造者而言，程序是機器。早期的機器是單獨使用的，且不會適應(yīng)新的任務(wù)，原因在于電子器件成本高且缺乏跨任務(wù)的軟件。

查爾斯 · 巴貝奇的差分機僅用于計算多項式函數(shù) (1817)。美國第一部大尺度自動數(shù)位電腦馬克一號（Mark I）是可編程計算器（1944）。Rosenblatt 的感知器用來計算 step-wise 單層網(wǎng)絡(luò)（1958）。甚至常被認(rèn)為是首批可編程機器的雅卡爾織布機重新穿孔的成本也很高，因此它通常只穿孔一次 (1804)。

[[345628]]

早期計算機馬克一號（Mark I）

這些早期計算機的專用性是出于當(dāng)時的需要，而不是計算機設(shè)計師認(rèn)為一次性的定制硬件更好。但是，需要指出的是，人類智能本身就是算法和機器的結(jié)合。我們一生中不會長出多個大腦。而人類智能的概念本質(zhì)上與 1400g 腦組織和大腦中 850 億神經(jīng)元之間的連接密切相關(guān)。當(dāng)我們談?wù)撊祟愔悄軙r，你腦海中浮現(xiàn)出的圖像可能是粉色帶褶皺的一團（🧠）。也就是說，在想到認(rèn)知智能的時候，我們無法不聯(lián)想到支持它運行的硬件。

[[345629]]

與早期計算硬件不得已的專用化不同，今天的機器學(xué)習(xí)研究者傾向于將硬件、軟件和算法看作三個獨立的選擇。這很大程度上是由于計算機科學(xué)史上那段徹底改變硬件類型的時期，促進了硬件、軟件和機器學(xué)習(xí)研究社區(qū)獨立發(fā)展。

通用計算機時代

1969 年，通用計算機時代進入蓬勃發(fā)展時期，當(dāng)時年輕的工程師戈登 · 摩爾（Gordan Moore）已在 Electronics 期刊上發(fā)表文章《Cramming more components onto circuit boards》(Moore, 1965)。摩爾預(yù)測集成電路上可容納的晶體管數(shù)目，約每兩年便會增加一倍。最初，這篇文章及其后續(xù)動向都起源于一個簡單的心愿——摩爾想賣出更多芯片。然而，這一預(yù)測卻在接下來的 50 年中推動將能源轉(zhuǎn)換為信息的成本顯著下降。

摩爾定律和登納德縮放比例定律的結(jié)合使得，1980-2010 年間微處理器的性能增長了三個數(shù)量級。每兩年算力和內(nèi)存增加一倍意味著硬件設(shè)計能夠趨避風(fēng)險。即使對于需要更高性能的任務(wù)而言，轉(zhuǎn)向?qū)Ｓ糜布氖找嬉矔芸毂幌乱淮ㄓ糜布健?/p>

于是，硬件社區(qū)的重心轉(zhuǎn)向能夠處理大量不同任務(wù)的通用處理器。當(dāng)摩爾定律能使芯片制造商獲得可預(yù)計的利潤時，為什么還要為了不確定的獎勵去試驗專用硬件設(shè)計呢？于是，為研究目的生產(chǎn)專用計算機的嘗試逐漸在資金上捉襟見肘，無法持續(xù)。不過也有例外，譬如國際象棋這類極少數(shù)任務(wù)，它們因為打敗人類對手這一名頭而吸引了大量企業(yè)贊助。

割裂地看待硬件、軟件和算法的態(tài)度一直持續(xù)到最近。不管是從時間還是資金的角度來看，探索新型硬件的成本都是很高的。生產(chǎn)下一代芯片通常需要 3000-8000 萬美元和 2-3 年的開發(fā)時間。這些過高的進入門檻帶來了一種奇怪的硬件研究文化，或者對于一般機器學(xué)習(xí)研究者而言硬件進化過于慢了。在過去 30 年中，機器學(xué)習(xí)論文數(shù)量出現(xiàn)指數(shù)級增長，而硬件論文仍然維持著原有的節(jié)奏。對于硬件公司而言，知識產(chǎn)權(quán)的泄露可以讓它生讓它死。而這導(dǎo)致了更加閉塞的研究文化。

在沒有任何杠桿能夠影響硬件發(fā)展時，機器學(xué)習(xí)研究者理性地將硬件看作沉沒成本，而不是可塑造的事物。但是，不關(guān)注硬件不意味著它不存在。早期計算機科學(xué)史告訴我們硬件彩票的存在，即硬件和軟件的選擇決定了研究想法的成敗。

硬件彩票

如果你只有一把錘子，那么你看什么都像釘子。

——亞伯拉罕 · 馬斯洛，1966

《安娜 · 卡列尼娜》的第一句話是：「幸福的家庭都是相似的，不幸的家庭各有各的不幸。」托爾斯泰用這句話表達(dá)，幸福的婚姻需要很多要素：財務(wù)穩(wěn)定、兩性吸引力、共同的價值觀，健康的后代，而只要其中一項出現(xiàn)問題，家庭就會被毀掉。這后來以「安娜 · 卡列尼娜原則」的名義流行開來：「只要一個因素出現(xiàn)問題，則注定失敗。」(Moore, 2001)。

盡管我們傾向于相信算法的成敗是孤立的，但歷史告訴我們，大部分計算機科學(xué)突破都遵循了安娜 · 卡列尼娜原則。成功與失敗往往可以通過是否從多個因素中受益來進行判斷。對于 AI 研究而言，這往往取決于「硬件彩票」，避免下游軟硬件選擇出現(xiàn)失誤。

硬件彩票的早期例證是英國數(shù)學(xué)家查爾斯 · 巴貝奇 1837 年設(shè)計的分析機，（理論上）經(jīng)過編程后它可以解決任意類型的計算。然而分析機并未被真正制造出來，因為巴貝奇難以制造出具備足夠精度的組件。能夠?qū)⒉闋査?· 巴貝奇所構(gòu)建的理論基礎(chǔ)變?yōu)楝F(xiàn)實的電磁技術(shù)在二戰(zhàn)期間才出現(xiàn)。

20 世紀(jì)上半葉，電子真空管廣泛用于無線電通信和雷達(dá)。二戰(zhàn)期間，這些真空管被用來為破解德國英格瑪密碼提供算力。

在美劇《硅谷》中，常常會出現(xiàn)「捷足未必先登」的情況。直到巴貝奇 1871 年逝世時，他的想法和現(xiàn)代計算之間仍然沒有建立起連續(xù)的路徑。一個世紀(jì)后，隨著合適的工具出現(xiàn)并證明這一想法 work，其存儲程序、條件分支等概念才被重新發(fā)現(xiàn)。

失落的幾十年

因為硬件彩票而導(dǎo)致?lián)p失的最顯著例子或許就是深度神經(jīng)網(wǎng)絡(luò)了。使深度神經(jīng)網(wǎng)絡(luò) work 的大多數(shù)算法組件已經(jīng)存在數(shù)十年：反向傳播（1963 年提出 (K & Piske, 1963)，1976 年被重新發(fā)現(xiàn) (Linnainmaa, 1976)，1988 年再次被重新發(fā)現(xiàn) (Rumelhart et al., 1988)）、深度卷積神經(jīng)網(wǎng)絡(luò)（(Fukushima & Miyake, 1982)，1989 年卷積神經(jīng)網(wǎng)絡(luò)隨反向傳播一起被提出 (LeCun et al., 1989)）。但是，三十年后，深度神經(jīng)網(wǎng)絡(luò)被廣泛接受，成為前途無量的研究方向。

算法發(fā)展和實證成功的差距很大一部分來源于硬件不兼容。在通用計算機時代，CPU 等硬件得到廣泛支持和應(yīng)用。CPU 擅長執(zhí)行復(fù)雜指令集，但會帶來較高的內(nèi)存成本，因為它需要緩存中間結(jié)果，且一次處理一條指令。這被叫做馮諾依曼瓶頸：可用算力受限于「CPU 和內(nèi)存之間的數(shù)據(jù)傳輸帶寬，而數(shù)據(jù)需要沿著這個通道順序傳遞」(Time, 1985)。

馮諾依曼瓶頸尤其不適合矩陣相乘，而這正是深度神經(jīng)網(wǎng)絡(luò)架構(gòu)的核心組件。因此，在 CPU 上執(zhí)行訓(xùn)練會很快窮盡內(nèi)存帶寬，因而無法訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)。1980 年代的《Parallel Models of Associative Memory》系列文章指出了對支持大量并行化的硬件的需求。這些文章認(rèn)為，生物證據(jù)表明需要大量并行化才能使深度神經(jīng)網(wǎng)絡(luò)方法運行。

1980/90 年代末，神經(jīng)網(wǎng)絡(luò)專用硬件的概念過了新奇的階段。但是，相關(guān)的嘗試仍然受到缺乏共享軟件和硬件開發(fā)成本的阻礙。大多數(shù)真正可用的嘗試，如 1985 年的連接機、1992 年的 Space、1989 年的 Ring Array Processor 和日本第五代計算機項目，旨在支持邏輯編程，如 PROLOG 和 LISP，而它們并不適合聯(lián)結(jié)主義深度神經(jīng)網(wǎng)絡(luò)。后續(xù)的迭代（如 HipNet-1 和 1991 年的模擬神經(jīng)網(wǎng)絡(luò)芯片）很有前景但存續(xù)時間并不長，因為它們迭代成本高昂且需要 custom silicon。沒有消費者市場，自然也就沒有能使之財政狀況良好的終端用戶臨界規(guī)模了。

21 世紀(jì)初距離第一篇反向傳播論文的發(fā)表已經(jīng)過去了四十年，人們意識到要運行聯(lián)結(jié)主義深度神經(jīng)網(wǎng)絡(luò)，硬件必須支持大量并行化，因此硬件方面需要出現(xiàn)突破。

很多發(fā)明后來的用途都背離了設(shè)計者的初衷。愛迪生發(fā)明的留聲機本意并非演奏音樂，他的最初設(shè)想是用它保留將死之人的遺言或者教別人拼讀。事實上他對留聲機用來演奏流行音樂感到失望。類似地，深度神經(jīng)網(wǎng)絡(luò)也只在現(xiàn)有技術(shù)的用途得到重新定位后才開始 work。

GPU 最初作為視頻游戲?qū)Ｓ眉铀倨饔?1970 年代出現(xiàn)，可用于為電影和動畫做圖。21 世紀(jì)初，像愛迪生發(fā)明的留聲機一樣，GPU 被用于完全想象不到的使用場景：訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)。GPU 比 CPU 具備一個核心優(yōu)勢，它們更擅長并行化處理一組簡單的可分解指令，如矩陣相乘。更大的每秒浮點數(shù)（FLOPS）加以在多個 GPU 之間進行分布式訓(xùn)練，為深度網(wǎng)絡(luò)的訓(xùn)練開啟了大門。

這時，網(wǎng)絡(luò)層數(shù)成為關(guān)鍵。ImageNet 數(shù)據(jù)集上的性能隨著網(wǎng)絡(luò)深度的增加而不斷提升，如 2011 (Ciresan et al., 2011)、2012 (Krizhevsky et al., 2012) 和 2015 (Szegedy et al., 2015b)。2012 年谷歌發(fā)表論文，使用 16,000 個 CPU core 來識別貓 (Le et al., 2012)，一年后谷歌僅用兩個 CPU core 和 4 塊 GPU 就解決了相同的問題 (Coates et al., 2013)，這個例子證明了效率的躍升。

軟件彩票

軟件在研究想法成敗中也發(fā)揮一定作用。在 20 世紀(jì) 90 年代中期之前，Prolog 和 LISP 語言廣受 AI 社區(qū)支持。當(dāng)時，人們希望 AI 學(xué)生積極掌握其中一門或兩門語言。Prolog 和 LISP 尤其適合處理邏輯表達(dá)式，而這正是推理和專家系統(tǒng)的核心部分。

對于想要研究聯(lián)結(jié)主義 idea（如深度神經(jīng)網(wǎng)絡(luò)）的研究人員，當(dāng)時并沒有適合的語言，直到 1992 年 Matlab 出現(xiàn)。用 LISP 或 Prolog 實現(xiàn)聯(lián)結(jié)主義網(wǎng)絡(luò)很難，大多數(shù)研究者使用的是低級語言，如 C++。到了 21 世紀(jì)初，隨著 LUSH、TORCH 的出現(xiàn)，才開始形成支持適合深度神經(jīng)網(wǎng)絡(luò)的軟件開發(fā)的更健康生態(tài)系統(tǒng)。

有得也有失。從 1960 年代至 1980 年代中期，大部分主流研究聚焦于符號方法。深度神經(jīng)網(wǎng)絡(luò)自行學(xué)習(xí)充足的表示，而符號方法旨在構(gòu)建知識庫，使用決策規(guī)則復(fù)制人類解決問題的方式。這通常被編碼為邏輯序列，其中的語句非常適合 LISP 和 PROLOG 語言。

符號方法并未結(jié)出豐碩的果實，但這一研究方向在二十世紀(jì)下半葉廣泛而持續(xù)的流行離不開它與當(dāng)時編程和硬件框架的適配度。

未來之路

機器編碼系統(tǒng)很大程度上應(yīng)從算子獲取結(jié)果的容易程度進行判斷。

當(dāng)存在多個因素促使科學(xué)家克服現(xiàn)有范式的「黏性」時，科學(xué)進步就會發(fā)生。AI 領(lǐng)域中范式轉(zhuǎn)變的速度主要由硬件、軟件和算法的匹配程度決定。因此，任何避免硬件彩票的嘗試，都需要探索不同的「硬件 - 軟件 - 算法」組合，以降低成本和時間。

然而，說來容易做來難。擴展硬件 - 軟件 - 算法組合的搜索空間是一項棘手的任務(wù)。從時間和資金的角度來看，探索新的硬件類型成本高昂。生產(chǎn)下一代芯片通常需要 3000-8000 萬美元和 2-3 年的開發(fā)時間。僅建一家制造廠的成本就很高，2017 年這一成本約為 70 億美元。

使用強化學(xué)習(xí)來優(yōu)化芯片布局的實驗可能有助于降低成本。這也使大家對現(xiàn)場可編程門陣列（FPGA）和粗粒度可重構(gòu)陣列（CGRA）等可重構(gòu)硬件重新產(chǎn)生了興趣。這些設(shè)備允許重構(gòu)芯片邏輯，從而避免單一應(yīng)用。但是，換取靈活性的代價是更高的 FLOPS 和定制化的軟件開發(fā)。在 FPGA 上即使編碼簡單的算法也非常麻煩和耗時。

中短期來看，硬件開發(fā)可能仍然成本高昂且周期較長。生產(chǎn)硬件的成本很重要，因為這決定了硬件開發(fā)者愿意忍受的風(fēng)險程度和試驗數(shù)量。對適合深度神經(jīng)網(wǎng)絡(luò)的硬件的投資已經(jīng)有所保障，因為神經(jīng)網(wǎng)絡(luò)是許多商業(yè)用例的基礎(chǔ)。深度學(xué)習(xí)下游用例的盈利能力刺激了硬件創(chuàng)業(yè)公司的健康生態(tài)系統(tǒng)，以進一步加速深度神經(jīng)網(wǎng)絡(luò)，鼓勵大企業(yè)內(nèi)部開發(fā)定制硬件。

瓶頸仍然是針對無法立即商用案例的硬件投資。這些高風(fēng)險的方向包括生物學(xué)硬件、內(nèi)存內(nèi)計算的模擬硬件、神經(jīng)形態(tài)計算、光學(xué)計算和量子計算。使用新材料開發(fā)晶體管也存在較高風(fēng)險。

從之前的硬件彩票示例中我們可以學(xué)到一些經(jīng)驗，投資應(yīng)當(dāng)持續(xù)地來自私人和公共資助項目。公共部門對提供此類專門資源的興趣正在緩慢地覺醒，如 2018 DARPA Electronics Resurgence Initiative 承諾向微電子技術(shù)研究投入 15 億美元，中國宣布投資 470 億美元支持半導(dǎo)體研究。但是，如此大規(guī)模的投資仍然可能是杯水車薪，因為基于新材料的硬件需要 10-20 年的時間，公共投資目前仍遠(yuǎn)遠(yuǎn)低于行業(yè)研發(fā)水平。