最近，美國計算機科學家，圖靈獎獲得者Jack Dongarra表示，機器學習的硬件正在被我們大量使用。

這是一個不爭的事實。

和任何一個機器學習的開發(fā)人員聊聊天，你就能發(fā)現(xiàn)，運行或者建立一個GPT模型真的太貴了。

主要原因就是，對傳統(tǒng)的，和過時的GPU的高度依賴。

Dongarra進一步強調，我們必須更好地利用已有的資源，這件事是非常有必要的。

他認為，為了資源的更高效利用，我們應該找到最好的應用方式、最恰當?shù)沫h(huán)境。同時，軟件框架的開發(fā)也同樣重要。合適的框架可以有效推動計算，支持硬件性能。

具體來說，Dongarra提出了一種多維的計算方法，這是一種囊括CPU、GPU、機器學習、神經(jīng)形態(tài)、光學，以及量子計算等等各種技術的高性能計算機。

量子技術是一個有發(fā)展前景的領域。因此，Dongarra認為，上面提到的這些，都會是未來高性能計算機的一部分。

「把他們結合在一起，我們才能應對未來更多的挑戰(zhàn)。」

資本與創(chuàng)新，兩手抓

Dongarra認為，資本與創(chuàng)新兩手抓是非常有必要的。

亞馬遜有自己的硬件資源——Graviton，谷歌有TPU，微軟也有自己的硬件。

這一切的基礎是——他們有錢，可以投資研發(fā)各種硬件。

而Dongarra表示，在高性能計算的研究領域，經(jīng)費就沒這么充足了。

簡單來說，沒那么多錢，投資不了硬件來解決具體問題。

在將蘋果公司的技術實力與惠普和IBM等傳統(tǒng)計算機公司進行比較時，Dongarra指出了市值上的巨大差異。雖然蘋果公司的價值飆升至數(shù)萬億美元，但惠普和IBM的市值總和還沒有達到萬億美元大關。

"我們有基于云的公司，他們的收入數(shù)額可以創(chuàng)新，并建立自己的硬件。例如，iPhone由許多處理器組成，專門為幫助iPhone做什么而設計。他們正在用硬件取代軟件。他說："他們這樣做是因為它更快，而且與一般的高性能計算社區(qū)有很大不同。

另一方面，超級計算機主要是使用英特爾和AMD等公司的現(xiàn)成組件構建的。這些處理器通常輔以GPU，整個系統(tǒng)通過InfiniBand或以太網(wǎng)等技術連接。

Dongarra解釋說，依賴這些超級計算機的科學家面臨著資金限制，限制了他們投資于專門的硬件開發(fā)的能力。

IBM一直處于量子的前沿，但在上周的一次會議上，首席執(zhí)行官Arvind Krishna公布了一個愿景，強調在未來十年內(nèi)，IBM將混合云技術和人工智能與量子計算相結合的潛力。

雖然該公司通常被認為是傳統(tǒng)的，因為它專注于硬件，但最近在生成性人工智能方面的飛躍表明了這一點。

LINPACK背后的故事

Dongarra在計算機科學還沒發(fā)展起來之前，想當一名高中老師。

后來，他展現(xiàn)出了他通才的一面。

Dongarra在芝加哥附近的阿貢國家實驗室工作期間，對數(shù)值方法和軟件開發(fā)產(chǎn)生了濃厚興趣。

在他從事數(shù)值計算軟件開發(fā)工作的過程中，他的經(jīng)歷進一步鞏固了他對這個領域的興趣。

這段經(jīng)歷讓Dongarra獲得了碩士學位。

不久之后，Dongarra開始了他在新墨西哥大學的征程。在此期間，他通過創(chuàng)建LINPACK基準測試，對超級計算機性能的衡量做出了突破性貢獻。

后來，他又與Hans Meuer共同創(chuàng)建了1993年的標志性Top500榜單，跟蹤高性能計算的進展，展示全球最快的計算機。

如今，Dongarra通過在田納西大學的持續(xù)研究，繼續(xù)塑造計算的未來，探索超級計算和人工智能的融合。隨著人工智能和機器學習繼續(xù)發(fā)展，他的工作現(xiàn)在集中在優(yōu)化高性能系統(tǒng)上算法的性能，實現(xiàn)更快、更準確的計算。

「2001太空漫游」的粉絲

Dongarra是誰？他是1980年代，在計算機領域不得不提到的人物。

「幾乎在每個轉折點，我們都能看到計算機科學家尋找解決問題的替代方法。現(xiàn)在，他們將AI視為一種方法。但是人工智能不會解決問題，它會在解決問題的方案上幫助他們，」2021年ACM圖靈獎的獲得者這樣說道。

他因為對保證高性能計算軟件與硬件技術的進步保持同步的貢獻而獲得了這個獎項。

「人工智能最近真正起飛了，造成這一點的原因有很多——一是因為，我們今天在互聯(lián)網(wǎng)上擁有大量的數(shù)據(jù)。可以挖掘這些資源來訓練AI。同時，我們有可以以非常快的速度進行計算的處理器，我們有可以被優(yōu)化并在幫助訓練中非常有效地使用的計算設備。」

Dongarra還強調了線性代數(shù)在人工智能算法中的關鍵作用，強調了高效矩陣乘法和最陡下降算法的重要性。

「許多事情都已經(jīng)到位，讓人工智能機器學習成為一個非常有用的資源。AI在許多科學領域都產(chǎn)生了巨大影響，比如藥學、氣候建模和生物學、藥物發(fā)現(xiàn)、宇宙學和高能物理學。」他進一步補充道。

而關于通用人工智能（AGI），Dongarra認為，我們應該開發(fā)機器來自動化日常任務，協(xié)助科學模擬和建模。

但他認為，我們應該保持謹慎，因為網(wǎng)絡上大量未經(jīng)過濾的信息可能會誤導人。

Dongarra還是電影2001：太空漫游的粉絲。

「《2001：太空漫游》是一部很好的電影，它以一種獨特的方式看待AI。我第一次看到它的時候覺得它很吸引人，我到現(xiàn)在還是很喜歡這個故事。這部電影里包含不少和今天相關的東西。」他總結道。

參考資料：

https://analyticsindiamag.com/turing-award-winner-warns-of-machine-learning-hardware-abuse/