研究遭質疑，Jeff Dean回應：我們本就不是為得到新SOTA，成本計算也搞錯了
?昨日，整個社區最熱門的話題無外乎是 reddit 上一名機器學習研究者對谷歌 AI 負責人 Jeff Dean 參與論文的質疑?。這篇論文是《An Evolutionary Approach to Dynamic Introduction of Tasks in Large-scale Multitask Learning Systems》，于周四被提交到預印版論文平臺 arXiv 上。
在論文中，Jeff Dean 等人提出了一種進化算法，可以生成大規模的多任務模型，同時也支持新任務的動態和連續添加，生成的多任務模型是稀疏激活的，并集成了基于任務的路由。新方法在 69 個圖像分類任務上取得有競爭力的結果，例如對僅在公共數據上訓練的模型，在 CIFAR-10 上實現了新的業界最高識別準確度 99.43%。
正是這個在 CIFAR-10 上實現的新 SOTA 遭到了質疑，此前的 SOTA 為 99.40。她表示，「產生這一結果需要總計 17,810 小時的 TPU 核心小時數，如果你不在谷歌工作，這意味著必須使用 3.22 美元 / 小時的按需付款，訓練好的模型成本需 57,348 美元?！?/p>
因此，她發出靈魂一問，「Jeff Dean 花了足夠養活一個四口之家五年的錢，獲得了在 CIFAR-10 上 0.03% 的改進，創建了新的 SOTA，這一切值得嗎？」
這一質疑得到了眾多領域人士的附和。有研究人員甚至悲觀地表示，「我幾乎對深度學習失去了興趣，作為小型實驗室的從業者，在計算預算方面基本上不可能比得過科技巨頭。即使你有一個很好的理論想法，主流環境可能也存在偏見，讓它難以看到曙光。這釀成了一個不公平的競爭環境。」
隨著該話題的繼續發酵，Jeff Dean 親自在 reddit 上進行了回應。他表示，「我們這項研究的目標不是為了得到一個更高質量的 cifar10 模型，而且原帖作者成本計算的方式也有問題。」
Jeff Dean 回應全文
這篇論文是我和 Andrea Gesmundo 兩人一起完成的，其中 Andrea Gesmundo 做了論文大部分工作。
論文地址：https://arxiv.org/pdf/2205.12755.pdf
我想說的是，這項研究的目標不是得到一個高質量的 cifar10 模型。相反，這項研究是探索一種設置，可以動態地將新任務引入正在運行的系統中，并成功地為新任務獲得一個高質量的模型，該模型將重用現有模型中的表示并稀疏地引入新參數，同時避免了災難性遺忘或負遷移等多任務系統問題。
該研究的實驗表明，我們可以從幾個獨立的可視化任務基準中動態地引入 69 個不同任務流，最終得到一個多任務系統，它可以為所有這些任務聯合產生高質量的解決方案。所得到的模型對任何給定的任務都是稀疏激活的，系統為新任務引入的新參數越來越少（參見下圖 2）。多任務系統在這個任務流的末尾只為增量任務引入了 1.4% 的新參數，每個任務平均激活模型總參數的 2.3%。任務之間有相當多的表示共享，演化過程有助于確定何時有意義以及何時應該為新任務引入新的可訓練參數。
我還認為原貼作者對成本的計算是錯誤的，實驗是訓練一個多任務模型來共同解決 69 個任務，而不是訓練一個 cifar10 模型。從下表 7 中可以看出，所使用的計算是 TPUv3 核和 TPUv4 核的混合，因此不能簡單地計算核小時數，因為它們的價格不同。
除非你有特別緊急的任務，需要快速訓練 cifar10+68 個任務，其實這類研究可以很容易地使用可搶占價格的資源，即 0.97 美元 / 小時 TPUv4、0.60 美元 / 小時 TPUv3(不是他們所說的你必須按需定價 3.22 美元 / 小時)。在這些假設下，表 7 中描述的計算公共云成本大約是 13960 美元（使用 12861 TPUv4 芯片小時和 2474.5 TPUv3 芯片小時的可搶占價格），或者說是大約 202 美元 / 任務。
我認為擁有稀疏激活的模型很重要，且能夠動態地將新任務引入到現有系統中，該系統可以共享表示（在適當的情況下）并避免災難性遺忘，這些研究至少值得探索。該系統還有一個優點，即新任務可以自動被納入系統，而無需為此進行專門制定（這就是進化搜索過程所做的），這似乎是一個持續學習系統的有用屬性。
這篇論文的代碼是開源的，大家可以自行查看。
代碼地址：https://github.com/google-research/google-research/tree/master/muNet
原貼作者回復 Jeff Dean
在看到 Jeff Dean 的回復后，原貼作者表示：澄清一下，我認為 Jeff Dean 的這篇論文（在每個任務中用來產生模型擴充的進化模式）真的很有趣，這讓我想起了另一篇論文，但我不記得標題了，論文大概是講對于每個新任務，向整個體系架構添加新的模塊，將其他模塊的隱藏狀態作為每層輸入的一部分，但不更新現有組件的權重。
我還有一個想法，在每個任務的模型中構建模塊。你知道小鹿是如何在出生后幾分鐘內就能走路的嗎？相比之下，在那個時候，剛出生的小鹿基本上沒有「訓練數據」來學習感知運動或對世界進行建模，而是必須利用大腦中的特殊結構，而這些結構必須能夠繼承以讓小鹿擁有基本技能。這些結構將是非常有用的，所以在某種意義上，它將迅速推廣到一個新的但相關的控制任務。
因此，這篇論文讓我想到了那些已經存在的可繼承結構的發展，這些結構可以用來更有效地學習新任務。
另一家實驗室的研究人員可能有相同的 idea，但得到的結果要差得多，因為他們負擔不起從現有設置轉移到大型云平臺的費用。并且，由于現在社區過度關注 SOTA 結果，他們的研究也無法發表。即使費用「僅為」202 美元 / 每任務，但必須經過多次迭代才能將事情做好。
因此，對于我們這些無法獲得足夠計算預算的人來說，我們的選擇基本上只有兩種。一是祈禱并希望谷歌能夠公開分發現有的模型，然后我們根據自身需求進行微調。但結果是，模型可能已經學習到我們無法消除的偏見或對抗性弱點。二是啥都不做，躺平。
所以，我的問題不僅僅在于這項研究。如果 OpenAI 想在 GPT-4 上花費上百萬億美元（打個比方），那就賦予它更多的權力。這是一種過度獎勵浮華、大數目和奢侈的科學和出版文化，而無益于幫助人們更好地完成實際的工作。我最喜歡的論文是 van der Oord 在 2019 年發表的《Representation Learning with Contrastive Predictive Coding》，它使用無監督預訓練任務，然后對一個小的標簽子集進行監督訓練，以實現復制標記所有數據的準確率結果，并從數據效率的角度討論這種提升。我在工作中復現并使用了這些結果，節省了自己的時間和金錢。就憑這篇論文，我就愿意成為他的博士生。
但是，OpenAI 在論文《Language Models are Few-Shot Learners》中提出了更大的 transformer 模型 GPT-3，獲得了近四千次引用以及 NeurIPS 2020 最佳論文獎，還獲得整個媒體的關注。?
