本文經AI新媒體量子位（公眾號ID:QbitAI）授權轉載，轉載請聯系出處。

如今深度學習模型開發已經非常成熟，進入大規模應用階段。

然而，在設計模型時，不可避免地會經歷迭代這一過程，它也正是造成模型設計復雜、成本巨高的核心原因，此前通常由經驗豐富的工程師來完成。

之所以迭代過程如此“燒金”，是因為在這一過程中，面臨大量的開放性問題 （open problems）。

這些開放性問題究竟會出現在哪些地方？又要如何解決、能否并行化解決？

現在一篇論文綜述終于對此做出介紹，發出后立刻在網上爆火。

作者嚴謹地參考了接近300篇文獻，對大量應用深度學習中的開放問題進行分析，力求讓讀者一文了解該領域最新趨勢。

網友們紛紛在評論區留言“碼住”、“了解深度學習領域現狀必讀”。

一起來看看內容。

這篇論文要研究什么？

眾所周知，當我們拿到一個機器學習問題時，通常處理的流程分為以下幾步：收集數據、編寫模型、訓練模型、評估模型、迭代、測試、產品化。

在這篇論文中，作者把上述這些流程比作一個雙層次的最佳化問題。

內層優化回路需要最小化衡量模型效果評估的損失函數，背后是為了尋求最佳模型參數而進行的深入研究的訓練過程。

而外層優化回路的研究較少，包括最大化一個適當選擇的性能指標來評估驗證數據，這正是我們所說的“迭代過程”，也就是追求最優模型超參數的過程。

論文中用數學符號表示如下：

其中，Mval表示一個性能指標，如精度，平均精度等。Ltrain表示損失函數，w表示模型參數。

這樣一來，僅用一個清晰統一的數學公式就能解釋迭代的步驟。

不過，值得注意的是，面對不同的問題，它的解也需要特定分析，有時候情況甚至會非常復雜。

例如，評估度量Mval是一個離散且不可微的函數。它并未被很好地定義，有時候甚至在某些自我監督式和非監督式學習以及生成模型問題中不存在。

同時，你也可能設計了一個非常好的損失函數Ltrain，結果發現它是離散或不可微的，這種情況下它會變得非常棘手，需要用特定方法加以解決。

因此，本篇論文的研究重點就是迭代過程中遇到的各種開放性問題，以及這些問題中可以并行解決優化的部分案例。

開放性問題，不能那么輕易地只用一個簡單的“是”、“不是”或者其他一個簡單的詞或數字來回答的問題。

機器學習中開放問題有哪些？

論文將開放性問題類型分為監督學習和其他方法兩大類。

值得一提的是，無論是監督學習還是其他方法，作者都貼心地附上了對應的教程地址：

如果對概念本身還不了解的話，點擊就能直接學到他教授的視頻課程，不用擔心有困惑的地方。

首先來看看監督學習。

這里我們不得不提到AutoML。作為一種用來降低開發過程中迭代復雜度的“偷懶”方法，它目前在機器學習中已經應用廣泛了。

通常來說，AutoML更側重于在監督學習方法中的應用，尤其是圖像分類問題。

畢竟圖像分類可以明確采用精度作為評估指標，使用AutoML非常方便。

但如果同時考慮多個因素，尤其是包括計算效率在內，這些方法是否還能進一步被優化？

在這種情況下，如何提升性能就成為了一類開放性問題，具體又分為以下幾類：

大模型、小模型、模型魯棒性、可解釋AI、遷移學習、語義分割、超分辨率&降噪&著色、姿態估計、光流&深度估計、目標檢測、人臉識別&檢測、視頻&3D模型等。

這些不同的領域也面臨不同的開放性問題。

例如大模型中的學習率并非常數、而是函數，會成為開放問題之一，相比之下小模型卻更考慮性能和內存（或計算效率）的權衡這種開放性問題。

其中，小模型通常會應用到物聯網、智能手機這種小型設備中，相比大模型需求算力更低。

又例如對于目標檢測這樣的模型而言，如何優化不同目標之間檢測的準確度，同樣是一種復雜的開放性問題。

在這些開放性問題中，有不少可以通過并行方式解決。如在遷移學習中，迭代時學習到的特征會對下游任務可泛化性和可遷移性同時產生什么影響，就是一個可以并行研究的過程。

同時，并行處理開放性問題面臨的難度也不一樣。

例如基于3D點云數據同時施行目標識別、檢測和語義分割，比基于2D圖像的目標識別、檢測和分割任務更具挑戰性。

再來看看監督學習以外的其他方法，具體又分為這幾類：

自然語言處理（NLP）、多模態學習、生成網絡、域適應、少樣本學習、半監督&自監督學習、語音模型、強化學習、物理知識學習等。

以自然語言處理為例，其中的多任務學習會給模型帶來新的開放性問題。

像經典的BERT模型，本身不具備翻譯能力，因此為了同時提升多種下游任務性能指標，研究者們需要權衡各種目標函數之間的結果。

又如生成模型中的CGAN（條件GAN），其中像圖像到圖像翻譯問題，即將一張圖片轉換為另一張圖片的過程。

這一過程要求將多個獨立損失函數進行加權組合，并讓總損失函數最小化，就又是一個開放性問題。

其他不同的問題和模型，也分別都會在特定應用上遇到不同類型的開放性問題，因此具體問題依舊得具體分析。

經過對各類機器學習領域進行分析后，作者得出了自己的一些看法。

一方面，AI表面上是一種“自動化”的過程，從大量數據中產生自己的理解，然而這其中其實涉及大量的人為操作，有不少甚至是重復行為，這被稱之為“迭代過程”。

另一方面，這些工作雖然能部分通過AutoML精簡，然而AutoML目前只在圖像分類中有較好的表現，并不意味著它在其他領域任務中會取得成功。

總而言之，應用深度學習中的開放性問題，依舊比許多人想象得要更為復雜。

作者介紹

本篇論文的作者為Maziar Raissi，目前在科羅拉多大學博德分校應用數學系擔任助理教授。

Raissi在馬里蘭大學帕克分校獲得了應用數學和統計學博士學位，并在布朗大學應用數學系完成了博士后研究，有過在英偉達做高級軟件工程師的工作經歷。

研究方向是概率機器學習、深度學習和數據驅動的科學計算的交叉點，以及大數據分析、經濟學和金融學等等。

論文的鏈接如下，感興趣的小伙伴們可以自取～

論文地址：https://arxiv.org/abs/2301.11316