神經(jīng)架構(gòu)搜索一直被認為是高算力的代表，盡管可微架構(gòu)搜索的概念非常吸引人，但它目前的效率與效果仍然不盡人意。在最近的 AAAI 2020 中，第四范式提出了一種基于臨近迭代（Proximal Iterations）的 NAS 方法，其速度比 DARTS 快了 10 倍以上。

[[314763]]

神經(jīng)架構(gòu)搜索（NAS）因其比手工構(gòu)建的架構(gòu)更能識別出更好的架構(gòu)而備受關(guān)注。近年來，可微分的搜索方法因可以在數(shù)天內(nèi)獲得高性能的 NAS 而成為研究熱點。然而，由于超級網(wǎng)的建設(shè)，其仍然面臨著巨大的計算成本和性能低下的問題。

在本文中，我們提出了一種基于近端迭代（NASP）的高效 NAS 方法。與以往的工作不同，NASP 將搜索過程重新定義為具有離散約束的優(yōu)化問題和模型復(fù)雜度的正則化器。由于新的目標(biāo)是難以解決的，我們進一步提出了一種高效的算法，由近端啟發(fā)法進行優(yōu)化。

通過這種方式，NASP 不僅比現(xiàn)有的可微分的搜索方法速度快，而且還可以找到更好的體系結(jié)構(gòu)并平衡模型復(fù)雜度。最終，通過不同任務(wù)的大量實驗表明，NASP 在測試精度和計算效率上均能獲得更好的性能，在發(fā)現(xiàn)更好的模型結(jié)構(gòu)的同時，速度比 DARTS 等現(xiàn)有技術(shù)快 10 倍以上。此外，NASP 消除了操作之間的關(guān)聯(lián)性。

• 論文：https://arxiv.org/abs/1905.13577
• 代碼：https://github.com/xujinfan/NASP-codes

此外，在 WWW 2020 的論文」Efficient Neural Interaction Functions Search for Collaborative Filtering」中，我們將 NASP 算法應(yīng)用到了推薦系統(tǒng)領(lǐng)域：

• 視頻：https://www.tuijianxitong.cn/cn/school/video/26
• PPT：https://www.tuijianxitong.cn/cn/school/openclass/27
• 論文：https://arxiv.org/pdf/1906.12091
• 代碼：https://github.com/quanmingyao/SIF

走向極速的神經(jīng)架構(gòu)搜索

 深度網(wǎng)絡(luò)已經(jīng)應(yīng)用到許多應(yīng)用中，其中，適當(dāng)?shù)捏w系結(jié)構(gòu)對于確保良好的性能至關(guān)重要。近年來，NAS 因可以找到參數(shù)更少、性能更好的網(wǎng)絡(luò)成為了關(guān)注和研究的熱點，該方法可取代設(shè)計架構(gòu)的人類專家。

NASNet 是這方面的先驅(qū)性工作，它將卷積神經(jīng)網(wǎng)絡(luò)（CNN）的設(shè)計為一個多步驟決策問題，并用強化學(xué)習(xí)來解決。

然而，由于搜索空間離散且巨大，NASNet 需要數(shù)百個 GPU 耗費一個月的時間，才能獲得一個令人滿意的網(wǎng)絡(luò)結(jié)構(gòu)。后來，通過觀察網(wǎng)絡(luò)從小到大的良好傳輸性，NASNetA）提議將網(wǎng)絡(luò)分割成塊，并在塊或單元內(nèi)進行搜索。然后，識別出的單元被用作構(gòu)建塊來組裝大型網(wǎng)絡(luò)。這種兩階段的搜索策略極大地減小了搜索空間的大小，從而使進化算法、貪心算法、強化學(xué)習(xí)等搜索算法顯著加速。

盡管減少了搜索空間，但搜索空間仍然是離散的，通常很難有效搜索。最近的研究集中在如何將搜索空間從離散的變?yōu)榭晌⒎?。這種思想的優(yōu)點在于可微空間可以計算梯度信息，從而加快優(yōu)化算法的收斂速度。

該思想已經(jīng)衍生出了各種技術(shù)，例如 DARTS 平滑了 Softmax 的設(shè)計選擇，并訓(xùn)練了一組網(wǎng)絡(luò)；SNAS 通過平滑抽樣方案加強強化學(xué)習(xí)。NAO 使用自動編碼器將搜索空間映射到新的可微空間。

在所有這些工作中（Table 1），最為出色的是 DARTS [1]，因為它結(jié)合了可微分以及小搜索空間兩者的優(yōu)點，實現(xiàn)了單元內(nèi)的快速梯度下降。然而，其搜索效率和識別體系結(jié)構(gòu)的性能仍然不夠令人滿意。

由于它在搜索過程中保持超級網(wǎng)，從計算的角度來看，所有操作都需要在梯度下降過程中向前和向后傳播。從性能的角度來看，操作通常是相互關(guān)聯(lián)的。例如，7x7 的卷積濾波器可以作為特例覆蓋 3x3 的濾波器。當(dāng)更新網(wǎng)絡(luò)權(quán)值時，由 DARTS 構(gòu)造的 ensemble 可能會導(dǎo)致發(fā)現(xiàn)劣質(zhì)的體系結(jié)構(gòu)。

此外，DARTS 最終的結(jié)構(gòu)需要在搜索后重新確定。這會導(dǎo)致搜索的體系結(jié)構(gòu)和最終體系結(jié)構(gòu)之間存在偏差，并可能導(dǎo)致最終體系結(jié)構(gòu)的性能下降。

更快更強的臨近迭代

在此次工作中，第四范式提出了基于臨近迭代算子算法（Proximal gradient Algorithm [2]）的 NAS 方法（NASP），以提高現(xiàn)有的可微搜索方法的效率和性能。我們給出了一個新的 NAS 問題的公式和優(yōu)化算法，它允許在可微空間中搜索，同時保持離散的結(jié)構(gòu)。這樣，NASP 就不再需要訓(xùn)練一個超級網(wǎng)，從而加快搜索速度，從而產(chǎn)生更優(yōu)的網(wǎng)絡(luò)結(jié)構(gòu)。

該工作的貢獻在于：

• 除了以往 NAS 普遍討論的搜索空間、完備性和模型復(fù)雜度之外，該工作確定了一個全新且重要的一個因素，即 NAS 對體系結(jié)構(gòu)的約束；
• 我們將 NAS 描述為一個約束優(yōu)化問題，保持空間可微，但強制架構(gòu)在搜索過程中是離散的，即在反向梯度傳播的時候盡量維持少量激活的操作。這有助于提高搜索效率并在訓(xùn)練過程中分離不同的操作。正則化器也被引入到新目標(biāo)中，從而控制網(wǎng)絡(luò)結(jié)構(gòu)的大??；
• 由于這種離散約束難以優(yōu)化，且無法應(yīng)用簡單的 DARTS 自適應(yīng)。因此，第四范式提出了一種由近端迭代衍生的新優(yōu)化算法，并且消除了 DARTS 所需的昂貴二階近似，為保證算法的收斂性，我們更進一步進行了理論分析。
• 最后，在設(shè)計 CNN 和 RNN 架構(gòu)時，使用各種基準(zhǔn)數(shù)據(jù)集進行了實驗。與最先進的方法相比，提出的 NASP 不僅速度快（比 DARTS 快 10 倍以上），而且可以發(fā)現(xiàn)更好的模型結(jié)構(gòu)。實驗結(jié)果表明，NASP 在測試精度和計算效率上均能獲得更好的性能。

具體算法如下：

在第三步中，我們利用臨近迭代算子產(chǎn)生離散結(jié)構(gòu)；再在第四步中更新連續(xù)的結(jié)構(gòu)參數(shù)（單步梯度下降，無二階近似）；最后，我們在離散的網(wǎng)絡(luò)結(jié)構(gòu)下，更新網(wǎng)絡(luò)權(quán)重。

實驗結(jié)果

該工作利用搜索 CNN 和 RNN 結(jié)構(gòu)來進行實驗。此次試驗使用 CIFAR-10、ImageNet、PTB、WT2 等四個數(shù)據(jù)集。

CNN 的架構(gòu)搜索

1. 在 CIFAR-10 上搜索單元

在 CIFAR-10 上搜索架構(gòu)相同，卷積單元由 N=7 個節(jié)點組成，通過對單元進行 8 次疊加獲得網(wǎng)絡(luò)；在搜索過程中，我們訓(xùn)練了一個由 8 個單元疊加的 50 個周期的小網(wǎng)絡(luò)。這里考慮兩個不同的搜索空間。第一個與 DARTS 相同，包含 7 個操作。第二個更大，包含 12 個操作。

與最新的 NAS 方法相比，在相同的空間（7 次操作）中，NASP 的性能與 DARTS（二階）相當(dāng)，比 DARTS（一階）好得多。在更大的空間（12 個操作）中，NASP 仍然比 DARTS 快很多，測試誤差比其他方法更低很多。

在以上實驗中，研究人員對模型復(fù)雜度進行了正則化，我們設(shè)置了的η＝0。結(jié)果顯示，模型尺寸隨著η的增大而變小。

2.遷移到 ImageNet

為了探索實驗中搜索到的單元在 ImageNet 上的遷移能力，我們將搜索到的單元堆疊了 14 次。值得注意的是，NASP 可以用最先進的方法實現(xiàn)競爭性測試誤差。

RNN 的架構(gòu)搜索

1. 在 PTB 上搜索單元

根據(jù) DARTS 的設(shè)置，遞歸單元由 N=12 個節(jié)點組成；第一個中間節(jié)點通過線性變換兩個輸入節(jié)點，將結(jié)果相加，然后通過 tanh 激活函數(shù)得到；第一個中間節(jié)點的結(jié)果應(yīng)為由激活函數(shù)轉(zhuǎn)換而成。

在搜索過程中，我們訓(xùn)練了一個序列長度為 35 的 50 個階段的小網(wǎng)絡(luò)。為了評估在 PTB 上搜索到單元的性能，使用所發(fā)現(xiàn)的單元對單層遞歸網(wǎng)絡(luò)進行最多 8000 個階段的訓(xùn)練，直到與批處理大小 64 收斂。實驗結(jié)果顯示，DARTS 的二階比一階慢得多，NASP 不僅比 DARTS 快得多，而且可以達到與其他最先進的方法相當(dāng)?shù)臏y試性能。

模型簡化測試

1. 對比 DARTS

實驗給出了更新網(wǎng)絡(luò)參數(shù)（即 w）和架構(gòu)（即 A）的詳細比較。在相同的搜索時間內(nèi)，NASP 可以獲得更高的精度，且 NASP 在相同的精度下花費更少的時間。這進一步驗證了 NASP 比 DARTS 效率更高。

2. 與同期工作比較

實驗中也加入了與同期工作的比較。ASAP 與 BayesNAS 將 NAS 作為一個網(wǎng)絡(luò)修剪問題，該工作刪除了在搜索過程中無效的操作。ASNG 和 GDAS 都對搜索空間進行隨機松弛，區(qū)別在于 ASNG 使用自然梯度下降進行優(yōu)化，而 GDAS 使用 Gumbel-Max 技巧進行梯度下降。此次實驗將 NASP 與這些工作進行比較，實驗表明，NASP 更有效，可在 CNN 任務(wù)上提供更好的性能。此外，NASP 還可以應(yīng)用于 RNN。

[1]. Liu, H.; Simonyan, K.; and Yang, Y. DARTS: Differentiable architecture search. In ICLR 2019
[2]. Parikh, N., and Boyd, S. Proximal algorithms. Foundations and Trends in Optimization 2013