隨著深度學(xué)習(xí)的發(fā)展，神經(jīng)網(wǎng)絡(luò)變得越來越大。例如，在ImageNet識(shí)別挑戰(zhàn)中，獲勝的模型在2012年到2015年間的大小增加了16倍。在短短一年的時(shí)間里，百度的深度語音模型的訓(xùn)練操作數(shù)增加了10倍。

[[285700]]

一般來說，在嵌入式系統(tǒng)中深度學(xué)習(xí)有三個(gè)主要的挑戰(zhàn)：

隨著模型尺寸的增大，模型在手機(jī)上的部署變得更加困難。如果模型超過100 MB，(一般來說)只有連接到Wi-Fi才能下載。

訓(xùn)練速度變得極其緩慢。例如，與ResNet101相比，原始的ResNet152的準(zhǔn)確率提升不到1%，它需要在4個(gè)分布式gpu上進(jìn)行1.5周的訓(xùn)練。

如此龐大的模型也與能源效率斗爭。例如，AlphaGo在圍棋中擊敗李世石(Lee Sedol)，需要訓(xùn)練1,920個(gè)cpu和280個(gè)gpu，用電成本約為3,000美元。

在這種情況下，在資源受限的設(shè)備上運(yùn)行神經(jīng)網(wǎng)絡(luò)需要來自數(shù)據(jù)工程和數(shù)據(jù)科學(xué)的聯(lián)合解決方案，這有時(shí)被稱為“算法和硬件協(xié)同設(shè)計(jì)”。

在本文中，我們只討論象限的左上角。比較先進(jìn)的推理算法是什么?

1.神經(jīng)網(wǎng)絡(luò)剪枝

與你所想的相反，剪枝與砍樹無關(guān)。在機(jī)器學(xué)習(xí)中，為了得到一個(gè)更小、更快的網(wǎng)絡(luò)，模型剪枝包括去除不重要的權(quán)重。

1989年，Yann Le Cun在他的論文“Optimal Brain Damage”中首次提出了模型剪枝。該思想是采取一個(gè)完全訓(xùn)練的網(wǎng)絡(luò)，刪除修剪權(quán)值將導(dǎo)致最小化的目標(biāo)函數(shù)增加。各參數(shù)的貢獻(xiàn)可用海森矩陣近似表示。一旦去除了不重要的權(quán)值，較小的網(wǎng)絡(luò)就可以再次訓(xùn)練，這個(gè)過程可以重復(fù)幾次，直到網(wǎng)絡(luò)有一個(gè)令人滿意的大小和一個(gè)合理的性能。

從那時(shí)起，大量的剪枝技術(shù)的變化發(fā)展起來。Han等人，2015年，在“Learning both Weights and Connections for Efficient Neural Networks”中，引入了一個(gè)三步方法，由神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，然后修剪低于選擇閾值的連接權(quán)值，最后再訓(xùn)練稀疏網(wǎng)絡(luò)學(xué)習(xí)最后剩下的連接權(quán)重。

你可能想知道：如何確定剪枝閾值?好問題!卷積層和全連接層都可以修剪，然而，經(jīng)驗(yàn)表明，卷積層比全連接層對(duì)剪枝更敏感。因此，需要根據(jù)各層的靈敏度選擇閾值，如下圖所示，該圖取自Han等人的研究論文。

根據(jù)研究報(bào)告，在NVIDIA Titan X GPU上重新訓(xùn)練修剪過的AlexNet需要173個(gè)小時(shí)。但再訓(xùn)練時(shí)間不是一個(gè)關(guān)鍵問題，因?yàn)樽罱K目標(biāo)是讓較小的模型在資源有限的設(shè)備上快速運(yùn)行。

在ImageNet上，該方法將AlexNet的參數(shù)數(shù)量減少了9倍(從6100萬個(gè)參數(shù)減少到670萬個(gè))，將VGG-16的參數(shù)數(shù)量減少了13倍(從1.38億個(gè)參數(shù)減少到1030萬個(gè))。經(jīng)過剪枝后，AlexNet和VGGNet的存儲(chǔ)需求大大降低，所有的權(quán)值都可以存儲(chǔ)在芯片上，而不是存儲(chǔ)在芯片外的DRAM上(訪問DRAM需要消耗大量的能量)。

2 . 深度壓縮

神經(jīng)網(wǎng)絡(luò)既需要大量計(jì)算，又需要大量內(nèi)存，因此很難在硬件資源有限的嵌入式系統(tǒng)上部署它們。為了解決這個(gè)限制，“Deep Compression“論文，來自Han等，介紹了一個(gè)3步走的pipeline：剪枝，訓(xùn)練好模型的量化，霍夫曼編碼，在共同努力下，減少神經(jīng)網(wǎng)絡(luò)的存儲(chǔ)需求35 - 49倍，但是不影響其準(zhǔn)確性。

該方法首先通過只學(xué)習(xí)重要的連接來刪除網(wǎng)絡(luò)。接下來，該方法量化權(quán)重來執(zhí)行權(quán)重共享。最后，該方法使用霍夫曼編碼。在前兩個(gè)步驟之后，作者對(duì)網(wǎng)絡(luò)進(jìn)行再訓(xùn)練，以調(diào)整剩余的連接和量化中心。剪枝將連接的數(shù)量減少9到13倍。量化后將代表每個(gè)連接的比特?cái)?shù)從32減少到5。

在ImageNet上，該方法將AlexNet所需的存儲(chǔ)空間減少了35倍(從240 MB減少到6.9 MB)，并且沒有造成精度損失。該方法還將VGG-16預(yù)訓(xùn)練模型的大小減少了49倍(從552 MB減少到11.3 MB)，同時(shí)也沒有精度損失。

最后，這種深度壓縮算法有助于在移動(dòng)應(yīng)用程序中使用復(fù)雜的神經(jīng)網(wǎng)絡(luò)，而移動(dòng)應(yīng)用程序的大小和下載帶寬都受到限制。在對(duì)CPU、GPU和移動(dòng)GPU進(jìn)行基準(zhǔn)測(cè)試時(shí)，壓縮后的網(wǎng)絡(luò)具有3到4倍的分層加速和3到7倍的能效。

3 . 數(shù)據(jù)量化

近年來，基于卷積神經(jīng)網(wǎng)絡(luò)的方法在大量的應(yīng)用中取得了巨大的成功，是計(jì)算機(jī)視覺中應(yīng)用最廣泛的架構(gòu)之一。然而，基于cnn的方法是計(jì)算密集型和資源消耗的，因此很難集成到嵌入式系統(tǒng)中，如智能手機(jī)、智能眼鏡和機(jī)器人。FGPA是一種很有前途的CNNs加速平臺(tái)，但是有限的帶寬和片上內(nèi)存大小限制了CNNs FPGA加速器的性能。

清華大學(xué)研究人員的論文"Going Deeper with Embedded FPGA Platform for CNN"提出了一種用于ImageNet大規(guī)模圖像分類的CNN嵌入式FPGA加速器設(shè)計(jì)方案。作者通過經(jīng)驗(yàn)證明，在當(dāng)前比較先進(jìn)的CNN模型的架構(gòu)中，卷積層是以計(jì)算為中心的，而全連接層是以內(nèi)存為中心的。因此，他們提出了一種動(dòng)態(tài)精確數(shù)據(jù)量化方法(如下圖所示)來幫助提高帶寬和資源利用率。

在該數(shù)據(jù)量化流中，任意兩個(gè)定點(diǎn)數(shù)之間的分?jǐn)?shù)長度對(duì)于不同的層和特征映射集是動(dòng)態(tài)的，而對(duì)于同一層則是靜態(tài)的，以最小化每一層的截?cái)嗾`差。

權(quán)值量化階段的目標(biāo)是找到一層權(quán)值的最優(yōu)分?jǐn)?shù)長度。在此階段，首先分析各層權(quán)值的動(dòng)態(tài)范圍。然后，初始化分?jǐn)?shù)長度以避免數(shù)據(jù)溢出。

數(shù)據(jù)量化階段的目的是為兩層之間的一組特征映射找到最優(yōu)的分?jǐn)?shù)長度。該階段采用貪心算法對(duì)定點(diǎn)CNN模型和浮點(diǎn)CNN模型的中間數(shù)據(jù)進(jìn)行逐層比較，以減少精度損失。

他們的結(jié)果(在進(jìn)一步分析了不同的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的不同策略之后)表明，動(dòng)態(tài)精度量化比靜態(tài)精度量化更有利。使用動(dòng)態(tài)精確量化，他們可以使用更短的操作表示，同時(shí)仍然可以達(dá)到相當(dāng)?shù)木取?/p>

4 .低秩估計(jì)

卷積神經(jīng)網(wǎng)絡(luò)的另一個(gè)問題是其昂貴的測(cè)試時(shí)間評(píng)估，這使得該模型在現(xiàn)實(shí)系統(tǒng)中不切實(shí)際。例如，一個(gè)云服務(wù)需要每秒處理數(shù)千個(gè)新請(qǐng)求，手機(jī)、平板電腦等移動(dòng)設(shè)備大多只有cpu或低端gpu，一些識(shí)別任務(wù)，如物體檢測(cè)，即使在高端GPU上，處理單個(gè)圖像仍然很耗時(shí)。因此，加快CNNs測(cè)試時(shí)間的計(jì)算具有重要的現(xiàn)實(shí)意義。

微軟亞洲研究院的"Efficient and Accurate Approximations of Nonlinear Convolutional Networks"論文提出了一種加速非線性卷積神經(jīng)網(wǎng)絡(luò)的方法。該方法以最小化非線性響應(yīng)的重構(gòu)誤差為基礎(chǔ)，采用低秩約束來減少計(jì)算量。為了解決具有挑戰(zhàn)性的約束優(yōu)化問題，作者將其分解為兩個(gè)可行的子問題并迭代求解。然后，他們提出了最小化非對(duì)稱重構(gòu)誤差的方法，有效地減少了多個(gè)近似層的累積誤差。

從左看，作者用W'和P替換原來的層W。實(shí)際上是d '濾波器的大小是k×k×c 。

這些濾波器產(chǎn)生一個(gè)d '維的特征圖。在此特征圖中，d-by-d '矩陣P可以通過1×1×d '實(shí)現(xiàn)。因此，P對(duì)應(yīng)一個(gè)卷積層，它具有1×1的空間支持，將d '維特征映射到d維特征。

他們將這種低秩近似應(yīng)用于為ImageNet訓(xùn)練的大型網(wǎng)絡(luò)，并得出訓(xùn)練加速比增加了4倍的結(jié)論。事實(shí)上，與AlexNet相比，他們的加速模型執(zhí)行的推斷相對(duì)較快，但準(zhǔn)確性提高了4.7%。

5 . 訓(xùn)練后的3值量化

另一種可以解決移動(dòng)設(shè)備上有限功率預(yù)算下的大型神經(jīng)網(wǎng)絡(luò)模型部署問題的算法是訓(xùn)練后三值量化，它可以將神經(jīng)網(wǎng)絡(luò)中的權(quán)值精度降低到三元值。該方法精度下降很小，甚至可以提高部分模型在CIFAR-10和ImageNet上的精度。在本文中，AlexNet模型是從零開始訓(xùn)練的，這意味著它與訓(xùn)練一個(gè)正常的、全精度的模型一樣容易。

訓(xùn)練后的量化方法既可以學(xué)習(xí)三元的值，又可以學(xué)習(xí)三個(gè)值的分配，如上圖所示。首先，作者通過將每個(gè)權(quán)值除以最大權(quán)值，將全精度權(quán)值規(guī)范化為[-1，+1]范圍。

接下來，通過閾值化將中間全分辨率權(quán)重量化為{- 1,0,+1}。閾值因子t是一個(gè)超參數(shù)，為了減少搜索空間，它在所有層中都是相同的。

最后，他們通過反向傳播兩個(gè)梯度(短線)進(jìn)行訓(xùn)練后量化：將gradient1傳播到全分辨率權(quán)值，將gradient2傳播到尺度系數(shù)。前者可以學(xué)習(xí)三元的值，后者可以學(xué)習(xí)三元值的分配。

他們?cè)贑IFAR-10上的實(shí)驗(yàn)表明，用這種經(jīng)過訓(xùn)練的量化方法得到的三元模型分別比全精度的ResNet32、ResNet44、ResNet56模型的性能好0.04%、0.16%和0.36%。在ImageNet上，他們的模型比全精度的AlexNet模型的精度高0.3%，比之前的三元模型的精度高3%。

總結(jié)

我希望本文能幫助你認(rèn)識(shí)到你正在使用的深度學(xué)習(xí)庫背后使用了多少優(yōu)化。這里介紹的這5種算法允許從業(yè)者和研究人員更有效地執(zhí)行模型推斷，從而在移動(dòng)電話等小型邊緣設(shè)備上實(shí)現(xiàn)了越來越多的實(shí)際應(yīng)用。