干貨 | Andrej Karpathy CS294課程總結(jié)：可視化和理解深度神經(jīng)網(wǎng)絡(luò)
一、介紹
這篇文章中，我們將回顧一些目前用來(lái)可視化理解深度神經(jīng)網(wǎng)絡(luò)的方法。我不會(huì)深入探討這些材料中的細(xì)節(jié)，而是闡述一些個(gè)人觀點(diǎn)以及我在學(xué)習(xí)這些材料時(shí)的個(gè)人體會(huì)。所有原始材料來(lái)自 Andrej Karpathy 在伯克利大學(xué)的客座講座，CS294 課程。
二、凸優(yōu)化(Convex Optimization)vs. 非凸神經(jīng)網(wǎng)絡(luò)(Non-Convex Neural Networks)
凸優(yōu)化是一個(gè)數(shù)學(xué)上非常嚴(yán)謹(jǐn)?shù)膯?wèn)題，人們對(duì)此也一直頗有研究。它的優(yōu)美之處在于能夠推導(dǎo)出易實(shí)現(xiàn)的、達(dá)到全局***的下降算法。而非凸優(yōu)化問(wèn)題，卻很難證明其***性。也因此，我們會(huì)擔(dān)心針對(duì)這些問(wèn)題提出的優(yōu)化算法會(huì)停滯在局部最小值。然而，這并不是說(shuō)我們不能證明非凸問(wèn)題***解。我已經(jīng)碰到過(guò)一些技術(shù)，這些技術(shù)使用了區(qū)間分析(interval analysis)方法，只要函數(shù)在某些階上(some odrder)Lipschitz 連續(xù)，并且它的解(局部最小值)并不會(huì)產(chǎn)生組合性爆炸。
神經(jīng)網(wǎng)絡(luò)本質(zhì)上是一個(gè)非凸問(wèn)題。因此，對(duì)其***性的形式證明***。在過(guò)去，擔(dān)心差在局部最小值是真的，特別是神經(jīng)網(wǎng)絡(luò)剛剛開(kāi)始發(fā)展的階段(上世紀(jì) 80 年代)。其中一篇關(guān)于探討這個(gè)話題的論文： 多層網(wǎng)絡(luò)的損失面(The Loss Surfaces of Multilayer Networks by Choromanska etal. 2015)，實(shí)證表明，隨著問(wèn)題維數(shù)增加(可視為隱藏層更多了)，你的最終解的損失方差會(huì)下降。因此，基本上，***解和最差解之間的間隔在不斷銳減，你的所有的局部最小值會(huì)變得相同。因此，非凸優(yōu)化解決方案不過(guò)是走開(kāi)了，人們并沒(méi)有真正的解決這個(gè)問(wèn)題，它僅僅是變得不重要了。
三、層圖表達(dá)以及 t-SNE 可視化
(編者注： t-SNE 是 t-distributed stochastic neighbor embedding 的縮寫(xiě)，即 t 分布隨機(jī)鄰域嵌入算法)
卷積神經(jīng)網(wǎng)絡(luò)，簡(jiǎn)單來(lái)說(shuō)，就是一個(gè)多層巨無(wú)霸三明治。一種用來(lái)視化理解這些網(wǎng)絡(luò)的方法就是從網(wǎng)絡(luò)中取出一個(gè)單獨(dú)神經(jīng)元，觀察讓這個(gè)神經(jīng)元興奮的是什么。本質(zhì)上，我們經(jīng)驗(yàn)使用這些激活反應(yīng)來(lái)可視化神經(jīng)元響應(yīng)的對(duì)象。
圖注：可視化激活神經(jīng)網(wǎng)絡(luò)的事物
另一個(gè)技術(shù)是可視化網(wǎng)絡(luò)權(quán)重。這需要訓(xùn)練自己的神經(jīng)網(wǎng)絡(luò)然后顯示它學(xué)習(xí)到的 Gabor 過(guò)濾器。不過(guò)這種辦法只對(duì)卷積神經(jīng)網(wǎng)絡(luò)首層有效，因?yàn)獒槍?duì)輸入的圖片所得出的權(quán)重在***層后又會(huì)再做卷積操作。當(dāng)你不斷深入網(wǎng)絡(luò)，我們就不太能解釋 這些濾波器的結(jié)果了，因?yàn)槊恳粚拥臋?quán)重都是在前一層輸出結(jié)果上進(jìn)行了卷積操作。
圖注：可視化網(wǎng)絡(luò)權(quán)重
在此，Andrej 給出了一個(gè)關(guān)于使用 ConvNetJS 來(lái)實(shí)現(xiàn)可視化技術(shù)的鏈接(https://cs.stanford.edu/people/karpathy/convnetjs/)，該項(xiàng)技術(shù)能把網(wǎng)絡(luò)逐層分解，你可以利用這個(gè)來(lái)觀察網(wǎng)絡(luò)在輸出最終分類結(jié)果前每一層的梯度、激活函數(shù)、 權(quán)重等。此外，Andrej 還推薦了一下 TensorFlow Playground：http://playground.tensorflow.org/，以及 Jason Yosinski 的博客：http://yosinski.com/deepvis
四、不僅僅是單個(gè)神經(jīng)元的可視化
有一種觀察卷積神經(jīng)網(wǎng)絡(luò)的方法是看其全局表達(dá)，即卷積神經(jīng)網(wǎng)絡(luò)對(duì)任何一張圖片，其頂層的輸出結(jié)果。我們將一張圖片傳入卷積神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)去處理。這個(gè)網(wǎng)絡(luò)的每一層將對(duì)該圖片進(jìn)行重新的表達(dá)，而對(duì)于每一層，我們可以學(xué)習(xí)到原始的圖片是如何被整合到這一層中的。因此，為了可視化這一過(guò)程，我們希望能將這些表達(dá)整合到 2 維空間。這時(shí)候，就需要用到一種超炫的技術(shù)，叫做 t-SNE 可視化技術(shù)(Van der Maaten, Hinton**)。**這種技術(shù)將高維的點(diǎn)嵌入到低維空間，而局部的成對(duì)距離被保留了(在低維空間相鄰的點(diǎn)在高維空間也依然相鄰)。
圖注：t-SNE 可視化
圖注：用強(qiáng)化學(xué)習(xí)玩 Atari 游戲的可視化
五、遮蓋實(shí)驗(yàn)
這種用于可視化網(wǎng)絡(luò)究竟學(xué)到了什么的技術(shù)是把網(wǎng)絡(luò)視作黑盒，修改它的輸入然后觀察輸出。假設(shè)我們有一張被這個(gè)網(wǎng)絡(luò)能準(zhǔn)確地分類成博美犬的圖片，現(xiàn)在，我們要做的是將這個(gè)圖片的某一塊「屏蔽(block)」(將這個(gè)地方的像素值設(shè)置為 0 或 255，或者顏色設(shè)置為黑或白即可)。這樣，這個(gè)網(wǎng)絡(luò)的輸出是對(duì)這張被屏蔽的圖片的輸出。我們可以發(fā)現(xiàn)，當(dāng)我們屏蔽的部位越是重要，比如臉部，那么這個(gè)網(wǎng)絡(luò)做出正確分類可能性就越低。
一個(gè)有趣的發(fā)現(xiàn)是，比如，我們有一張照片，其正中部位有一只阿富汗獵犬，旁邊是一位男子，網(wǎng)絡(luò)能正確的將其標(biāo)記為阿富汗獵犬。但是，如果將男人的臉用像素為 0 的方塊遮蓋，網(wǎng)絡(luò)認(rèn)為是阿富汗獵犬的概率激增。發(fā)生這種現(xiàn)象的原因在于，每一張圖片只被分配了一個(gè)正確的標(biāo)簽，當(dāng)我們遮蓋一些可能會(huì)引起網(wǎng)絡(luò)會(huì)做出其他決定的部位，那么，得出這個(gè)正確的標(biāo)簽的概率就大大提高了。這也是一種完整性檢查，這樣網(wǎng)絡(luò)可以一種通過(guò)調(diào)整圖片可能所屬類別標(biāo)簽的概率大小來(lái)做出合理判斷。
六、去卷積方法(Deconvolution Approaches)
通常，我們嘗試去計(jì)算出關(guān)于網(wǎng)絡(luò)權(quán)重的損失函數(shù)梯度，這樣當(dāng)我們每做一次更新操作，我們就能優(yōu)化權(quán)重。現(xiàn)在，讓我們思考一個(gè)問(wèn)題：給出一張圖片，怎樣才能得出網(wǎng)絡(luò)中任何一個(gè)隨機(jī)神經(jīng)元的梯度?有一種可行的方案是：
1)將圖片輸入網(wǎng)絡(luò)，對(duì)于網(wǎng)絡(luò)深處的某一個(gè)神經(jīng)元，我們將其命名為神經(jīng)元 a。
2)將它的梯度設(shè)置為 1，同層的所有其他神經(jīng)元的梯度設(shè)置為 0。
3)一路將梯度反向傳播回圖片，得到一張略古怪的噪聲圖片。
盡管這張?zhí)荻葓D片很難解釋，但至少可以告訴你，如果把這張圖片和原始圖片疊加，將會(huì)提高神經(jīng)元 a 的激活函數(shù)值。而反向傳播過(guò)程只會(huì)改變修正線性單元 ReLU 層。這里的直覺(jué)就是：沿著梯度(反向)傳遞到 ReLU 層的某一個(gè)神經(jīng)元，那么說(shuō)明這個(gè)神經(jīng)元被激活了。否則，傳遞就會(huì)停止。
另一種替代方法是不使用簡(jiǎn)單的反向傳播，而是使用所謂的導(dǎo)向反向傳播(guided backpropagation)。
這種技術(shù)并不僅能夠識(shí)別一個(gè)修正線性單元 ReLU 是否被激活，而且可以識(shí)別所有值為負(fù)的梯度。本質(zhì)上，除了能把所有不被激活的修正線性單元 ReLU 關(guān)閉，所有反向傳播時(shí)遇到的負(fù)信號(hào)還能被設(shè)置到閾值 0。最終，我們只需要反向傳遞梯度為正的值即可。這樣的話，反向傳播***獲得的圖片就會(huì)更加清晰，因?yàn)槲覀內(nèi)コ怂胸?fù)梯度對(duì)我們所選的神經(jīng)元造成的影響，只保留了正面的影響(詳見(jiàn)： Striving for Simplicity: The all Convolutional Net, Springenberg, Dosovitskiy, et al., 2015 for more information)。
圖注：使用 guided backpropagation 后噪聲明顯減少
七、對(duì)圖像進(jìn)行***化
1. 類別可視化
接下來(lái)講授的技巧涉及在圖像上進(jìn)行***化操作?？紤]如下問(wèn)題：我們能否找到一個(gè)圖像，它能夠***化某些類別的分?jǐn)?shù)?為達(dá)到該目的，我們希望保持神經(jīng)網(wǎng)絡(luò)架構(gòu)不變，而使用不同損失函數(shù)以在圖像上進(jìn)行***化。這個(gè)方法包括如下步驟：
(1) 向神經(jīng)網(wǎng)絡(luò)中傳入一個(gè)隨機(jī)的圖像;
(2) 設(shè)定梯度分?jǐn)?shù)向量為 [0,0,…,1,0,...0](將感興趣的那一類設(shè)為 1，不感興趣的則為 0)，接著對(duì)對(duì)象進(jìn)行反向傳播;
(3) 進(jìn)行一個(gè)小規(guī)模「圖像更新」;
(4) 將更新的圖像進(jìn)行正向傳播;
(5) 重復(fù) (2) 以設(shè)定其他的梯度分?jǐn)?shù)向量。我們基于一個(gè)隨機(jī)噪聲的圖像開(kāi)始，并對(duì)目標(biāo)類(也就使用了上述的梯度分?jǐn)?shù)向量進(jìn)行逆?zhèn)鞑サ哪且活?進(jìn)行梯度上升操作，我們會(huì)生成一個(gè)圖像，它能改進(jìn)神經(jīng)網(wǎng)絡(luò)對(duì)目標(biāo)類的激活狀態(tài)。從數(shù)學(xué)上來(lái)說(shuō)，令 I 代表一個(gè)圖像，y 代表一個(gè)目標(biāo)類，Sy(I) 則是神經(jīng)網(wǎng)絡(luò)賦給圖像 I 在 y 類上的分?jǐn)?shù)。我們希望解決如下的***化問(wèn)題：
也就是說(shuō)，我們希望找到一個(gè)圖像 I∗，它能夠***化神經(jīng)網(wǎng)絡(luò)賦給 y 類的分?jǐn)?shù)。在如上的等式中，R 是一個(gè)正則化項(xiàng)。正則化項(xiàng)改進(jìn)了輸出圖像的可視化程度(參見(jiàn) Simonyan 等人，Deep Inside Convolutional Networks: Visualising Image Classification Models and Saliency Maps，ICLR Workshop 2014)。這個(gè)內(nèi)容在去年完成，它論述了類的分?jǐn)?shù)問(wèn)題。但是，該技巧可以被應(yīng)用到神經(jīng)網(wǎng)絡(luò)中的所有節(jié)點(diǎn)上。我們從某個(gè)隨機(jī)圖像開(kāi)始正向傳播，直到到達(dá)了我們想要研究以及可視化的層為止。對(duì)該層中的任一神經(jīng)節(jié)點(diǎn)，重復(fù)該步驟(即設(shè)定其他梯度分?jǐn)?shù)為 0、目標(biāo)對(duì)象梯度值為 1、在圖像上反向傳播)，以檢查哪種圖像會(huì)***程度地激活神經(jīng)網(wǎng)絡(luò)中的神經(jīng)節(jié)點(diǎn)。注意，這些技巧中都有正則化項(xiàng)，以避免對(duì)抗的圖像。不同的正則化方案?jìng)?cè)重圖像的不同方面，以判斷我們認(rèn)為的「正常的」圖像。所以，它們會(huì)對(duì)這些試驗(yàn)的結(jié)果有很大影響。
2. 特征反演(Feature Inversion)
另一個(gè)可以探討的問(wèn)題是：給定一個(gè)卷積神經(jīng)網(wǎng)絡(luò)的「編碼」(特征代表，可以理解為是神經(jīng)網(wǎng)絡(luò)中某一層的輸出值)，能否根據(jù)其重構(gòu)原來(lái)圖像?如下的技巧就試圖實(shí)現(xiàn)這一功能。它分為三步：
(1) 向網(wǎng)絡(luò)中傳入一些輸入圖像;
(2) 忽略輸入圖像;
(3) 在某些層對(duì)輸入進(jìn)行反向傳播，直到在網(wǎng)絡(luò)中找到這樣的層，能夠生成與輸入圖像相同的「編碼」(在這一層學(xué)到的特征表示)的圖像。
從數(shù)學(xué)上看，令 I 代表一個(gè)輸入圖像，φl(I) 為卷積神經(jīng)網(wǎng)絡(luò) φ 中的激活層 l。我們希望解決如下優(yōu)化問(wèn)題：
也就是說(shuō)，我們希望找到一個(gè)圖像 I∗，它與圖像 I 在神經(jīng)網(wǎng)絡(luò) φ 中的 l 層有相似的特征表示。其中 ||.||2 是代表 L2 范數(shù)，R 是正則項(xiàng)(可能是隱式的)。
概括來(lái)說(shuō)，我在這里的想法是，要儲(chǔ)存一個(gè)圖像，只需存儲(chǔ)圖像的「編碼」就行了。我們可以根據(jù)上述方法使用這些「編碼」來(lái)重構(gòu)圖像(盡管有損失)(參見(jiàn) Yosinski 等人，"Understanding Neural Networks Through DeepVisualization"，ICML 2015 Deep Learning Workshop)。
總的來(lái)說(shuō)，這項(xiàng)技術(shù)允許我們看到，圖像是如何通過(guò)一組特定「編碼」(特征代表)在神經(jīng)網(wǎng)絡(luò)上被恢復(fù)的。
八、卷積網(wǎng)絡(luò)中的對(duì)抗圖像
對(duì)抗圖像，是對(duì)原有圖像加入很小的擾動(dòng)而構(gòu)成的圖像;這些擾動(dòng)由數(shù)據(jù)集的數(shù)據(jù)構(gòu)成，被特意設(shè)定為最壞情況。由此，神經(jīng)網(wǎng)絡(luò)會(huì)錯(cuò)誤地給這個(gè)新形成的圖像很高的概率。在實(shí)踐中，我們可以取任一被正確標(biāo)記的傳入神經(jīng)網(wǎng)絡(luò)的圖像，并基于其它對(duì)抗圖像對(duì)其添加擾動(dòng)值。
我們無(wú)意探討過(guò)深的數(shù)學(xué)細(xì)節(jié)，但這種情況發(fā)生的原因是因?yàn)樯窠?jīng)網(wǎng)絡(luò)常有很高的維度，因此，它有著內(nèi)在的線性本質(zhì)。直覺(jué)上說(shuō)，我們考慮如下的線性例子：令 x 為一輸入圖像，w 為該模型的權(quán)重值，則獲得輸出的運(yùn)算就是 x 和 w 之間的內(nèi)積，即 wTx。如果我們以 η 來(lái)輕微地對(duì)輸入進(jìn)行擾動(dòng)，我們則得到 x¯ = x + η。那么，輸出就便成了 x¯ = wT x + wTη。這種對(duì)抗擾動(dòng)導(dǎo)致激活值增長(zhǎng)了 wTη。進(jìn)而，我們可以在某些關(guān)于 η 的限制條件下(通常是正則化約束)***化該項(xiàng)以引起模型中的問(wèn)題。但是，隨著問(wèn)題維度的不斷增加，我們可以在滿足正則化條件的情況下，對(duì) η 向量施加很多小的擾動(dòng)。這些細(xì)微的變化加在一起，最終會(huì)對(duì)輸出造成很大的變化。
另一種考察不同模型間對(duì)抗圖像的方法，是將他們視為對(duì)抗擾動(dòng)在模型權(quán)重向量下高度對(duì)齊的結(jié)果。這是因?yàn)槿缟辖忉屩兴f(shuō)的內(nèi)容：這些小的改變迫使該線性模型專注某一個(gè)信號(hào)，該信號(hào)和模型的權(quán)重值最相近;即便其它 (從正確圖像中得來(lái)的) 信號(hào)有更大的振幅也是如此。
九、Deep Dream 實(shí)驗(yàn)
圖注：Deep Dream GitHub：https://github.com/google/deepdream
Deep Dream 實(shí)驗(yàn)背后的機(jī)理實(shí)際上是很簡(jiǎn)單的。基本上我們只要修改一下圖像，以增強(qiáng)網(wǎng)絡(luò)中選定的某層的激活情況。具體地，我們需要：
(1) 從神經(jīng)網(wǎng)絡(luò)中選擇某一層;
(2) 向其中傳入某些輸入圖像，以確定給定層的特征;
(3) 設(shè)定那一層的的梯度值為激活值自身;
(4) 對(duì)該圖像進(jìn)行反向傳播。
十、神經(jīng)風(fēng)格實(shí)驗(yàn)
考慮如下的情景：我們有兩個(gè)圖像，一個(gè)為內(nèi)容圖像 Ic, 一個(gè)為風(fēng)格圖像 Is，我們想生成第三個(gè)圖像，使之能夠具有 Ic 的內(nèi)容及 Is 的風(fēng)格。也就是說(shuō)，我們要做的是從 Ic 中解析出內(nèi)容，從 Is 中解析出風(fēng)格。
為了解析出內(nèi)容，我們將 Ic 傳入我們的神經(jīng)網(wǎng)絡(luò)并儲(chǔ)存每一層的激活值。但解析風(fēng)格的過(guò)程卻有所不同。我們將 Is 傳入神經(jīng)網(wǎng)絡(luò)，并計(jì)算每一層激活值的 Garmian 矩陣(G=VTV)。從代數(shù)的觀點(diǎn)來(lái)看，Garmian 矩陣 G 僅僅是 V 的列內(nèi)積值。例如，CONV1 層由 244×244×64 個(gè)激活值構(gòu)成，我們則計(jì)算得一 64×64 的 Gram 矩陣，它是由每個(gè)區(qū)域內(nèi)配對(duì)激活值的協(xié)方差求和而成。從圖像的角度來(lái)說(shuō)，我們是將一層由三維(244×244×64)矩陣構(gòu)成的激活值轉(zhuǎn)換到一個(gè)二維矩陣((244×244)×64)，并對(duì)其取外積以得到該 64×64 的矩陣。對(duì)矩陣中的每個(gè)項(xiàng) gi,j，我們都是將輸出通道 i 及 j 在那一層上的激活值乘在一起。如果通道 i 及 j 的神經(jīng)元交結(jié)在一起，那么它們會(huì)加在一起，我們也會(huì)得到一個(gè)更大的 gi,j。所以 Gram 矩陣 G 含有在對(duì)整個(gè)空間位置平均后哪些神經(jīng)元交結(jié)在一起的數(shù)據(jù)。我們對(duì)神經(jīng)網(wǎng)絡(luò)中的每一層都計(jì)算一個(gè) Gram 矩陣。
最終，我們有了這些信息之后，就能夠?qū)φ麄€(gè)圖像進(jìn)行***化以得到： Ic 的內(nèi)容及 Is 的風(fēng)格(詳見(jiàn) Leon A. Gatys 等人，《A Neural Algorithm of Artistic Style》，2015)。
***，Andrej 還推薦了一個(gè)快速神經(jīng)風(fēng)格遷移項(xiàng)目，可以實(shí)時(shí)通過(guò)網(wǎng)絡(luò)攝像頭實(shí)現(xiàn)風(fēng)格遷移：https://github.com/jcjohnson/fast-neural-style，參見(jiàn)機(jī)器之心文章《開(kāi)源 | 怎么讓你的照片帶上藝術(shù)大師風(fēng)格?李飛飛團(tuán)隊(duì)開(kāi)源快速神經(jīng)網(wǎng)絡(luò)風(fēng)格遷移代碼》。
十一、結(jié)語(yǔ)
在這篇回顧中，我們回顧了一些能夠用于理解及可視化神經(jīng)網(wǎng)絡(luò)的技術(shù)。這些技術(shù)是從各種資源中搜集來(lái)的，其呈現(xiàn)的順序與重要性無(wú)關(guān)。
我們探討了如何可視化那些能***化激活神經(jīng)元的區(qū)塊，檢查了其權(quán)重值及其對(duì)激活值的影響(第三節(jié));我們亦討論了使用如 t-SNE 這樣的技術(shù)來(lái)可視化全局表達(dá)(第四節(jié));在所討論的遮蓋實(shí)驗(yàn)中，我們修改了輸入并觀察了輸出改變情況(第五節(jié));然后，我們談到了幾種去卷積方法(第六節(jié))，接著對(duì)圖像進(jìn)行***化(第七節(jié))以***化一個(gè)類、神經(jīng)元之間的激活率(firing rates)或是匹配一個(gè)特定的編碼。此外，我們還基于簡(jiǎn)化的線性解釋，討論了卷積網(wǎng)絡(luò)中的對(duì)抗輸入。***，我們涉及到了一些關(guān)于***化圖像的一些應(yīng)用(在***關(guān)于 Deep Dream、神經(jīng)風(fēng)格的兩節(jié)中)。這些技術(shù)表明，神經(jīng)網(wǎng)絡(luò)中的「層」或特性并非僅僅是隨機(jī)模式，有著能夠直覺(jué)被理解的特性。我們能夠使用這些可視化技巧來(lái)發(fā)現(xiàn)模型的中的問(wèn)題，以獲得更好的結(jié)果。
***，我們想提及一個(gè)也許更具價(jià)值的觀點(diǎn)：如今神經(jīng)網(wǎng)絡(luò)給出的解決方案，在神經(jīng)網(wǎng)絡(luò)不斷增長(zhǎng)的情況下的被證明是經(jīng)驗(yàn)***的——也就是說(shuō)，在所謂「好」與「差」的答案之間的鴻溝消失了。所以，困在一個(gè)局部***點(diǎn)，也許不再是一個(gè)問(wèn)題。
【本文是51CTO專欄機(jī)構(gòu)機(jī)器之心的原創(chuàng)文章，微信公眾號(hào)“機(jī)器之心( id: almosthuman2014)”】
