[[202505]]

在許多機器學習任務中，人工神經網絡尤其是近些年發展起來的深度學習網絡，已經取得了十分矚目的結果。然而，以前研究者往往將神經網絡的內部行為當作黑盒來看待，神經網絡到底學習到了什么并不了解。近些年來，研究者們逐漸開始關注這一問題，并通過了解其內部行為來幫助優化模型。而這篇工作則是從可視化的角度出發來對待這個問題。

為了理解這篇工作的內容，我們首先需要對神經網絡有一定的了解。神經元是神經網絡中的最基本單元。一個神經元 (neuron) 接受若干個輸入，計算它們的加權和，然后使用“激活”函數對這個和進行處理后，得到輸出值。其中，這里的權重就是這個神經元待學習的參數。若干個神經元可以組成一個層 (layer)，同一層的神經元之間沒有值的傳遞關系。而多個層可以依次排列起來，前一層中所有(或者部分)神經元的輸出作為下一層各個神經元的輸入。除了***層的神經元不需要輸入，而直接輸出數據的某一分量;***一層的神經元的輸出不再作為其他神經元的輸入，而直接用于相應的任務。圖1就是這樣一種典型的神經網絡，它具有三層，***層為輸入，***一層為輸出，中間一層稱之為隱含層。我們可以將一個神經網絡看作依次對輸入數據進行處理的函數，每經過一層原始數據就得到一次變換，***一層變換后的結果則直接用于處理對應任務。 

圖1：一個典型的神經網絡結構

在這么個神經網絡中，可以用來可視化的數據包含兩部分：一是每一層神經元的輸出，它們對應輸入數據在網絡中的不同表示;二是每個神經元所學習到的權重，它們刻畫著各個神經元的行為，即如何對輸入進行響應的。這兩部分數據分別對應作者在這篇工作中研究者們提出的神經網絡內部行為的兩個任務：任務一，研究數據表示間的關系;任務二、研究神經元間的關系。

為了進行具體的研究，作者考慮了兩種神經網絡模型：多層感知機MLP和卷積神經網絡CNN。其中，多層感知機的結果類似于圖1，只是中間含有4個隱含層，各具有1000個神經元。而卷積神經網絡在輸入層之后有若干卷積層、池化層等等，***在輸出層之前會有全連接層，也就是類似圖1中的結構。作者采用這兩種模型在數據集MNIST、SVHN和CIFAR-10分別進行測試與比較。這三個數據集都是用于測試圖片中數字或者物體的識別任務的。對應到所采用的兩種神經網絡模型中，輸入層的每個神經元對應數據集中樣本的每個像素，而輸出層的每個神經元則分別對應圖片所屬的數字或者物體某一個類別，輸出值表示屬于那一類別的概率。圖2中，展示了這兩種模型在三個數據集上的測試準確率。

圖2：兩種網絡結構在三個數據集上的準確率

我們回到神經網絡本身。前面提到的神經網絡的內部行為實際上包含兩部分數據，并且均為高維數據。作者選擇采用降維投影的方式對它們進行可視化。其中，對于***個任務，由于原始數據本身已經有所屬類別，那么研究數據表示間的聚類關系就有必要性。作者選擇了能更好保留相鄰關系和聚類關系的t-SNE投影來對這部分數據進行處理。而在第二個任務中，神經元的關系主要考察它們之間線性相關性的大小，那么能盡量保持距離的MDS投影被作者采用。

接下來，我們通過樣例分析來看看可視化是如何在這兩個任務上發揮其作用的。

圖3：訓練前后MLP***一層數據表示的投影圖

在***個例子中(圖3)，左圖是針對MNIST數據，未經訓練的MLP***一層神經元輸出的投影結果。可以看到，即使模型還未經訓練，其內部表示中，已經有了比較好的類間區分性。這一現象盡管比較直接，但沒有被任何已有工作所記錄。這也意味著投影的方法可以用于研究模型的初始化策略。而右圖則是訓練后的數據表示投影結果，可以看到類間的視覺區分性大大增強了。同時，模型的預測準確率也增強了。這就說明了根據內部表示的類間區分性能一定程度上預測模型的準確率，同時也說明模型的訓練過程也是提高數據內部表示的類間區分性的過程。 

圖4：訓練后MLP***層和***一層數據表示的投影圖

投影圖還可以用于比較同一模型不同層的表示區別。如圖4所示，左側是***層的表示投影圖，右側是***一層的投影圖。可以看到類間的可分性得到了明顯的提升。這也就意味著后面的層通過抓住數據中更高層的特征，對數據有了更具區分性的表示。 

圖5：訓練后CNN***一層數據表示的投影圖

在第二個例子中，作者將SVHN數據集的MLP***一層神經元輸出進行投影(圖5)。從投影圖中，可以容易地看到每個類別的點基本都形成了兩個聚類。經過對投影圖的探查，發現其中一個聚類對應的是“淺色背景上的深色數字”，而另一類對應的是“深色背景上的淺色數字”。這種通過可視化得到的語義知識可以進一步幫助理解和提高模型。例如，作者對測試數據進行邊緣提取操作，以移除深淺顏色帶來的影響，在完全相同的模型下，預測準確率立即有了提升。其實，已有的研究者也有提出類似的處理方式來提高模型性能，但是他們并沒有對這種做法的合理性進行解釋。這種聚類的語義還可以用來解釋模型的錯誤分類。例如，有一個數字9的圖片被錯分為數字2。但是，一般人可能比較疑惑：為什么圖片中的9如此清晰且沒有形變，但卻別錯分了呢?通過觀察投影圖，可以看到這個圖片對應的點正好在“淺色背景上的深色數字2”附近，那就意味著是模型將圖片中數字9右邊的邊框錯認為了一個形變的數字2。

圖6：訓練后MLP模型中數據表示隨層次的演變可視化

通過將多個投影圖聯合起來觀察，還可以研究模型中數據表示的動態變化過程。圖6中，左側4張小圖展示的是MLP在每個隱含層之后，數據表示的投影情況。右側大圖則將同一數據點不同層的表示用曲線連接了起來，用顏色表示層間先后關系。作者同時采用邊捆綁技術來減少視覺混亂。從圖中可以很容易地看到隨著層次的演進，數據中類內部的一致性和類間的區分性得到了強化。在圖中還能看到一些異常的軌跡，他們的表示在模型中發生了比較劇烈的變化，可能對應一些錯分類的數據。通過類似的方法，還能看到在訓練過程中，每次迭代之后，數據的表示是如何變化的。從中也能觀察到類似的類內部的一致性和類間的區分性的強化效果，具體請參見原文。 

圖7：訓練前后CNN網絡的數據表示投影圖與神經元投影圖

接著，作者研究神經元間的關系，即第二個任務。圖7中，分別展示了訓練前、后數據表示的投影圖和神經元權重關系的投影圖。作者首先在訓練后的數據表示投影圖中選擇了對應數字8的數據點，在神經元投影圖中，對這部分數據具有高激活的神經元被高亮。可以看到，這些神經元基本形成了一個聚類，也就是說它們之間比較相似。而這些神經元在訓練前則是分散在了投影空間中。由此可見，隨著訓練的進行，這些神經元逐漸被特化成專門用于分辨數字8的“專家”，并且逐漸變得相似。

圖8：根據激活類別和程度著色的神經元投影圖和數據表示投影圖

在圖8左側圖中，作者直接根據每個神經元最易激活的類別對它們進行著色。其中，編號460的神經元最容易對數字3產生高激活值。在對應的數據表示投影圖上，我們能看到被這個神經元激活的數據點主要對應“淺色背景上的深色數字3”這一聚類。但同時，有一部分屬于數字5的數據點也有較高的激活值。這意味著，盡管這個神經元比較擅長識別數字3，但在一些數字5的數據上也會產生錯誤。通過類似的分析方法，研究者可以了解神經元的行為與角色，這也是神經網絡研究中的一個非常重要的問題。

總結起來，作者使用降維的方法探索了深度神經網絡中數據表達之間的關系和神經元之間的關系。作者使用的可視化技術比較簡單與直接。但在面對這一類數據上還是取得了許多的發現，其中有些還是沒有被已有工作提高過的未知發現，并且還能間接幫助提高模型性能。