本文總結了深度學習中常用的八大類型的卷積，以非常形象的方式幫助你建立直覺理解，為你的深度學習提供有益的參考。

分別是單通道卷積、多通道卷積、3D卷積、1 x 1卷積、轉置卷積、擴張卷積、可分離卷積、分組卷積。

單通道卷積

單通道卷積

在深度學習中，卷積是元素先乘法后加法。對于具有1個通道的圖像，卷積如下圖所示。這里的濾波器是一個3 x 3矩陣，元素為[[0,1,2]，[2,2,0]，[0,1,2]]。過濾器在輸入端滑動。在每個位置，它都在進行元素乘法和加法。每個滑動位置最終都有一個數字。最終輸出是3 x 3矩陣。

多通道卷積

在許多應用程序中，我們處理的是具有多個通道的圖像。典型的例子是RGB圖像。每個RGB通道都強調原始圖像的不同方面，如下圖所示：

圖像拍攝于云南省元陽市

卷積神經網絡中每層用多個濾波器核就是多通道。卷積網絡層通常由多個通道(數百個卷積核)組成。每個通道提取前一層不同方面的抽象特征。我們如何在不同深度的層之間進行過渡?我們如何將深度為n的圖層轉換為深度為m的后續圖層?

"層"(過濾器)和"通道"(卷積核)

多通道卷積如下。將每個內核應用到前一層的輸入通道上以生成一個輸出通道。這是一個內核方面的過程。我們為所有內核重復這樣的過程以生成多個通道。然后將這些通道中的每一個加在一起以形成單個輸出通道。

下圖使多通道卷積過程更清晰。

輸入層是一個5 x 5 x 3矩陣，有3個通道。濾波器是3 x 3 x 3矩陣。首先，過濾器中的每個內核分別應用于輸入層中的三個通道,并相加;然后，執行三次卷積，產生3個尺寸為3×3的通道。

多通道2D卷積的***步：濾波器中的每個內核分別應用于輸入層中的三個通道。

多通道的2D卷積的第二步：然后將這三個通道相加在一起(逐元素加法)以形成一個單通道。

3D卷積

3D濾鏡可以在所有3個方向(圖像的高度，寬度，通道)上移動。在每個位置，逐元素乘法和加法提供一個數字。由于濾鏡滑過3D空間，因此輸出數字也排列在3D空間中，然后輸出是3D數據。

類似于2D卷積中對象的空間關系，3D卷積可以描述3D空間中的對象的空間關系。這種3D關系有很重要的應用，例如在生物醫學想象的3D分割/重建中，CT和MRI，其中諸如血管的對象在3D空間中蜿蜒。

1 x 1卷積

1 x 1卷積中將一個數字乘以輸入層中的每個數字。

如果輸入層有多個通道，此卷積會產生有趣的作用。下圖說明了1 x 1卷積如何適用于尺寸為H x W x D的輸入層。在濾波器尺寸為1 x 1 x D的1 x 1卷積之后，輸出通道的尺寸為H x W x 1.如果我們應用N這樣的1 x 1卷積然后將結果連接在一起，我們可以得到一個尺寸為H x W x N的輸出層。

1 x 1卷積，濾波器大小為1 x 1 x D

最初，在網絡網絡文件中提出了1 x 1卷積。然后，他們在Google Inception 被高度使用1 x 1卷積的一些優點是：

• 降低維度以實現高效計算
• 高效的低維嵌入或特征池
• 卷積后再次應用非線性

在上圖中可以觀察到前兩個優點。在1 x 1卷積之后，我們顯著地減小了尺寸。假設原始輸入有200個通道，1 x 1卷積會將這些通道(功能)嵌入到單個通道中。第三個優點是在1 x 1卷積之后，可以添加諸如ReLU的非線性激活，非線性允許網絡學習更復雜的功能。

轉置卷積(解卷積、反卷積)

對于許多應用程序和許多網絡架構，我們經常希望進行與正常卷積相反方向的轉換，即我們希望執行上采樣。一些示例包括生成高分辨率圖像并將低維特征映射映射到高維空間，例如自動編碼器或語義分段。

傳統上，可以通過應用插值方案或手動創建規則來實現上采樣。然而，神經網絡之類的現代架構可以讓網絡本身自動地學習正確的轉換，而無需人為干預。

對于下圖中的示例，我們使用3 x 3內核在2 x 2輸入上應用轉置卷積，使用單位步幅填充2 x 2邊框，上采樣輸出的大小為4 x 4。

輸入2 x 2上采樣輸出4 x 4

有趣的是，通過應用花式填充和步幅，可以將相同的2 x 2輸入圖像映射到不同的圖像大小。下面，轉置卷積應用于相同的2 x 2輸入，使用單位步幅填充2 x 2邊界的零，現在輸出的大小為5 x 5。

輸入2 x 2上采樣輸出5 x 5

在卷積中，讓我們將C定義為我們的內核，將Large定義為輸入圖像，將Small定義為來自卷積的輸出圖像。在卷積(矩陣乘法)之后，我們將大圖像下采樣為小圖像輸出。矩陣乘法中的卷積的實現遵循C x Large = Small。

以下示例顯示了此類操作的工作原理。它將輸入展平為16 x 1矩陣，并將內核轉換為稀疏矩陣(4 x 16)。然后在稀疏矩陣和平坦輸入之間應用矩陣乘法。之后，將得到的矩陣(4×1)轉換回2×2輸出。

卷積的矩陣乘法：從大輸入圖像(4 x 4)到小輸出圖像(2 x 2)

現在，如果我們在方程的兩邊多重矩陣CT的轉置，并使用矩陣與其轉置矩陣的乘法給出單位矩陣的屬性，那么我們有以下公式CT x Small = Large，如下所示下圖。

卷積的矩陣乘法：從小輸入圖像(2 x 2)到大輸出圖像(4 x 4)

擴張卷積

標準的離散卷積：

標準卷積

擴張的卷積如下：

當l = 1時，擴張卷積變為標準卷積。

擴張卷積

直觀地說，擴張的卷積通過在內核元素之間插入空格來"膨脹"內核。這個附加參數l(擴張率)表示我們想要擴展內核的程度。實現可能會有所不同，但內核元素之間通常會插入l-1個空格。下圖顯示了l = 1,2和4時的內核大小。

擴張卷積的感受野

觀察一個大的感受野，而不增加額外的成本。

在圖像中，3×3個紅點表示在卷積之后，輸出圖像具有3×3像素。雖然所有三個擴張的卷積都為輸出提供了相同的尺寸，但模型觀察到的感受野是截然不同的。對于l = 1，接收域為3 x 3 ，l = 2時為7 x 7 ，對于l = 3，接收領域增加到15 x 15 。有趣的是，與這些操作相關的參數數量基本相同。

可分離卷積

空間可分卷積

空間可分離卷積在圖像的2D空間維度上操作，即高度和寬度。從概念上講，空間可分離卷積將卷積分解為兩個單獨的操作。對于下面顯示的示例，內核(3x3內核)被劃分為3x1和1x3內核。

在卷積中，3x3內核直接與圖像卷積。在空間可分離的卷積中，3x1內核首先與圖像卷積。然后應用1x3內核。在執行相同操作時，這將需要6個而不是9個參數。

此外，在空間上可分離的卷積中需要比卷積更少的矩陣乘法。對于一個具體的例子，在具有3×3內核(stride = 1，padding = 0)的5×5圖像上的卷積需要在水平3個位置和垂直3個位置掃描內核，共9個位置，如下圖所示。在每個位置，應用9個元素乘法。總共9 x 9 = 81次乘法。

標準卷積

另一方面，對于空間可分離卷積，我們首先在5 x 5圖像上應用3 x 1濾波器。我們在水平5個位置和垂直3個位置掃描這樣的內核。共5×3 = 15個位置，表示為下面的圖像上的點。在每個位置，應用3個元素乘法。那是15 x 3 = 45次乘法。我們現在獲得了3 x 5矩陣。此矩陣現在與1 x 3內核進行卷積，內核在水平3個位置和垂直3個位置掃描矩陣。對于這9個位置中的每一個，應用3個元素乘法。此步驟需要9 x 3 = 27次乘法。因此，總體而言，空間可分離的卷積需要45 + 27 = 72乘法，小于標準卷積。

深度可分卷積

深度可分離的旋轉包括兩個步驟：深度卷積和1x1卷積。

在描述這些步驟之前，值得重新審視我之前部分中討論的2D卷積和1 x 1卷積。讓我們快速回顧一下標準2D卷積。舉一個具體的例子，假設輸入層的大小為7 x 7 x 3(高x寬x通道)，濾波器的大小為3 x 3 x 3。使用一個濾波器進行2D卷積后，輸出層為尺寸為5 x 5 x 1(僅有1個通道)。

標準2D卷積，使用1個濾波器創建1層輸出

通常，在兩個神經網絡層之間應用多個濾波器。假設我們這里有128個過濾器。在應用這128個2D卷積后，我們有128個5 x 5 x 1輸出映射。然后我們將這些地圖堆疊成一個大小為5 x 5 x 128的單層。通過這樣做，我們將輸入層(7 x 7 x 3)轉換為輸出層(5 x 5 x 128)。空間尺寸，即高度和寬度，縮小，而深度延長。

標準2D卷積，使用128個濾波器創建128層輸出

現在有了深度可分離的卷積，讓我們看看我們如何實現相同的轉換。

首先，我們將深度卷積應用于輸入層。我們不是在2D卷積中使用尺寸為3 x 3 x 3的單個濾波器，而是分別使用3個內核。每個濾波器的大小為3 x 3 x 1.每個內核與輸入層的1個通道進行卷積(僅1個通道，而不是所有通道!)。每個這樣的卷積提供尺寸為5×5×1的圖。然后我們將這些圖堆疊在一起以創建5×5×3圖像。在此之后，我們的輸出尺寸為5 x 5 x 3.我們現在縮小空間尺寸，但深度仍然與以前相同。

深度可分卷積 - ***步：我們分別使用3個內核，而不是在2D卷積中使用大小為3 x 3 x 3的單個濾波器。每個濾波器的大小為3 x 3 x 1。每個內核與輸入層的1個通道進行卷積(僅1個通道，而不是所有通道)。每個這樣的卷積提供尺寸為5×5×1的圖。然后我們將這些圖堆疊在一起以創建5×5×3圖像。在此之后，我們的輸出尺寸為5 x 5 x 3。

作為深度可分離卷積的第二步，為了擴展深度，我們應用1x1卷積，內核大小為1x1x3。將5 x 5 x 3輸入圖像與每個1 x 1 x 3內核進行對比，可提供大小為5 x 5 x 1的映射。

因此，在應用128個1x1卷積后，我們可以得到一個尺寸為5 x 5 x 128的層。

深度可分卷積 - 第二步：應用多個1 x 1卷積來修改深度。

通過這兩個步驟，深度可分離卷積還將輸入層(7 x 7 x 3)轉換為輸出層(5 x 5 x 128)。

深度可分離卷積的整個過程如下圖所示。

深度可分卷積的整個過程

那么，深度可分離卷積的優勢是什么?效率!與2D卷積相比，對于深度可分離卷積，需要更少的操作。

讓我們回顧一下2D卷積示例的計算成本。有128個3x3x3內核移動5x5次。這是128 x 3 x 3 x 3 x 5 x 5 = 86,400次乘法。

可分離的卷積怎么樣?在***個深度卷積步驟中，有3個3x3x1內核移動5x5次。那是3x3x3x1x5x5 = 675次乘法。在1 x 1卷積的第二步中，有128個1x1x3內核移動5x5次。這是128 x 1 x 1 x 3 x 5 x 5 = 9,600次乘法。因此，總體而言，深度可分離卷積需要675 + 9600 = 10,275次乘法。這只是2D卷積成本的12%左右!

分組卷積

2012年，在AlexNet論文中引入了分組卷積。實現它的主要原因是允許通過兩個具有有限內存(每個GPU 1.5 GB內存)的GPU進行網絡訓練。下面的AlexNet在大多數層上顯示了兩個獨立的卷積路徑。它正在跨兩個GPU進行模型并行化(當然，如果有更多的GPU，可以進行多GPU并行化)。

在這里，我們描述分組卷積如何工作。首先，傳統的2D卷積遵循以下步驟。在此示例中，通過應用128個濾波器(每個濾波器的大小為3 x 3 x 3)，將大小為(7 x 7 x 3)的輸入層轉換為大小為(5 x 5 x 128)的輸出層。或者在一般情況下，通過應用Dout內核(每個大小為h x w x Din)將大小(Hin x Win x Din)的輸入層變換為大小(Hout x Wout x Dout)的輸出層。

標準2D卷積

在分組卷積中，過濾器被分成不同的組。每組負責具有一定深度的傳統2D卷積。如下圖。

具有2個濾波器組的分組卷積

以上是具有2個濾波器組的分組卷積的說明。在每個濾波器組中，每個濾波器的深度僅為標稱2D卷積的深度的一半。它們具有深度Din/2。每個濾波器組包含Dout/2濾波器。***個濾波器組(紅色)與輸入層的前半部分([：，：0：Din/2])卷積，而第二個濾波器組(藍色)與輸入層的后半部分卷積([：，：，Din/2：Din])。因此，每個過濾器組都會創建Dout / 2通道。總的來說，兩組創建2 x Dout/2 = Dout頻道。然后，我們使用Dout通道將這些通道堆疊在輸出層中。