[SVM]手書動畫 ??

除了SVM，傳統機器學習中還有很多其它分類、回歸和聚類算法，例如邏輯回歸，決策樹，隨機森林等集成學習方法；這里統稱為模型，這些模型基本上可以通過明確的數學公式定義輸入數據與輸出結果之間的關系。

在深度學習興起之前，支持向量機(SVM)在機器學習領域占據主導地位。

這個動畫比較了線性SVM和RBF SVM。

[1] 給定:

xi: 六個訓練向量(藍色行 ??)

yi: 標簽

使用xi和yi，我們學習得到ai和b(紅色邊框):

ai: 每個訓練向量i的系數。

，定義了決策邊界

，被忽略

b: 偏置(決策邊界應該移動多少)

x'j: 兩個測試向量(黃色列 ??)

(為了簡化手工計算，訓練和測試向量沒有進行歸一化。)

~ 線性SVM ~

?? 核矩陣 (K)[2]-[3]

[2] 測試向量1

計算測試向量 ?? 與每個訓練向量 ?? 的點積

點積近似兩個向量之間的"余弦相似度"

輸出: K的第1列

[3] 測試向量2

類似于 [2]

輸出: K的第2列

?? 決策邊界 [4]-[6]

[4] 無符號系數 → 有符號權重

將每個系數與相應的標簽相乘

第2個訓練向量不是支持向量，因為它的系數為0。

[5] 加權組合

將權重和偏置與K相乘

輸出: 到決策邊界的"有符號"距離

...

X'1: (2)*13+0+(1)*12+(-1)*15+(1)*19+(-1)*27+(2) = 17

X'2: (2)*2+0+(1)*3+(-1)*4+(1)*8+(-1)*8+(2) = 5

...

[6] 分類

取符號

...

X'1: 17 > 0 →  正 +

X'2: 5 > 0 →  正 +

...

~ RBF SVM ~

給定:

ai: 學習得到的系數

b: 學習得到的偏置

?? 核矩陣 (K)

[7]-[15]

測試向量 (X'1) ?? L2距離 ?? [7]-[9]

[7] 平方差

... i=1: (1-2)^2=1,  (2-4)^2=4，(1-3)^2=4 ...

[8] 求和

[9] 平方根

[10] 負縮放

乘以-1: 注意L2是一個距離度量。取負將距離轉換為相似度。

乘以gamma γ: 目的是控制每個訓練樣本的影響力。小的gamma意味著每個訓練樣本對決策邊界的拉力較小，resulting in更平滑的決策邊界。

結果是"負縮放的L2"

[11] 求指數

以e為底，"負縮放的L2"為指數

使用提供的表格查找e^的值

輸出: K的第1列

測試向量2 (X'2) ?? L2距離 ?? [12]-[14]

[12] 平方差

[13] 求和

[14] 平方根

[15] 負縮放

[16] 求指數

輸出: K的第2列

?? 決策邊界 [17]-[19]

[17] 無符號系數 → 有符號權重

[18] 加權組合

...

X'1: (20)*0.7+(-10)*0.8+(10)*0.9+(-10)*0.7+0+(-10)*0.9+(-1) = -2

X'2: (20)*0.9+(-10)*0.7+(10)*0.8+(-10)*0.8+0+(-10)*0.9+(-1) = 1

...

[19] 分類

...

X'1: -2 < 0 →  -

X'2: 1 > 0 →  +

...

[反向傳播] 手書動畫??

有了模型，接下就需要通過優化算法求模型中的參數，也就是數學公式中的未知量。

[1] 前向傳播

? 給定一個三層的多層感知器，輸入向量為X，預測結果為Y^{Pred} = [0.5, 0.5, 0]，真實標簽為Y^{Target} = [0, 1, 0]。

[2] 反向傳播

? 添加單元格以存放我們的計算結果(梯度信息)。

[3] 第三層 - Softmax（藍色）

? 使用化簡后的公式直接計算 ?L / ?z3：Y^{Pred} - Y^{Target} = [0.5, -0.5, 0]。

? 這個化簡后的公式得益于Softmax和交叉熵損失的聯合使用。

[4] 第三層 - 權重（橙色）和偏置（黑色）

? 通過將 ?L / ?z3 和 [ a2 | 1 ] 相乘，計算 ?L / ?W3 和 ?L / ?b3。

[5] 第二層 - 激活（綠色）

? 通過將 ?L / ?z3 和 W3 相乘，計算 ?L / ?a2。

[6] 第二層 - ReLU（藍色）

? 通過將 ?L / ?a2 乘以1（對正值）或0（對負值），計算 ?L / ?z2。

[7] 第二層 - 權重（橙色）和偏置（黑色）

? 通過將 ?L / ?z2 和 [ a1 | 1 ] 相乘，計算 ?L / ?W2 和 ?L / ?b2。

[8] 第一層 - 激活（綠色）

? 通過將 ?L / ?z2 和 W2 相乘，計算 ?L / ?a1。

[9] 第一層 - ReLU（藍色）

? 通過將 ?L / ?a1 乘以1（對正值）或0（對負值），計算 ?L / ?z1。

[10] 第一層 - 權重（橙色）和偏置（黑色）

? 通過將 ?L / ?z1 和 [ x | 1 ] 相乘，計算 ?L / ?W1 和 ?L / ?b1。

[11] 梯度下降

? 更新權重和偏置（通常在這里應用學習率）。

?? 矩陣乘法是關鍵：正如在前向傳播中一樣，反向傳播也主要是矩陣乘法。你完全可以像我在這個練習中演示的那樣手動計算，盡管速度慢且不太完美。這就是為什么GPU高效矩陣乘法能力在深度學習中扮演重要角色的原因，這也是為什么NVIDIA的估值現在接近1萬億美元的原因。

?? 梯度爆炸：我們可以看到即使在這個簡單的三層網絡中，隨著反向傳播的進行，梯度正在變大。這促使我們使用諸如ResNet中跳躍連接（skip connections）的方法來處理梯度爆炸（或消失）問題。

[Multiple Layer Perceptron（MLP）]手書動畫??

MLP更準確地說應該屬于神經網絡范疇，作為一種分類、回歸模型，在很多地方都能看到它的身影，例如，目標檢測，Transformer等。

通過隱藏層和激活函數的使用，它能夠模擬任意復雜函數，與傳統機器學習相比，它大大減小對經驗的依賴。

步驟說明

給定一個代碼模板（左側），實現如圖所示的多層感知器（右側）。

第一個線性層。

輸入特征大小為3。輸出特征大小為4。我們可以看到權重矩陣的大小是4×3。此外，還有一個額外的列用于偏置（bias = T）。激活函數是ReLU。我們可以看到ReLU對第一個特征的影響（-1 -> 0）。

第二個線性層。

輸入特征大小為4，與前一層的輸出特征大小相同。輸出特征大小為2。我們可以看到權重矩陣的大小是2×4。但是，沒有額外的列用于偏置（bias = F）。激活函數是ReLU。

最后的線性層。

輸入特征大小為2，與前一層的輸出特征大小相同。輸出特征大小為5。我們可以看到權重矩陣的大小是5×2。此外，有一個額外的列用于偏置（bias = T）。激活函數是Sigmoid。我們可以看到Sigmoid的效果，它是一個將原始分數（3, 0, -2, 5, -5）非線性映射到0到1之間的概率值的函數。

[MLP vs KAN]手書動畫??

Transformer中MLP占據了很大一部分參數，為了提升Transformer計算效率，有人提出了KAN和MoE來作為MLP的一種替代。

本文轉載自公眾號人工智能大講堂 

原文鏈接：??https://mp.weixin.qq.com/s/x-mlK_S_HIRquAxr8uNVXQ??