多層感知器 (Multi-Layer Perceptrons，MLP) ，也被稱為全連接前饋神經(jīng)網(wǎng)絡(luò)，是當今深度學(xué)習(xí)模型的基本組成部分。MLP 的重要性無論怎樣強調(diào)都不為過，因為它是機器學(xué)習(xí)中用于逼近非線性函數(shù)的默認方法。

然而，MLP 也存在某些局限性，例如難以解釋學(xué)習(xí)到的表示，以及難以靈活地擴展網(wǎng)絡(luò)規(guī)模。

KAN（Kolmogorov–Arnold Networks）的出現(xiàn)，為傳統(tǒng) MLP 提供了一種創(chuàng)新的替代方案。該方法在準確性和可解釋性方面優(yōu)于 MLP，而且，它能以非常少的參數(shù)量勝過以更大參數(shù)量運行的 MLP。

那么，問題來了，KAN 、MLP 到底該選哪一種？有人支持 MLP，因為 KAN 只是一個普通的 MLP，根本替代不了，但也有人則認為 KAN 更勝一籌，而當前對兩者的比較也是局限在不同參數(shù)或 FLOP 下進行的，實驗結(jié)果并不公平。

為了探究 KAN 的潛力，有必要在公平的設(shè)置下全面比較 KAN 和 MLP 了。

為此，來自新加坡國立大學(xué)的研究者在控制了 KAN 和 MLP 的參數(shù)或 FLOP 的情況下，在不同領(lǐng)域的任務(wù)中對它們進行訓(xùn)練和評估，包括符號公式表示、機器學(xué)習(xí)、計算機視覺、NLP 和音頻處理。在這些公平的設(shè)置下，他們發(fā)現(xiàn) KAN 僅在符號公式表示任務(wù)中優(yōu)于 MLP，而 MLP 通常在其他任務(wù)中優(yōu)于 KAN。

• 論文地址：https://arxiv.org/pdf/2407.16674
• 項目鏈接：https://github.com/yu-rp/KANbeFair
• 論文標題：KAN or MLP: A Fairer Comparison

作者進一步發(fā)現(xiàn)，KAN 在符號公式表示方面的優(yōu)勢源于其使用的 B - 樣條激活函數(shù)。最初，MLP 的整體性能落后于 KAN，但在用 B - 樣條代替 MLP 的激活函數(shù)后，其性能達到甚至超過了 KAN。但是，B - 樣條無法進一步提高 MLP 在其他任務(wù)（如計算機視覺）上的性能。

作者還發(fā)現(xiàn)，KAN 在連續(xù)學(xué)習(xí)任務(wù)中的表現(xiàn)實際上并不比 MLP 好。最初的 KAN 論文使用一系列一維函數(shù)比較了 KAN 和 MLP 在連續(xù)學(xué)習(xí)任務(wù)中的表現(xiàn)，其中每個后續(xù)函數(shù)都是前一個函數(shù)沿數(shù)軸的平移。而本文比較了 KAN 和 MLP 在更標準的類遞增持續(xù)學(xué)習(xí)設(shè)置中的表現(xiàn)。在固定的訓(xùn)練迭代條件下，他們發(fā)現(xiàn) KAN 的遺忘問題比 MLP 更嚴重。

KAN、MLP 簡單介紹

KAN 有兩個分支，第一個分支是 B 樣條分支，另一個分支是 shortcut 分支，即非線性激活與線性變換連接在一起。在官方實現(xiàn)中，shortcut 分支是一個 SiLU 函數(shù)，后面跟著一個線性變換。令 x 表示一個樣本的特征向量。那么，KAN 樣條分支的前向方程可以寫成：

在原始 KAN 架構(gòu)中，樣條函數(shù)被選擇為 B 樣條函數(shù)。每個 B 樣條函數(shù)的參數(shù)與其他網(wǎng)絡(luò)參數(shù)一起學(xué)習(xí)。

相應(yīng)的，單層 MLP 的前向方程可以表示為：

該公式與 KAN 中的 B 樣條分支公式具有相同的形式，只是在非線性函數(shù)中有所不同。因此，拋開原論文對 KAN 結(jié)構(gòu)的解讀，KAN 也可以看作是一種全連接層。

因而，KAN 和普通 MLP 的區(qū)別主要有兩點：

1. 激活函數(shù)不同。通常 MLP 中的激活函數(shù)包括 ReLU、GELU 等，沒有可學(xué)習(xí)的參數(shù)，對所有輸入元素都是統(tǒng)一的，而在 KAN 中，激活函數(shù)是樣條函數(shù)，有可學(xué)習(xí)的參數(shù)，并且對于每個輸入元素都是不一樣的。
2. 線性和非線性運算的順序。一般來說，研究者會把 MLP 概念化為先進行線性變換，再進行非線性變換，而 KAN 其實是先進行非線性變換，再進行線性變換。但在某種程度上，將 MLP 中的全連接層描述為先非線性，后線性也是可行的。

通過比較 KAN 和 MLP，該研究認為兩者之間的差異主要是激活函數(shù)。因而，他們假設(shè)激活函數(shù)的差異使得 KAN 和 MLP 適用于不同的任務(wù)，從而導(dǎo)致兩個模型在功能上存在差異。為了驗證這一假設(shè)，研究者比較了 KAN 和 MLP 在不同任務(wù)上的表現(xiàn)，并描述了每個模型適合的任務(wù)。為了確保公平比較，該研究首先推導(dǎo)出了計算 KAN 和 MLP 參數(shù)數(shù)量和 FLOP 的公式。實驗過程控制相同數(shù)量的參數(shù)或 FLOP 來比較 KAN 和 MLP 的性能。

KAN 和 MLP 的參數(shù)數(shù)量及FLOP 

控制參數(shù)數(shù)量

KAN 中可學(xué)習(xí)的參數(shù)包括 B 樣條控制點、shortcut 權(quán)重、B 樣條權(quán)重和偏置項。總的可學(xué)習(xí)參數(shù)數(shù)量為：

其中， d_in 和 d_out 表示神經(jīng)網(wǎng)絡(luò)層的輸入和輸出維度，K 表示樣條的階數(shù)，它與官方 nn.Module KANLayer 的參數(shù) k 相對應(yīng)，它是樣條函數(shù)中多項式基礎(chǔ)的階數(shù)。G 表示樣條間隔數(shù)，它對應(yīng)于官方 nn.Module KANLayer 的 num 參數(shù)。它是填充前 B 樣條曲線的間隔數(shù)。在填充之前，它等于控制點的數(shù)量 - 1。在填充后，應(yīng)該有 (K +G) 個有效控制點。

相應(yīng)的，一個 MLP 層的可學(xué)習(xí)參數(shù)是：

KAN 和 MLP 的 FLOP

在作者的評估中，任何算術(shù)操作的 FLOP 被考慮為 1，而布爾操作的 FLOP 被考慮為 0。De Boor-Cox 算法中的 0 階操作可以轉(zhuǎn)換為一系列布爾操作，這些操作不需要進行浮點運算。因此，從理論上講，其 FLOP 為 0。這與官方 KAN 實現(xiàn)不同，在官方實現(xiàn)中，它將布爾數(shù)據(jù)轉(zhuǎn)換回浮點數(shù)據(jù)來進行操作。

在作者的評估中，F(xiàn)LOP 是針對一個樣本計算的。官方 KAN 代碼中使用 De Boor-Cox 迭代公式實現(xiàn)的 B 樣條 FLOP 為：

連同 shortcut 路徑的 FLOP 以及合并兩個分支的 FLOP，一個 KAN 層的總 FLOP 是：

相應(yīng)的，一個 MLP 層的 FLOP 為：

具有相同輸入維度和輸出維度的 KAN 層與 MLP 層之間的 FLOP 差異可以表示為：

如果 MLP 也首先進行非線性操作，那么首項將為零。

 實驗

作者的目標是，在參數(shù)數(shù)量或 FLOP 相等的前提下，對比 KAN 和 MLP 的性能差異。該實驗涵蓋多個領(lǐng)域，包括機器學(xué)習(xí)、計算機視覺、自然語言處理、音頻處理以及符號公式表示。所有實驗都采用了 Adam 優(yōu)化器，這些實驗全部在一塊 RTX3090 GPU 上進行。

性能比較

機器學(xué)習(xí)。作者在 8 個機器學(xué)習(xí)數(shù)據(jù)集上進行了實驗，使用了具有一到兩個隱藏層的 KAN 和 MLP，根據(jù)各個數(shù)據(jù)集的特點，他們調(diào)整了神經(jīng)網(wǎng)絡(luò)的輸入和輸出維度。

對于 MLP，隱藏層寬度設(shè)置為 32、64、128、256、512 或 1024，并采用 GELU 或 ReLU 作為激活函數(shù)，同時在 MLP 中使用了歸一化層。對于 KAN，隱藏層寬度則為 2、4、8 或 16，B 樣條網(wǎng)格數(shù)為 3、5、10 或 20，B 樣條的度數(shù)（degree）為 2、3 或 5。

由于原始 KAN 架構(gòu)不包括歸一化層，為了平衡 MLP 中歸一化層可能帶來的優(yōu)勢，作者擴大了 KAN 樣條函數(shù)的取值范圍。所有實驗都進行了 20 輪訓(xùn)練，實驗記錄了訓(xùn)練過程中在測試集上取得的最佳準確率，如圖 2 和圖 3 所示。

在機器學(xué)習(xí)數(shù)據(jù)集上，MLP 通常保持優(yōu)勢。在他們對八個數(shù)據(jù)集的實驗中，MLP 在其中的六個上表現(xiàn)優(yōu)于 KAN。然而，他們也觀察到在一個數(shù)據(jù)集上，MLP 和 KAN 的性能幾乎相當，而在另一個數(shù)據(jù)集上，KAN 表現(xiàn)則優(yōu)于 MLP。

總體而言，MLP 在機器學(xué)習(xí)數(shù)據(jù)集上仍然具有普遍優(yōu)勢。

計算機視覺。作者對 8 個計算機視覺數(shù)據(jù)集進行了實驗。他們使用了具有一到兩個隱藏層的 KAN 和 MLP，根據(jù)數(shù)據(jù)集的不同，調(diào)整了神經(jīng)網(wǎng)絡(luò)的輸入和輸出維度。

在計算機視覺數(shù)據(jù)集中，KAN 的樣條函數(shù)引入的處理偏差并沒有起到效果，其性能始終不如具有相同參數(shù)數(shù)量或 FLOP 的 MLP。

音頻和自然語言處理。作者在 2 個音頻分類和 2 個文本分類數(shù)據(jù)集上進行了實驗。他們使用了一到兩個隱藏層的 KAN 和 MLP，并根據(jù)數(shù)據(jù)集的特性，調(diào)整了神經(jīng)網(wǎng)絡(luò)的輸入和輸出維度。

在兩個音頻數(shù)據(jù)集上，MLP 的表現(xiàn)優(yōu)于 KAN。

在文本分類任務(wù)中，MLP 在 AG 新聞數(shù)據(jù)集上保持了優(yōu)勢。然而，在 CoLA 數(shù)據(jù)集上，MLP 和 KAN 之間的性能沒有顯著差異。當控制參數(shù)數(shù)量相同時，KAN 在 CoLA 數(shù)據(jù)集上似乎有優(yōu)勢。然而，由于 KAN 的樣條函數(shù)需要較高的 FLOP，這一優(yōu)勢在控制 FLOP 的實驗中并未持續(xù)顯現(xiàn)。當控制 FLOP 時，MLP 似乎更勝一籌。因此，在 CoLA 數(shù)據(jù)集上，并沒有一個明確的答案來說明哪種模型更好。

總體而言，MLP 在音頻和文本任務(wù)中仍然是更好的選擇。

符號公式表示。作者在 8 個符號公式表示任務(wù)中比較了 KAN 和 MLP 的差異。他們使用了一到四個隱藏層的 KAN 和 MLP，根據(jù)數(shù)據(jù)集調(diào)整了神經(jīng)網(wǎng)絡(luò)的輸入和輸出維度。

在控制參數(shù)數(shù)量的情況下，KAN 在 8 個數(shù)據(jù)集中的 7 個上表現(xiàn)優(yōu)于 MLP。在控制 FLOP 時，由于樣條函數(shù)引入了額外的計算復(fù)雜性，KAN 的性能大致與 MLP 相當，在兩個數(shù)據(jù)集上優(yōu)于 MLP，在另一個數(shù)據(jù)集上表現(xiàn)不如 MLP。

總體而言，在符號公式表示任務(wù)中，KAN 的表現(xiàn)優(yōu)于 MLP。