MIT學者提出科爾莫哥羅夫-阿諾德網絡，代替多層感知機，更準確且更易解釋！ 原創
多層感知機（MLPs）是如此基礎，但是否有替代方案？MLP 在神經元上放置激活函數，但我們是否可以將可學習的激活函數放置在權重上？是的，我們可以！近日，MIT學者提出科爾莫哥羅夫-阿諾德網絡（KAN），比 MLP 更準確且更易解釋。
MLPs 如今是深度學習架構的基石。是否存在替代路線/模型？研究人員考慮對 MLPs 進行一個簡單的改變：將激活函數從節點（神經元）移到邊緣（權重）！
這個改變似乎毫無來由，但它與數學中的逼近理論有著相當深的聯系。事實證明，科爾莫哥羅夫-阿諾德表示對應于具有可學習的激活函數在邊緣而不是在節點上的兩層網絡。
受到表示定理的啟發，研究人員明確地使用神經網絡參數化科爾莫哥羅夫-阿諾德表示。為了紀念兩位偉大的已故數學家安德烈·科爾莫哥羅夫和弗拉基米爾·阿諾德，稱之為科爾莫哥羅夫-阿諾德網絡（KANs）。
從數學角度來看：MLPs 受到了通用逼近定理（UAT）的啟發，而 KANs 則受到了科爾莫哥羅夫-阿諾德表示定理（KART）的啟發。一個網絡能否在固定寬度下達到無限的精度？UAT 表示不行，而 KART 表示可以（但有附帶條件）。
從算法角度來看：在某種意義上，KANs 和 MLPs 是對偶的 —— MLPs 在神經元上有固定的激活函數，而 KANs 在權重上有可學習的激活函數。這些一維激活函數被參數化為樣條函數。
從實際角度來看：研究人員發現 KANs 比 MLPs 更準確且更易解釋，盡管必須承認，由于其可學習的激活函數，KANs 訓練速度較慢。以下是實驗結果：
神經網絡的縮放定律：KANs 的縮放速度比 MLPs 快得多，這在數學上基于科爾莫哥羅夫-阿諾德表示定理。KAN 的縮放指數也可以通過經驗實現。
在函數擬合方面，例如擬合特殊函數，KANs 比 MLPs 更準確。
在偏微分方程求解方面，例如求解泊松方程，KANs 比 MLPs 更準確。
作為額外的好處，研究人員發現 KANs 在避免災難性遺忘方面具有天然的能力。
KANs 也是可解釋的。KANs 能夠從符號公式中揭示合成數據集的組合結構和變量依賴關系。
人類用戶可以與 KANs 進行交互，使它們更易解釋。將人類歸納偏好或領域知識注入到 KANs 中非常容易。
KANs 不僅以更小的網絡和更高度自動化的方式重現了 Deepmind 的結果，還以無監督的方式發現了新公式，并發現了結論不變量的新關系。
特別是，Deepmind 的 MLPs 具有約 300,000 個參數，而KANs 只有約 200 個參數。KANs 可立即解釋，而 MLPs 則需要作為后期分析的特征歸因。
對科學家來說，KANs 也是有用的助手或合作者。研究人員展示了 KANs 如何幫助研究安德森局域化，這是凝聚態物理中的一種相變類型。KANs 使遷移邊緣的提取變得非常容易，無論是數值上，還是符號上。
根據實證結果，由于其準確性、參數效率和可解釋性，KANs 將成為 AI + 科學領域中的一種有用的模型/工具。
論文：https://arxiv.org/abs/2404.19756 Github 倉庫：https://github.com/KindXiaoming/pykan 文檔：https://kindxiaoming.github.io/pykan/
誰是科爾莫哥羅夫？
安德雷·尼古拉耶維奇·科爾莫哥羅夫（1903年4月25日—1987年10月20日）是一位俄國數學家，主要研究領域包括概率論、算法信息論、拓撲學、直覺主義邏輯、紊流、經典力學和計算復雜性理論。他最為人所稱道的是對概率論公理化方面的貢獻。他曾表示：“概率論作為數學學科，可以而且應該從公理開始建設，和幾何、代數的路一樣”。
科爾莫哥羅夫于1903年出生在坦波夫。在他出生時，他的未婚母親因分娩并未存活。他的阿姨們在靠近雅羅斯拉夫爾的圖諾什納外公家把他養大。關于他父親的情況所知甚少，據說他曾是一名農學家，在參加反對沙皇的革命運動后被從圣彼得堡驅逐到外省。1919年，他失蹤，被認為死于俄國內戰。柯爾莫哥洛夫在阿姨的鄉村學校接受教育，他最初的文學成就和數學文章都發表于校報。青少年時，他設計了永動機，連老師也找不出其中的必要錯誤。1910年，阿姨收養了他，并與他一同遷居到莫斯科，他在那里上了文科中學，并于1920年畢業。
本文轉載自公眾號AIGC最前線
