爆火神經網絡架構KAN更新2.0！研究者可專屬定制，輕松應對經典物理學研究，作者：和MLP不能互相取代
爆火神經網絡架構KAN，上新了！
KAN2.0。
此次與科學問題更深入地融合，可以輕松解出經典物理學研究。
比如發現拉格朗日量（用來描述整個物理系統動力狀態的函數）
圖片
除此之外，研究者還可以量身定制屬于自己的KAN2.0，將專業知識作為輔助變量添加到輸入當中去。
此前，KAN橫空出世，一夜引爆科技圈。它以200萬參數模型架構，直接復現DeepMind用30萬參數的MLPs發現數學定理的研究。要知道，后者可是登上Nature封面的研究。
由于KAN性能太好，一度引來關于「能否替代掉Transformer的MLP層」的探討，大家直呼：Yes We KAN！
MIT博士生劉子鳴再次為論文一作。
圖片
業內學者們，紛紛趕來祝賀。
圖片
圖片
KAN2.0將AI與科學統一起來
AI+科學的一大挑戰在于他們之間固有的不兼容性：當前AI主要基于連接主義，科學則依賴于符號主義。
此次新框架KAN2.0就主打將KANs同科學無縫協同，這種協同作用是雙向的：科學到 KAN（將科學知識融入 KAN），KAN到科學（從KAN中提取科學見解）。
圖片
更具體來說，KAN2.0對科學發現主要有三個方面的作用，從簡單粗略到逐漸精細復雜：
識別重要特征、揭示模塊結構、發現符號公式。
在原始KAN基礎上主要引入了這三個新功能。
1、MultKAN：帶有乘法節點的 KAN。
圖片
2、kanpiler：將符號公式編譯成 KAN的編譯器。
圖片
3、樹轉化器，將 KAN2.0架構（或任何神經網絡）轉換為樹狀圖。
圖片
跟上一版本相比，KAN2.0的解釋性更通用，比如像化學、生物學等這種很難用符號方程表示的，模塊化結構和關鍵特征能夠來描述。
比如，用戶可以將模塊化結構構建到KAN2.0中。
圖片
再通過KAN2.0同MLP神經元交換，就可以直接看到模塊化結構。
圖片
此外，團隊探究了如何將先驗知識融入KAN2.0。
圖片
基于這些更新，團隊展示了KAN2.0發現各種經典物理定律的能力。
比如發現二維諧振子的守恒量。
圖片
利用MLP和KAN2.0重新發現史瓦西黑洞的隱藏對稱性。
圖片
還有像通過與KAN2.0交互，發現構造定律。
圖片
接下來，團隊有兩個方向：一是將該框架應用于更大規模的問題；二是將其擴展到物理學以外的其他科學學科。
MIT華人一作
此次研究來自MIT、加州理工學院、MIT CSAIL等機構的五位研究者，共有三位華人。
圖片
相比于KAN初始版本，還有不少原班人馬，其中MIT劉子鳴依然為一作。
圖片
劉子鳴目前是MIT四年級博士生，Max Tegmark是他的導師，其研究興趣在于人工智能與物理學的交叉領域，具體像AI科學家、物理學啟發的深度學習、深度學習科學、機械可解釋性等。
由于KAN受到廣泛的關注，作為核心作者，他在GitHub頁面上特意注明，在設計KAN并編寫代碼的時候，考慮的是數學和物理示例（規模相當小！）因此沒有考慮到效率而可重用性方面的優化。
對于專注機器學習的用戶，他坦言，KAN可能還不是個可以開箱即用的簡單插件（目前還不是）。
KAN和MLP不能互相取代，他們在某些情況下各有優勢，在其他情況下也有局限性。
圖片
