爆火神經(jīng)網(wǎng)絡(luò)架構(gòu)KAN更新2.0！研究者可專(zhuān)屬定制，輕松應(yīng)對(duì)經(jīng)典物理學(xué)研究，作者：和MLP不能互相取代
爆火神經(jīng)網(wǎng)絡(luò)架構(gòu)KAN，上新了！
KAN2.0。
此次與科學(xué)問(wèn)題更深入地融合，可以輕松解出經(jīng)典物理學(xué)研究。
比如發(fā)現(xiàn)拉格朗日量（用來(lái)描述整個(gè)物理系統(tǒng)動(dòng)力狀態(tài)的函數(shù)）
圖片
除此之外，研究者還可以量身定制屬于自己的KAN2.0，將專(zhuān)業(yè)知識(shí)作為輔助變量添加到輸入當(dāng)中去。
此前，KAN橫空出世，一夜引爆科技圈。它以200萬(wàn)參數(shù)模型架構(gòu)，直接復(fù)現(xiàn)DeepMind用30萬(wàn)參數(shù)的MLPs發(fā)現(xiàn)數(shù)學(xué)定理的研究。要知道，后者可是登上Nature封面的研究。
由于KAN性能太好，一度引來(lái)關(guān)于「能否替代掉Transformer的MLP層」的探討，大家直呼：Yes We KAN！
MIT博士生劉子鳴再次為論文一作。
圖片
業(yè)內(nèi)學(xué)者們，紛紛趕來(lái)祝賀。
圖片
圖片
KAN2.0將AI與科學(xué)統(tǒng)一起來(lái)
AI+科學(xué)的一大挑戰(zhàn)在于他們之間固有的不兼容性：當(dāng)前AI主要基于連接主義，科學(xué)則依賴(lài)于符號(hào)主義。
此次新框架KAN2.0就主打?qū)ANs同科學(xué)無(wú)縫協(xié)同，這種協(xié)同作用是雙向的：科學(xué)到 KAN（將科學(xué)知識(shí)融入 KAN），KAN到科學(xué)（從KAN中提取科學(xué)見(jiàn)解）。
圖片
更具體來(lái)說(shuō)，KAN2.0對(duì)科學(xué)發(fā)現(xiàn)主要有三個(gè)方面的作用，從簡(jiǎn)單粗略到逐漸精細(xì)復(fù)雜：
識(shí)別重要特征、揭示模塊結(jié)構(gòu)、發(fā)現(xiàn)符號(hào)公式。
在原始KAN基礎(chǔ)上主要引入了這三個(gè)新功能。
1、MultKAN：帶有乘法節(jié)點(diǎn)的 KAN。
圖片
2、kanpiler：將符號(hào)公式編譯成 KAN的編譯器。
圖片
3、樹(shù)轉(zhuǎn)化器，將 KAN2.0架構(gòu)（或任何神經(jīng)網(wǎng)絡(luò)）轉(zhuǎn)換為樹(shù)狀圖。
圖片
跟上一版本相比，KAN2.0的解釋性更通用，比如像化學(xué)、生物學(xué)等這種很難用符號(hào)方程表示的，模塊化結(jié)構(gòu)和關(guān)鍵特征能夠來(lái)描述。
比如，用戶(hù)可以將模塊化結(jié)構(gòu)構(gòu)建到KAN2.0中。
圖片
再通過(guò)KAN2.0同MLP神經(jīng)元交換，就可以直接看到模塊化結(jié)構(gòu)。
圖片
此外，團(tuán)隊(duì)探究了如何將先驗(yàn)知識(shí)融入KAN2.0。
圖片
基于這些更新，團(tuán)隊(duì)展示了KAN2.0發(fā)現(xiàn)各種經(jīng)典物理定律的能力。
比如發(fā)現(xiàn)二維諧振子的守恒量。
圖片
利用MLP和KAN2.0重新發(fā)現(xiàn)史瓦西黑洞的隱藏對(duì)稱(chēng)性。
圖片
還有像通過(guò)與KAN2.0交互，發(fā)現(xiàn)構(gòu)造定律。
圖片
接下來(lái)，團(tuán)隊(duì)有兩個(gè)方向：一是將該框架應(yīng)用于更大規(guī)模的問(wèn)題；二是將其擴(kuò)展到物理學(xué)以外的其他科學(xué)學(xué)科。
MIT華人一作
此次研究來(lái)自MIT、加州理工學(xué)院、MIT CSAIL等機(jī)構(gòu)的五位研究者，共有三位華人。
圖片
相比于KAN初始版本，還有不少原班人馬，其中MIT劉子鳴依然為一作。
圖片
劉子鳴目前是MIT四年級(jí)博士生，Max Tegmark是他的導(dǎo)師，其研究興趣在于人工智能與物理學(xué)的交叉領(lǐng)域，具體像AI科學(xué)家、物理學(xué)啟發(fā)的深度學(xué)習(xí)、深度學(xué)習(xí)科學(xué)、機(jī)械可解釋性等。
由于KAN受到廣泛的關(guān)注，作為核心作者，他在GitHub頁(yè)面上特意注明，在設(shè)計(jì)KAN并編寫(xiě)代碼的時(shí)候，考慮的是數(shù)學(xué)和物理示例（規(guī)模相當(dāng)小！）因此沒(méi)有考慮到效率而可重用性方面的優(yōu)化。
對(duì)于專(zhuān)注機(jī)器學(xué)習(xí)的用戶(hù)，他坦言，KAN可能還不是個(gè)可以開(kāi)箱即用的簡(jiǎn)單插件（目前還不是）。
KAN和MLP不能互相取代，他們?cè)谀承┣闆r下各有優(yōu)勢(shì)，在其他情況下也有局限性。
圖片
