1.KAN

這種新型的網(wǎng)絡(luò)架構(gòu)的核心思想基于由柯爾莫哥洛夫-阿諾德表示定理，它被寄予期望能夠替代多層感知器。MLP 在節(jié)點（“神經(jīng)單元”）上具有固定的激活函數(shù)，而 KAN 在邊上（“權(quán)重”）具有可學習的激活函數(shù)。KAN根本沒有線性權(quán)重—每個權(quán)重參數(shù)都被參數(shù)化為一元的spline function。

大白話的意思就是：KAN中的每個激活函數(shù)不是在每個節(jié)點，而是在每條邊上。由一個一元函數(shù)（univariate function）組成，這些函數(shù)本身也是參數(shù)。意味著函數(shù)即參數(shù)，每個權(quán)重參數(shù)不再是一個單一的數(shù)值，而是一個函數(shù)。

spline，a continuous curve constructed so as to pass through a given set of points and have a certain number of continuous derivatives.大致的意思就是spline是一條連續(xù)的曲線，這條曲線能夠穿過給點的數(shù)據(jù)點，且擁有特定數(shù)目的連續(xù)導(dǎo)

具體什么意思，不要著急慢慢來。先來看看KAN相對于MLP的優(yōu)點：

• 這種簡單的變化使得KAN在準確性和可解釋性方面優(yōu)于 MLP。
• ?從理論上和經(jīng)驗上來說，KAN比MLP擁有更快的神經(jīng)尺度法則。
• KAN 可以直觀地可視化，并且可以輕松地與人類用戶交互。
  ?

上圖為兩者之間的對比，最大的區(qū)別在于KAN學習的對象是邊的激活函數(shù)，而每個節(jié)點僅僅做數(shù)值累加，KAN的多層累加有點函數(shù)套娃的意思。傳統(tǒng)的激活函數(shù)是什么，可以回到??初心??去看看。

2.柯爾莫哥洛夫-阿諾德表示定理

這個定理是KAN的基石，用大白話文講就是任何一個函數(shù)都可以轉(zhuǎn)化為由單個變量的函數(shù)再套一層單變量的函數(shù)。

為了讓大家更好的理解，舉個一元二次方程的例子。相信大部分的同學都能寫出來根的公式。而一元三次方程的根其實也是可以表示為a，b，c，d的函數(shù)。

那么一元四次，五次，六次呢，是不是更加復(fù)雜，關(guān)鍵是還能寫得出來么。因此這個定理的貢獻在于將高維函數(shù)簡化成多項式數(shù)量的一維函數(shù)的組合。

為了讓大家更好的理解，細究下這個定理的歷史。故事來至希爾伯特的23個問題：大致的背景是德國數(shù)學家大衛(wèi)·希爾伯特于1900年在巴黎舉行的第二屆國際數(shù)學家大會上作了題為《數(shù)學問題》的演講，所提出23道最重要的數(shù)學問題。其中的第十三問題，希爾伯特希望數(shù)學界能夠證明：x7+ax3+bx2+cx+1=0這個方程式的七個解，若表成系數(shù)為a,b,c的函數(shù)，則此函數(shù)無法簡化成兩個變數(shù)的函數(shù)。

后續(xù)柯爾莫哥洛夫證明每個有多個變元的函數(shù)可用有限個三變元函數(shù)構(gòu)作。阿諾爾德按這個結(jié)果繼續(xù)研究證明兩個變元已足夠。之后阿諾爾德和日本數(shù)學家志村五郎發(fā)表了論文（Superposition of algebraic functions (1976), in Mathematical Developments Arising From Hilbert's Problems）。

這些結(jié)果后來被進一步發(fā)展，推導(dǎo)出人工神經(jīng)網(wǎng)絡(luò)中的通用近似定理，指人工神經(jīng)網(wǎng)絡(luò)能近似任意連續(xù)函數(shù)。

3.KAN架構(gòu)

先回到KA定理的公式：

聰明的讀者一定會發(fā)現(xiàn)，要是將這個做成神經(jīng)網(wǎng)絡(luò)，是不是只有兩層非線性和一個隱藏層（2n+1），因為函數(shù)只套了一次。對的！加上一維函數(shù)可能是非光滑的，甚至是分形的（fractal），在實踐無法學習。

這個函數(shù)其實看起來復(fù)雜，理解卻是不難。第一層輸入數(shù)目為n，舉個例子，X₁自身對應(yīng)著2n+1個內(nèi)圈函數(shù)Θq,1 (q=0...2n+1)。所以一共有n*(n+1)個內(nèi)圈函數(shù)，將Θ1,1 , Θ1,2 ,Θ1,3 ，Θ1,4 ， ... ，Θ1,n進行累加輸出，一共輸出2n+1個數(shù)值。第二層將2n+1個累加數(shù)值輸入外圈函數(shù)Φ，得到1個輸出。所以傳統(tǒng)的KA是兩層的，n->2n+1->1。

然而這次MIT做了技術(shù)突破，它們擴展了KA，提出了KAN架構(gòu)。KAN架構(gòu)的好處在于保留函數(shù)即參數(shù)的內(nèi)核之外，將兩層約束擴展到任意可以堆疊的網(wǎng)絡(luò)結(jié)構(gòu)。

KAN的網(wǎng)絡(luò)結(jié)構(gòu)可以由[n0, n1, · · · , nL]這個整形數(shù)組來表達，每個數(shù)值代表著每一層的節(jié)點個數(shù)（節(jié)點執(zhí)行累加的動作）。下圖為中間層，任何一層輸入，假定這個數(shù)組為[5,4,1]，那么最早一層就是4*5的函數(shù)矩陣，在往下就是1*4的矩陣，最終輸出為1個數(shù)值。想想為什么？不熟悉矩陣的同學可以溫習下??這篇文章??。

最終KAN網(wǎng)絡(luò)的運作模式如下：從輸入不斷經(jīng)過函數(shù)矩陣的變化達到最終的數(shù)值。2.7比較形象，2.8對于數(shù)學比較友好。

4.激活函數(shù)

?

激活函數(shù)的長相如2.10所示，它由殘差函數(shù)和Spline函數(shù)組合而成。w為權(quán)重，雖然它有點多余，畢竟可以被這兩個函數(shù)吸收掉，但是可以來控制整個激活數(shù)值的縮放。2.11展示了殘差函數(shù)。而Spline函數(shù)則是由B-splines構(gòu)成。數(shù)學小白可以跳過B-splines函數(shù)，它其實就是分段連續(xù)的多項式曲線。

它有兩個重要參數(shù)：節(jié)點和次數(shù)。數(shù)值域被細分成節(jié)點劃分而成的多個區(qū)間。如何理解上面的公式在這里不重要，最重要的是它是一種構(gòu)造曲線的方式。如此通過學習，校正激活函數(shù)以便于獲得期望的輸入和輸出。

B-splines是一個分段連續(xù)的多項式曲線，它的參數(shù)域通過節(jié)點（knots）來表示，每兩個節(jié)點之間是參數(shù)域的一段，比如一個B樣條的參數(shù)域可以表示為：[??0,??1,??2,??3,??4,??5,??6,??7,??8] ，一共9個節(jié)點；參數(shù)域分為8段：[??0,??1],[??1,??2],[??2,??3],[??3,??4],[??4,??5],...,[??7,??8] 。下面4幅圖較為直觀，可以通過不同的基函數(shù)構(gòu)造出下面的曲線：

5.性能

KAN的訓練過程不在本文描述，它需要一定的技術(shù)背景，后續(xù)會另開專題詳細的解釋。為了可視化，研究人員設(shè)計一種交互式的監(jiān)督學習，通過初訓練，剪枝，然后設(shè)定一些比較常見的函數(shù)，最終再次訓練參數(shù)（affine parameter）進而得到結(jié)果。事實上，它在已知函數(shù)表達式和未知函數(shù)表達式上的模擬都超過MLP。

下圖為五個函數(shù)，分別采用的KAN網(wǎng)絡(luò)模擬，最多不會超過4層。最后一張圖列出了它們和mlp對比，橫軸為參數(shù)。

本文轉(zhuǎn)載自??魯班模錘??，作者： 龐德公 ????