替代MLP的KAN，被開源項目擴展到卷積了
本月初，來自 MIT 等機構(gòu)的研究者提出了一種非常有潛力的 MLP 替代方法 ——KAN。
KAN 在準(zhǔn)確性和可解釋性方面表現(xiàn)優(yōu)于 MLP，而且它能以非常少的參數(shù)量勝過以更大參數(shù)量運行的 MLP。比如，作者表示，他們用 KAN 以更小的網(wǎng)絡(luò)和更高的自動化程度重現(xiàn)了 DeepMind 的結(jié)果。具體來說，DeepMind 的 MLP 有大約 300000 個參數(shù)，而 KAN 只有大約 200 個參數(shù)。
KAN 與 MLP 一樣具有強大的數(shù)學(xué)基礎(chǔ)，MLP 基于通用逼近定理，而 KAN 基于 Kolmogorov-Arnold 表示定理。
如下圖所示，KAN 在邊上具有激活函數(shù)，而 MLP 在節(jié)點上具有激活函數(shù)。KAN 似乎比 MLP 的參數(shù)效率更高，但每個 KAN 層比 MLP 層擁有更多的參數(shù)。
最近，有研究者將 KAN 創(chuàng)新架構(gòu)的理念擴展到卷積神經(jīng)網(wǎng)絡(luò)，將卷積的經(jīng)典線性變換更改為每個像素中可學(xué)習(xí)的非線性激活函數(shù)，提出并開源 KAN 卷積（CKAN）。
項目地址：https://github.com/AntonioTepsich/Convolutional-KANs
KAN 卷積
KAN 卷積與卷積非常相似，但不是在內(nèi)核和圖像中相應(yīng)像素之間應(yīng)用點積，而是對每個元素應(yīng)用可學(xué)習(xí)的非線性激活函數(shù)，然后將它們相加。KAN 卷積的內(nèi)核相當(dāng)于 4 個輸入和 1 個輸出神經(jīng)元的 KAN 線性層。對于每個輸入 i，應(yīng)用 ?_i 可學(xué)習(xí)函數(shù)，該卷積步驟的結(jié)果像素是 ?_i (x_i) 的總和。
KAN 卷積中的參數(shù)
假設(shè)有一個 KxK 內(nèi)核，對于該矩陣的每個元素，都有一個 ?，其參數(shù)計數(shù)為：gridsize + 1，? 定義為：
這為激活函數(shù) b 提供了更多的可表達(dá)性，線性層的參數(shù)計數(shù)為 gridsize + 2。因此，KAN 卷積總共有 K^2(gridsize + 2) 個參數(shù)，而普通卷積只有 K^2。
初步評估
作者測試過的不同架構(gòu)有：
- 連接到 KAN 線性層的 KAN 卷積層（KKAN）
- 與 MLP 相連的 KAN 卷積層（CKAN）
- 在卷積之間進行批量歸一化的 CKAN (CKAN_BN)
- ConvNet（連接到 MLP 的經(jīng)典卷積）（ConvNet）
- 簡單 MLP
作者表示，KAN 卷積的實現(xiàn)是一個很有前景的想法，盡管它仍處于早期階段。他們進行了一些初步實驗，以評估 KAN 卷積的性能。
值得注意的是，之所以公布這些「初步」結(jié)果，是因為他們希望盡快向外界介紹這一想法，推動社區(qū)更廣泛的研究。
卷積層中列表每個元素都包含卷積數(shù)和相應(yīng)的內(nèi)核大小。
基于 28x28 MNIST 數(shù)據(jù)集，可以觀察到 KANConv & MLP 模型與 ConvNet（大）相比達(dá)到了可接受的準(zhǔn)確度。然而，不同之處在于 KANConv & MLP 所需的參數(shù)數(shù)量是標(biāo)準(zhǔn) ConvNet 所需的參數(shù)數(shù)量的 7 倍。此外，KKAN 的準(zhǔn)確率比 ConvNet Medium 低 0.04，而參數(shù)數(shù)量（94k 對 157k）幾乎只有 ConvNet Medium 的一半，這顯示了該架構(gòu)的潛力。我們還需要在更多的數(shù)據(jù)集上進行實驗，才能對此得出結(jié)論。
在接下來的幾天和幾周里，作者還將徹底調(diào)整模型和用于比較的模型的超參數(shù)。雖然已經(jīng)嘗試了一些超參數(shù)和架構(gòu)的變化，但這只是啟發(fā)式的，并沒有采用任何精確的方法。由于計算能力和時間的原因，他們還沒有使用大型或更復(fù)雜的數(shù)據(jù)集，并正在努力解決這個問題。
未來，作者將在更復(fù)雜的數(shù)據(jù)集上進行實驗，這意味著 KANS 的參數(shù)量將會增加，因為需要實現(xiàn)更多的 KAN 卷積層。
結(jié)論
目前，與傳統(tǒng)卷積網(wǎng)絡(luò)相比，作者表示并沒有看到 KAN 卷積網(wǎng)絡(luò)的性能有顯著提高。他們分析認(rèn)為，這是由于使用的是簡單數(shù)據(jù)集和模型，與嘗試過的最佳架構(gòu)（ConvNet Big，基于規(guī)模因素，這種比較是不公平的）相比，該架構(gòu)的優(yōu)勢在于它對參數(shù)的要求要少得多。
在 2 個相同的卷積層和 KAN 卷積層與最后連接的相同 MLP 之間進行的比較顯示，經(jīng)典方法略勝一籌，準(zhǔn)確率提高了 0.06，而 KAN 卷積層和 KAN 線性層的參數(shù)數(shù)量幾乎只有經(jīng)典方法的一半，準(zhǔn)確率卻降低了 0.04。
作者表示，隨著模型和數(shù)據(jù)集復(fù)雜度的增加，KAN 卷積網(wǎng)絡(luò)的性能應(yīng)該會有所提高。同時，隨著輸入維數(shù)的增加，模型的參數(shù)數(shù)量也會增長得更快。
