參數(shù)量暴降，精度反升！哈工大賓大聯(lián)手打造點(diǎn)云分析新SOTA

2025-05-19 14:56:45

來(lái)自哈爾濱工業(yè)大學(xué)（深圳）和賓夕法尼亞大學(xué)的聯(lián)合團(tuán)隊(duì)最近推出了一種基于Kolmogorov-Arnold Networks(KANs )的3D感知解決方案——PointKAN，在處理點(diǎn)云數(shù)據(jù)的下游任務(wù)上展現(xiàn)出巨大的潛力。

新架構(gòu)選擇用KAN做3D感知，點(diǎn)云分析有了新SOTA！

來(lái)自哈爾濱工業(yè)大學(xué)（深圳）和賓夕法尼亞大學(xué)的聯(lián)合團(tuán)隊(duì)最近推出了一種基于Kolmogorov-Arnold Networks(KANs)的3D感知解決方案——PointKAN，在處理點(diǎn)云數(shù)據(jù)的下游任務(wù)上展現(xiàn)出巨大的潛力。

△PointKAN與同類產(chǎn)品的比較

替代傳統(tǒng)的MLP方案，PointKAN具有更強(qiáng)的學(xué)習(xí)復(fù)雜幾何特征的能力。

此外團(tuán)隊(duì)還提出PointKAN-elite版本，使用Efficient-KANs結(jié)構(gòu)，在保持準(zhǔn)確率的同時(shí)顯著降低參數(shù)量。

以下是更多詳細(xì)內(nèi)容介紹。

為什么要選擇KANs

當(dāng)前多層感知機(jī)（MLPs）憑借其高效的特征學(xué)習(xí)機(jī)制，已成為點(diǎn)云分析的基礎(chǔ)架構(gòu)組件。

然而在處理點(diǎn)云復(fù)雜幾何結(jié)構(gòu)時(shí)，MLP的固定激活函數(shù)難以有效捕捉局部幾何特征，同時(shí)存在參數(shù)量冗余大、模型效率低下的問(wèn)題。

而KANs是以Kolmogorov-Arnold表示定理(KART)作為數(shù)學(xué)依據(jù)的一種新穎的神經(jīng)網(wǎng)絡(luò)架構(gòu)，與多層感知機(jī)(MLP)結(jié)構(gòu)的最大區(qū)別是KANs使用可學(xué)習(xí)函數(shù)替代固定激活函數(shù)。

KANs使用一維B樣條函數(shù)作為基函數(shù)通過(guò)相加和復(fù)合運(yùn)算實(shí)現(xiàn)高維復(fù)雜函數(shù)，為函數(shù)擬合提供了一個(gè)靈活且可解釋的框架。

目前，KANs已初步應(yīng)用于計(jì)算機(jī)視覺(jué)和醫(yī)學(xué)成像等領(lǐng)域，展現(xiàn)出了有效性和通用性，但在點(diǎn)云分析領(lǐng)域中基于KANs的模型擁有巨大潛力尚未開(kāi)發(fā)。

因此，探索在點(diǎn)云分析任務(wù)中有效整合KANs與現(xiàn)有模型的方法，仍是一個(gè)重要且有前景的研究方向。

PointKAN框架解析

PointKAN的整體流程如下圖所示。

相比于MLPs，盡管KANs具有更強(qiáng)的高維函數(shù)逼近能力和更高的參數(shù)效率，但將其適配到3D點(diǎn)云上并非易事。

一方面，KANs的樣條激活函數(shù)通過(guò)離散節(jié)點(diǎn)逼近單變量函數(shù)，很難充分捕捉局部點(diǎn)云的幾何特征，限制了其學(xué)習(xí)細(xì)節(jié)特征的能力。

另一方面，每一維輸入的激活函數(shù)需要存儲(chǔ)多個(gè)參數(shù)，對(duì)于大規(guī)模網(wǎng)絡(luò)，KANs的內(nèi)存需求可能成為瓶頸，并且KANs中使用的B樣條函數(shù)對(duì)于現(xiàn)代硬件上的并行計(jì)算未進(jìn)行優(yōu)化，導(dǎo)致推理速度較慢。

為了解決上述問(wèn)題，研究團(tuán)隊(duì)提出了PointKAN，其特點(diǎn)是包含幾何仿射模塊和并行結(jié)構(gòu)的局部特征提取模塊，以及KANs的高效版本Efficient-KANs來(lái)減少內(nèi)存占用并加快訓(xùn)練和推理速度。

Geometric Affine Module

為了在后續(xù)的局部特征提取階段能得到更加豐富的信息，在這個(gè)模塊中包含兩個(gè)部分Group-Norm和S-Pool。

Group-Norm對(duì)分組內(nèi)特征進(jìn)行歸一化、仿射變換和組中心特征傳播，整個(gè)過(guò)程表達(dá)如下：

S-Pool用于對(duì)各組特征進(jìn)行聚合，作為后續(xù)模塊的輸入，對(duì)各組點(diǎn)云進(jìn)行全局信息的補(bǔ)充，考慮到最大池化會(huì)導(dǎo)致信息丟失，而S-Pool則最大限度保留組內(nèi)各點(diǎn)特征信息，數(shù)學(xué)形式如下：

Local Feature Processing

對(duì)Geometric Affine Module的兩部分輸出在Local Feature Progress (LFP)中分別使用KAN Block進(jìn)行并行處理。

在KAN Block中，團(tuán)隊(duì)在KAN Layer 后加上深度卷積(DwConv)操作來(lái)協(xié)助KANs在高維通道信息上學(xué)習(xí)到豐富的特征表示，整個(gè)過(guò)程可以被表示為：

共享的LFP旨在從分組點(diǎn)云中學(xué)習(xí)到局部特征，在經(jīng)過(guò)最大池化后與從各組中心點(diǎn)云學(xué)習(xí)到的全局信息相加，使得各組點(diǎn)云最終輸出的聚合特征更加豐富。

Global Feature Processing

Global Feature Progress(GFP)由Residual Point(Resp)Block組成，用于提取深度聚合特征。

由于結(jié)構(gòu)中只包含前饋MLP，使得可以在GFP中添加多個(gè)重復(fù)Residual Point(Resp)Block，整個(gè)模型仍然能高效運(yùn)行。

總的來(lái)說(shuō)，代替使用復(fù)雜的局部幾何提取結(jié)構(gòu)，PointKAN的一個(gè)階段由Geometric Affine Module、Local Feature Processing和Global Feature Processing三部分組成，通過(guò)重復(fù)的四個(gè)階段來(lái)構(gòu)造一個(gè)層次化處理點(diǎn)云的深度網(wǎng)絡(luò)。

Efficient-KANs結(jié)構(gòu)

KANs中的激活函數(shù)是由B樣條函數(shù)生成的，而B(niǎo)樣條函數(shù)需要遞歸計(jì)算，這并不適合現(xiàn)代GPU的并行計(jì)算架構(gòu)。

在參數(shù)量和計(jì)算效率上，每個(gè)輸入-輸出對(duì)都有不同的參數(shù)和基函數(shù)，那么隨著KANs中隱藏層寬度的增加，參數(shù)量呈指數(shù)增長(zhǎng)，這也導(dǎo)致了巨大的計(jì)算開(kāi)銷和可擴(kuò)展性問(wèn)題。

Efficient-KANs很好的解決了這些問(wèn)題，首先使用有理函數(shù)代替B樣條函數(shù)作為KANs中的基函數(shù)，激活函數(shù)如下所示：

其中的參數(shù)通過(guò)反向傳播進(jìn)行訓(xùn)練。有理函數(shù)計(jì)算過(guò)程簡(jiǎn)單，非常適合并行計(jì)算，提高了模型的計(jì)算效率。

另外Efficient-KANs對(duì)輸入通道進(jìn)行分組，在組內(nèi)進(jìn)行參數(shù)共享，來(lái)減少參數(shù)量和計(jì)算量。

下圖展示了Efficient-KANs、原始KANs和標(biāo)準(zhǔn)MLP之間的區(qū)別。

實(shí)驗(yàn)結(jié)果

分類任務(wù)

在ModelNet40和ScanObjectNN數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。

部分分割任務(wù)

在ShapeNetPart數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。

小樣本學(xué)習(xí)

在ModelNet40數(shù)據(jù)集上采用“n-way, m-shot”范式進(jìn)行實(shí)驗(yàn)。

實(shí)驗(yàn)結(jié)果表明，PointKAN以及PointKAN-elite在各個(gè)下游任務(wù)上相比于基于MLPs的點(diǎn)云分析架構(gòu)都有出色的表現(xiàn)，特別是在小樣本學(xué)習(xí)任務(wù)上，體現(xiàn)了KANs具有極強(qiáng)的泛化能力和知識(shí)遷移能力，更重要的是參數(shù)量和FLOPs都有明顯的下降。

此外消融實(shí)驗(yàn)如下圖所示：