1. 一眼概覽

FSTA-SNN 提出了一種頻域驅動的時空注意力模塊（FSTA），顯著提升脈沖神經網絡（SNN）的特征學習能力與能效，在多個數據集上實現了更優性能和更低的脈沖發放率。

2. 核心問題

當前 SNN 在信息稀疏表示方面雖具能效優勢，但其中間脈沖輸出存在冗余且缺乏系統分析，導致特征提取能力受限、性能不穩定。論文核心關注的問題是：如何在不增加能耗的前提下，抑制冗余脈沖、增強關鍵特征提取能力，從而提升 SNN 的整體性能與魯棒性。

3. 技術亮點

• 頻域分析揭示 SNN 學習偏好：首次系統性地從頻域角度分析 SNN 不同層級與時序特征的學習行為，發現淺層偏向垂直特征，深層偏向水平特征，不同時間步特征趨于穩定。
• 提出 FSTA 模塊：設計輕量級的頻域驅動時空注意力模塊，結合 DCT 空間注意力和可學習的時間注意力，顯著抑制冗余脈沖，提升有效特征表達。
• 性能與能耗雙優：在 CIFAR-10、CIFAR-100、ImageNet、CIFAR10-DVS 等多個數據集上，FSTA-SNN 實現最優精度表現，同時脈沖發放率降低約 33.99%，能耗無顯著增加。

4. 方法框架

FSTA 模塊以 plug-and-play 形式嵌入任意 SNN 網絡層，包含兩個子模塊：

1）DCT-based 空間注意力模塊

? 利用固定 DCT 卷積核提取不同頻率分量，捕捉更豐富的空間特征；

? 將頻域壓縮結果與原始特征點乘，強化重要區域。

2）時間注意力模塊

? 基于平均池化與最大池化提取每個時間步的脈沖幅值特征；

? 經線性層與 Sigmoid 得到時間注意力權重，動態調整每個時間步貢獻度。

5. 實驗結果速覽

FSTA-SNN 在多個數據集上顯著優于現有 SOTA 方法：

? CIFAR-10：ResNet19 架構下準確率達 96.52%，提升 0.44%；

? CIFAR-100：ResNet19 提升至 80.42%，為當前最高；

? ImageNet：ResNet34 準確率達 70.23%，領先現有方法近 3%；

? CIFAR10-DVS（動態數據）：ResNet20 達到 82.70%，性能最優；

? 脈沖發放率減少：整網發放率下降約 33.99%。

6. 實用價值與應用

FSTA-SNN 在不增加復雜性的前提下大幅提升 SNN 能效和表現，極具應用潛力：

? 低功耗智能設備：適用于邊緣計算、神經擬態芯片等對能效要求高的場景；

? 事件驅動視覺處理：強化在動態視覺（如 DVS 攝像頭）中的實時處理能力；

? 脈沖神經芯片部署：減少冗余脈沖，延長硬件壽命，利于大規模落地應用。

7. 開放問題

? 當前 FSTA 的頻域卷積核為固定設計，未來是否能引入可學習頻率權重，實現自適應頻率感知？

? 不同任務中（如檢測、分割）是否也存在類似的空間-頻率偏好特征？FSTA 能否通用遷移？

? 在超低時間步設置下，FSTA 的抑冗與增強效果是否仍能保持？