不同于傳統的目標檢測問題，少樣本目標檢測（FSOD）假設我們有許多的基礎類樣本，但只有少量的新穎類樣本。其目標是研究如何將基礎類的知識遷移到新穎類，進而提升檢測器對新穎類的識別能力。

FSOD 通常遵循兩階段訓練范式。在第一階段，檢測器使用豐富的基礎類樣本進行訓練，以學習目標檢測任務所需的通用表示，如目標定位和分類。在第二階段中，檢測器僅使用 少量（如 1, 2, 3...）新穎類樣本進行微調。然而由于基礎類和新穎類樣本數量的不平衡，其學習到的模型通常偏向于基礎類，進而導致新穎類目標與相似的基礎類混淆。此外，由于每個新穎類只有少量樣本，模型對新穎類的方差很敏感。例如，隨機采樣新穎類樣本進行多次訓練，每次的結果都會有較大的差異。因此十分有必要提升模型在少樣本下的魯棒性。

近期，騰訊優圖實驗室與武漢大學提出了基于變分特征聚合的少樣本目標檢測模型 VFA。VFA 的整體結構是基于改進版的元學習目標檢測框架 Meta R-CNN++，并提出了兩種特征聚合方法：類別無關特征聚合 CAA（Class-Agnostic Aggregation）和變分特征聚合 VFA（Variational Feature Aggregation）。

特征聚合是 FSOD 中的一個關鍵設計，其定義了 Query 和 Support 樣本之間的交互方式。前面的方法如 Meta R-CNN 通常采用類別相關特征聚合 CSA（class-specific aggregation），即同類 Query 和 Support 樣本的特征進行特征聚合。與此相反，本文提出的 CAA 允許不同類樣本之間的特征聚合。由于 CAA 鼓勵模型學習類別無關的表示，其降低了模型對基礎類的偏向。此外，不同類之間的交互能夠更好地建模類別間的關系，從而降低了類別的混淆。

基于 CAA，本文又提出了 VFA，其采用變分編碼器（VAEs）將 Support 樣本編碼為類的分布，并從學習到的分布中采樣新的 Support 特征進行特征融合。相關工作 [1] 指出類內方差（如外觀的變化）在不同類之間是相似的，并且可以通過常見的分布進行建模。因此我們可以利用基礎類的分布來估計新穎類的分布，進而提高少樣本情況下特征聚合的魯棒性。

VFA 在多個 FSOD 數據集上表現優于目前最好的模型，相關研究已經被 AAAI 2023 錄用為 Oral。

論文地址：https://arxiv.org/abs/2301.13411

VFA 模型細節

更強的基線方法：Meta R-CNN++

目前 FSOD 的工作主要可以分為兩類：基于元學習（meta learning）的方法和基于微調（fine-tuning）的方法。早期的一些工作證明元學習對 FSOD 是有效的，但基于微調的方法在最近受到越來越多的關注。本文首先建立了一個基于元學習的基線方法 Meta R-CNN++，縮小了兩種方法之間的差距，在某些指標上甚至超過了基于微調的方法。

我們首先分析了兩種方法在實現上的一些差距，以元學習方法 Meta R-CNN [2] 和基于微調的方法 TFA [3] 為例，雖然這兩種方法都遵循兩階段訓練范式，TFA 在微調階段使用額外的技術優化模型：

1. TFA 凍結了大部分網絡參數，只訓練最后的分類和回歸層，這樣模型就不會過度擬合少樣本類別。
2. TFA 不是隨機初始化分類層，而是復制基礎類的預訓練權重，只初始化新穎類的權重。
3. TFA 采用余弦分類器（cosine classifier）而不是線性分類器。

考慮到 TFA 的成功，我們構建了 Meta R-CNN++。如下表 1 所示，只要我們仔細處理微調階段，元學習方法也能夠取得較好的效果。因此，本文選擇 Meta R-CNN++ 作為基線方法。

表一：Meta R-CNN 和 TFA 的對比與分析

類別無關特征聚合 CAA

圖一：類別無關特征聚合 CAA 示意圖

本文提出一個簡單而有效的類別無關特征聚合方法 CAA。如上圖一所示，CAA 允許不同類之間的特征聚合，進而鼓勵模型學習類別無關的表示，從而減少類別間的偏向和類之間的混淆。具體來說，對于類別的每個 RoI 特征和一組 Support 特征，我們隨機選擇一個類的 Support 特征的與 Query 特征聚合：

然后我們將聚合特征

提供給檢測子網絡

以輸出分類得分

。

變分特征聚合 VFA

之前的工作通常將 Support 樣本編碼為單個特征向量來表示類別的中心。然而在樣本較少且方差較大的情況下，我們很難對類中心做出準確的估計。在本文中，我們首先將 Support 特征轉換為類別的分布。由于估計出的類別分布不偏向于特定樣本，因此從分布中采樣的特征對樣本的方差有較好的魯棒性。VFA 的框架如上圖二所示。

a）變分特征學習。VFA 采用變分自編碼器 VAEs [4] 來學習類別的分布。如圖二所示，對于一個 Support 特征 S，我們首先使用編碼器來估計分布的參數和，接著從分布中通過變分推理（variational inference）采樣，最后通過解碼器得到重構的 Support 特征。在優化 VAE 時，除了常見的 KL Loss和重構 Loss，本文還使用了一致性 Loss 使得學習到的分布保留類別信息：?

b）變分特征融合。由于 Support 特征被轉換為類別的分布，我們可以從分布中采樣特征并與 Query 特征聚合。具體來說，VFA 同樣采用類別無關聚合 CAA，但將 Query 特征與變分特征聚合在一起。給定類的 Query 特征和類的 Support 特征

，我們首先估計其分布，并采樣變分特征；然后通過下面的公式將其融合在一起：

其中表示通道乘法，而 sig 是 sigmoid 操作的縮寫。在訓練階段，我們隨機選擇一個 Support 特征進行聚合；在測試階段，我們對

類的個 Support 特征取平均值，并估計分布，其中。?

分類 - 回歸任務解耦

通常情況下，檢測子網絡包含一個共享特征提取器和兩個獨立的網絡：分類子網絡和回歸子網絡。在前面的工作中，聚合后的特征被輸入到檢測子網絡中進行目標分類和邊界框回歸。但是分類任務需要平移不變特征，而回歸需要平移協變的特征。由于 Support 特征表示的是類別的中心，具有平移不變性，因此聚合后特征會損害回歸任務。

本文提出一種簡單的分類 - 回歸任務解耦。讓和表示原始和聚合后的 Query 特征，之前的方法對這兩個任務都采用，其中分類分數和預測邊界框定義為：

為了解耦這些任務，我們采用單獨的特征提取器并使用原始的 Support 特征進行邊界框回歸：?

實驗評估

我們采用的數據集：PASCAL VOC、 MS COCO。評價指標：新穎類平均精度 nAP、基礎類平均精度 bAP。

主要結果

VFA 在兩個數據集上都取得了較好的結果。如在 PASCAL VOC 數據集上（下表二），VFA 顯著高于之前的方法；VFA 的 1-shot 結果甚至高于一些方法 10-shot 的結果。

消融實驗

a）不同模塊的作用。如下表三所示，VFA 的不同模塊可以共同作用，提升模型的性能。

b） 不同特征聚合方法可視化分析。如下圖三所示，CAA 可以減小基礎類與新穎類之間的混淆；VFA 在 CAA 的基礎上，進一步增強了類間的區分度。

c）更加準確的類別中心點估計。如下圖四所示，VFA 可以更加準確的估計出類別的中心。且隨著樣本數量的減少，估計的準確度逐漸高于基線方法。這也解釋了為什么我們的方法在樣本少的情況下（K=1）表現的更好。

d）結果可視化。

結語

本文回歸了基于元學習的 FSOD 中特征聚合方法，并提出了類別無關特征聚合 CAA 和變分特征聚合 VFA。CAA 可以減少基礎類和新穎類之間的類別偏差和混淆；VFA 將樣本轉換為類別分布以實現更加魯棒的特征聚合。本文提出的方法在 PASCAL VOC 和 MS COCO 數據集上的實驗證明了其有效性。