本文經自動駕駛之心公眾號授權轉載，轉載請聯系出處。

原標題：GraphAlign: Enhancing Accurate Feature Alignment by Graph matching for Multi-Modal 3D Object Detection

論文鏈接: https://arxiv.org/pdf/2310.08261.pdf

作者單位：北京交通大學 河北科技大學 清華大學

論文思路：

LiDAR 和camera是自動駕駛中 3D 目標檢測的互補傳感器。然而，探索點云和圖像之間的非自然交互(unnatural interaction)具有挑戰性，關鍵因素是如何進行異構模態的特征對齊。目前，許多方法僅通過投影校準來實現特征對齊，沒有考慮傳感器之間的坐標轉換精度誤差問題，導致性能次優。本文提出了 GraphAlign，這是一種通過圖匹配(graph matching)進行 3D 目標檢測的更準確的特征對齊策略。具體來說，本文融合圖像分支中語義分割編碼器的圖像特征和 LiDAR 分支中 3D 稀疏 CNN 的點云特征。為了節省計算量，本文通過計算劃分為點云特征的子空間內的歐氏距離來構造最近鄰關系。通過圖像和點云之間的投影校準，將點云特征的最近鄰投影到圖像特征上。然后，通過將單個點云的最近鄰與多個圖像進行匹配，本文搜索更合適的特征對齊。此外，本文提供了一個自注意力模塊來增強重要關系的權重，以微調異構模態之間的特征對齊。 nuScenes 基準上的大量實驗證明了本文的 GraphAlign 的有效性和效率。

主要貢獻：

本文提出了 GraphAlign，一種基于圖匹配(graph matching)的特征對齊框架，來解決多模態 3D 目標檢測中的未對齊問題。

本文提出圖特征對齊(Graph Feature Alignment)（GFA）和自注意力特征對齊(Self-Attention Feature Alignment)（SAFA）模塊來實現圖像特征和點云特征的精確對齊，這可以進一步增強點云和圖像模態之間的特征對齊，從而提高檢測精度。

使用 KITTI [12] 和 nuScenes [2] 基準進行實驗，證明 GraphAlign 可以提高點云檢測精度，特別是對于遠距離目標檢測。

網絡設計：

圖 1. 特征對齊策略的比較

(a) 基于投影的方法可以快速建立模態特征之間的關系，但可能會因傳感器誤差而出現未對齊的情況。 (b) 基于注意力的方法通過學習對齊來保留語義信息，但計算成本較高。 (c) 本文提出的 GraphAlign 使用基于圖的特征對齊來匹配模態之間更合理的對齊，從而減少計算量并提高準確性。

圖 2. GraphAlign 的框架。

它由圖特征對齊（GFA）模塊和自注意力特征對齊（SAFA）模塊組成。 GFA模塊以圖像和點云特征作為輸入，使用投影校準矩陣將3D位置轉換為2D像素位置，構造局部鄰域信息以查找最近鄰，并結合圖像和點云特征。 SAFA模塊通過自注意力機制對K近鄰之間的上下文關系進行建模，從而增強融合特征的重要性，最終選擇最具代表性的特征。

圖 3. GFA 處理流程

(a) 傳感器精度誤差導致未對齊。 (b) GFA通過點云特征中的圖建立鄰近關系。 (c) 本文將點云特征投影到圖像特征上，并獲得圖像特征的 K 個最近鄰。 (d) 本文執行一對多融合，具體來說，通過將每個單獨的點云特征與 K 個相鄰圖像特征融合來實現更好的對齊。

圖 4.SAFA 模塊流程

這里簡化了head和max模塊，SAFA模塊旨在通過改善K鄰域之間的全局上下文信息來增強融合特征的表示。

實驗結果：

引用：

Song, Z., Wei, H., Bai, L., Yang, L., & Jia, C. (2023). GraphAlign: Enhancing Accurate Feature Alignment by Graph matching for Multi-Modal 3D Object Detection. ArXiv. /abs/2310.08261

原文鏈接：https://mp.weixin.qq.com/s/eN6THT2azHvoleT1F6MoSw