本文經自動駕駛之心公眾號授權轉載，轉載請聯系出處。

寫在前面 & 個人理解

時序融合能夠有效提升自動駕駛3D目標檢測的感知能力，然而目前的時序融合方法由于成本開銷等問題難以在實際自動駕駛場景中應用。NeurIPS 2023的最新研究文章 《Query-based Temporal Fusion with Explicit Motion for 3D Object Detection》將DETR中的稀疏Query作為時序融合的對象，并針對大規模點云的特性使用顯式運動信息引導時序注意力矩陣的生成。來自華中科技大學和百度的研究者們在本文中提出了QTNet：基于Query和顯式運動的3D目標檢測時序融合方法。實驗效果表明，QTNet能以可忽略不計的成本開銷為點云、圖像、多模態檢測器帶來一致的性能增益。

• 論文鏈接：https://openreview.net/pdf?id=gySmwdmVDF
• 代碼鏈接：https://github.com/AlmoonYsl/QTNet

問題背景

得益于現實世界的時間連續性，時間維度上的信息可以使得感知信息更加完備，進而提高目標檢測的精度和魯棒性，例如時序信息可以幫助解決目標檢測中的遮擋問題、提供目標的運動狀態和速度信息、提供目標的持續性和一致性信息。因此如何高效地利用時序信息是自動駕駛感知的一個重要問題?，F有的時序融合方法主要分為兩類。一類是基于稠密的BEV特征進行時序融合（點云/圖像時序融合都適用），另一類則是基于3D Proposal特征進行時序融合 （主要針對點云時序融合方法）。對于基于BEV特征的時序融合，由于BEV上超過90%的點都是背景，而該類方法沒有更多地關注前景對象，這導致了大量沒有必要的計算開銷和次優的性能。對于基于3D Proposal的時序融合算法，其通過耗時的3D RoI Pooling來生成3D Proposal特征，尤其是在目標物較多，點云數量較多的情況下，3D RoI Pooling所帶來的開銷在實際應用中往往是難以接受的。此外，3D Proposal 特征嚴重依賴于Proposal的質量，這在復雜場景中往往是受限的。因此，目前的方法都難以以極低開銷的方式高效地引入時序融合來增強3D目標檢測的性能。

如何實現高效的時序融合？

DETR是一種十分優秀的目標檢測范式，其提出的Query設計和Set Prediction思想有效地實現了無需任何后處理的優雅檢測范式。在DETR中，每個Query代表一個物體，并且Query相對于稠密的特征來說十分稀疏（一般Query的數目會被設置為一個相對較少的固定數目）。如果以Quey作為時序融合的對象，那計算開銷的問題自然下降一個層次。因此DETR的Query范式是一種天然適合于時序融合的范式。時序融合需要構建多幀之間的物體關聯，以此實現時序上下文信息的綜合。那么主要問題在于如何構建基于Query的時序融合pipeline和兩幀間的Query建立關聯。

• 由于在實際場景中自車往往存在的運動，因此兩幀的點云/圖像往往是坐標系不對齊的，并且實際應用中不可能在當前幀對所有歷史幀重新forward一次網絡來提取對齊后點云/圖像的特征。因此本文采用Memory Bank的方式來只存儲歷史幀得到的Query特征及其對應的檢測結果，以此來避免重復計算。
• 由于點云和圖像在描述目標特征上存在很大差異，通過特征層面來構建統一時序融合方法是不太可行的。然而，在三維空間下，無論點云還是圖像模態都能通過目標的幾何位置/運動信息關系來刻畫相鄰幀之間的關聯關系。因此，本文采用物體的幾何位置和對應的運動信息來引導兩幀間物體的注意力矩陣。

方法介紹

QTNet的核心思想在于利用Memory Bank存儲在歷史幀已經獲得的Query特征及其對應的檢測結果，以此避免對于歷史幀的重復計算開銷。對于兩幀Query之間，則使用運動引導的注意力矩陣進行關系建模。

總體框架

如框架圖所示，QTNet包含3D DETR結構的3D目標檢測器（LiDAR、Camera和多模態均可），Memory Bank和用于時序融合的Motion-guided Temporal Modeling Module （MTM）。QTNet通過DETR結構的3D目標檢測器獲取對應幀的Query特征及其檢測結果，并將得到的Query特征及其檢測結果以先進先出隊列（FIFO）的方式送入Memory Bank中。Memory Bank的數目設置為時序融合所需的幀數。對于時序融合，QTNet從Memory Bank中從最遠時刻開始讀取數據，通過MTM模塊以迭代的方式從  幀到  幀融合MemoryBank中的所有特征以用來增強當前幀的Query特征，并根據增強后的Query特征來Refine對應的當前幀的檢測結果。

具體而言，QTNet在  幀融合  和  幀的Query特征  和 ，并得到增強后的 幀的Query特征 。接著，QTNet再將  與  幀的Query特征進行融合。以此通過迭代的方式不斷融合至  幀。注意，這里從  幀到  幀所使用的MTM全部是共享參數的。

運動引導注意力模塊

MTM使用物體的中心點位置來顯式生成  幀Query和  幀Query的注意力矩陣。給定ego pose矩陣  和 、物體中心點、速度。首先，MTM使用ego pose和物體預測的速度信息將上一幀的物體移動到下一幀并對齊兩幀的坐標系：

接著通過  幀物體中心點和  幀經過矯正的中心點構建歐式代價矩陣 。此外，為了避免可能發生的錯誤匹配，本文使用類別  和距離閾值  構造注意力掩碼 ：

最終將代價矩陣轉換為注意力矩陣：

將注意力矩陣  作用在  幀的增強后的Query特征  來聚合時序特征以增強  幀的Query特征：

最終增強后的  幀的Query特征  經過簡單的FFN來Refine對應的檢測結果，以實現增強檢測性能的作用。

解耦時序融合結構

本文觀察到時序融合的分類和回歸學習存在不平衡問題，一種解決辦法是對于分類和回歸單獨設計時序融合分支。然而，這種解耦方式會帶來更多的計算成本和延遲，這對于大多數方法來說是不可接受的。相比之下，得益于高效的時序融合設計，與整個3D檢測網絡相比QTNet的計算成本和延遲可以忽略不計。因此，如圖所示，本文將分類和回歸分支在時序融合上進行解耦，以在可忽略不計的成本的情況下取得更好的檢測性能。

實驗效果

QTNet在點云/圖像/多模態上實現一致漲點

本文在nuScenes數據集上進行驗證，在不使用未來信息、TTA、模型集成的情況下QTNet在nuScenes benchmark上取得了68.4 mAP 和 72.2 NDS的SOTA性能。相較于使用了未來信息的MGTANet，QTNet在3幀時序融合的情況下優于MGTANet 3.0 mAP 和 1.0NDS。

此外，本文也在多模態和基于環視圖的方法上進行了驗證，在nuScenes驗證集上的實驗結果證明了QTNet在不同模態上的有效性。

時序融合的成本開銷對于實際應用來說十分重要，本文針對QTNet在計算量、時延、參數量三個方面進行了分析實驗?？梢园l現QTNet對于不同baseline所帶來的計算開銷、時間延、參數量相對于整個網絡來說均可忽略不計，尤其是計算量僅僅使用0.1G FLOPs（LiDAR baseline）。

不同時序融合范式比較

為了驗證本文所提出的基于Query的時序融合范式的優越性，本文選取了具有代表性的不同前沿時序融合方法進行比較。通過實驗結果可以發現，基于Query范式的時序融合算法相較于其他基于BEV和基于Proposal范式更加高效。QTNet以0.1G FLOPs和4.5ms的開銷的情況下取得了更加優秀的性能，此外整體參數量僅僅只有0.3M。

消融實驗

本文基于LiDAR baseline在nuScenes驗證集上以3幀時序融合進行了消融實驗。通過消融實驗可以發現，如果簡單地使用Cross Attention去建模時序關系是沒有明顯的效果的。然而在使用MTM后，可以明顯觀測到檢測性能的漲幅，這表明了顯式運動引導在大規模點云下的重要性。此外，通過幀數的消融實驗可以發現，QTNet的整體設計是十分輕量且有效的。在使用4幀數據進行時序融合后，QTNet所帶來的計算量僅僅只有0.24G FLOPs，延遲也只有6.5ms。

MTM的可視化

為了探究MTM優于Cross Attention的原因，本文將兩幀間物體的注意力矩陣進行可視化，其中相同的ID代表兩幀間同一個物體。可以發現由MTM生成的注意力矩陣（b）比Cross Attention生成的注意力矩陣（a）更加具有區分度，尤其是小物體之間的注意力矩陣。這表明由顯式運動引導的注意力矩陣通過物理建模的方式使得模型更加容易地建立起兩幀間物體的關聯。本文僅僅只是初步探索了在時序融合中以物理方式建立時序關聯問題，對于如何更好構建時序關聯仍然是值得探索的。

檢測結果的可視化

本文以場景序列為對象進行了檢測結果的可視化分析?？梢园l現左下角的小物體從  幀開始快速遠離自車，這導致baseline在  幀漏檢了該物體，然而QTNet在  幀仍然可以檢測到該物體，這證明了QTNet在時序融合上的有效性。

本文總結

本文針對目前3D目標檢測任務提出了更加高效的基于Query的時序融合方法QTNet。其主要核心有兩點：一是使用稀疏Query作為時序融合的對象并通過Memory Bank存儲歷史信息以避免重復的計算，二是使用顯式的運動建模來引導時序Query間的注意力矩陣的生成，以此實現時序關系建模。通過這兩個關鍵思路，QTNet能夠高效地實現可應用于LiDAR、Camera、多模態的時序融合，并以可忽略不計的成本開銷一致性地增強3D目標檢測的性能。

原文鏈接：https://mp.weixin.qq.com/s/s9tkF_rAP2yUEkn6tp9eUQ