攝像頭能否實(shí)現(xiàn)激光雷達(dá)的檢測(cè)效果，以更低成本實(shí)現(xiàn)自動(dòng)駕駛感知？在最新的 CVPR2023 論文《Collaboration helps camera overtake LiDAR in 3D detection》中，來(lái)自上海交通大學(xué)、加州大學(xué)洛杉磯分校、以及上海人工智能實(shí)驗(yàn)室的研究者提出了純視覺(jué)協(xié)作探測(cè)方法（CoCa3D），通過(guò)讓多個(gè)基于純視覺(jué)的智能車高效協(xié)作，在 3D 目標(biāo)探測(cè)效果上，接近甚至超越基于激光雷達(dá)的智能車。

論文標(biāo)題：Collaboration Helps Camera Overtake LiDAR in 3D Detection

論文鏈接：https://arxiv.org/abs/2303.13560

代碼鏈接：https://github.com/MediaBrain-SJTU/CoCa3D

研究目的和意義

近年來(lái)，自動(dòng)駕駛感知領(lǐng)域存在著巨大的技術(shù)分歧：以 Waymo 為代表的多傳感器融合派以激光雷達(dá)為主傳感器，而以 Tesla 為代表的視覺(jué)優(yōu)先派堅(jiān)持使用純攝像頭。其中激光雷達(dá)的主要問(wèn)題在于價(jià)格昂貴，Velodyne 的 64 線激光雷達(dá)成本為 75,000 美金左右，成本高，難以擴(kuò)大規(guī)模。純視覺(jué)的方案極低地降低了成本，Autopilot 2.+ 的 BOM 成本控制在 2,500 美金左右。但同激光雷達(dá)相比，攝像頭缺乏深度信息，在 3D 空間的目標(biāo)檢測(cè)上存在天然巨大劣勢(shì)。雖然近年來(lái)基于鳥瞰圖（BEV）的技術(shù)方法快速發(fā)展，大大提升了純視覺(jué)探測(cè)的效果，但距離激光雷達(dá)的探測(cè)效果依舊相去甚遠(yuǎn)。

為了突破純視覺(jué) 3D 空間感知能力瓶頸，CoCa3D 開辟了多車協(xié)作的全新維度，從物理屬性上迅速提升純視覺(jué) 3D 目標(biāo)檢測(cè)能力。多輛純視覺(jué)智能車通過(guò)分布式地交換關(guān)鍵信息，使得來(lái)自多車多視角幾何信息可以互相校驗(yàn)，能夠有效提升 2D 相機(jī)對(duì) 3D 空間的感知能力，從而接近激光雷達(dá)的探測(cè)效果。除此之外，多車多視角觀測(cè)信息的互相補(bǔ)充，能突破單體感知的視角局限性，實(shí)現(xiàn)更完備的探測(cè)，有效緩解遮擋和遠(yuǎn)距離問(wèn)題，進(jìn)而超越單個(gè)激光雷達(dá)的 3D 空間感知效果。

圖 1. 多車協(xié)作可以避免 “鬼探頭” 引發(fā)的事故，實(shí)現(xiàn)更安全的智能駕駛

關(guān)鍵問(wèn)題

與許多多視角幾何問(wèn)題不同，多個(gè)純視覺(jué)車協(xié)作依賴先進(jìn)的通信系統(tǒng)來(lái)進(jìn)行信息交互，而現(xiàn)實(shí)情況下通信條件多變且受限。因此，多個(gè)純視覺(jué)車協(xié)作的關(guān)鍵問(wèn)題在如何在通信帶寬限制的情況下，選擇最關(guān)鍵的信息進(jìn)行共享，彌補(bǔ)純視覺(jué)輸入中缺失的深度信息，同時(shí)彌補(bǔ)單視角下視野受限區(qū)域缺失的信息，提升純視覺(jué)輸入的 3D 空間感知能力。

研究方法 

CoCa3D 考慮以上關(guān)鍵問(wèn)題，進(jìn)行了兩個(gè)針對(duì)性的設(shè)計(jì)。

首先，協(xié)作信息應(yīng)包含深度信息，這將使得來(lái)自多個(gè)純視覺(jué)車的不同角度的觀測(cè)，緩解單點(diǎn)觀測(cè)的深度歧義性，相互矯正定位正確的深度。同時(shí)，每個(gè)純視覺(jué)車過(guò)濾掉不確定性較高的深度信息，選擇最關(guān)鍵的深度信息分享，減少帶寬占用。最高效地彌補(bǔ)純視覺(jué)輸入相比 LiDAR 輸入缺失的深度信息，實(shí)現(xiàn)接近的 3D 檢測(cè)效果。

其次，協(xié)作信息中應(yīng)包含檢測(cè)信息以緩解單點(diǎn)觀測(cè)的視角局限性，例如遮擋和遠(yuǎn)程問(wèn)題，相互補(bǔ)充檢測(cè)信息正確定位物體。并潛在地實(shí)現(xiàn)了更全面的 3D 檢測(cè)，即檢測(cè)所有存在于三維場(chǎng)景中的目標(biāo)，包括那些超出視覺(jué)范圍的目標(biāo)。同時(shí)，每個(gè)純視覺(jué)車過(guò)濾掉置信度較低的檢測(cè)信息，選擇最關(guān)鍵的檢測(cè)信息分享，減少帶寬占用。由于 LiDAR 也受到視野有限的限制，這潛在地使得多個(gè)純視覺(jué)車協(xié)作有可能取得勝過(guò) LiDAR 的探測(cè)效果。

基于此動(dòng)機(jī)，CoCa3D 整體系統(tǒng)包括兩個(gè)部分，單體相機(jī) 3D 檢測(cè)，實(shí)現(xiàn)基本的深度估計(jì)和檢測(cè)能力，以及多體協(xié)作，共享估計(jì)的深度信息和檢測(cè)特征以提高 3D 表示和檢測(cè)性能。其中多體協(xié)作由協(xié)作特征估計(jì)和協(xié)作檢測(cè)特征學(xué)習(xí)兩個(gè)關(guān)鍵部分構(gòu)成。

圖 2. CoCa3D 整體系統(tǒng)框圖。協(xié)作深度估計(jì)（Collaborative depth estimation）和協(xié)作檢測(cè)特征學(xué)習(xí)（Collaborative detection feature learning）是兩大關(guān)鍵模塊

協(xié)作深度估計(jì)（Collaborative depth estimation, Co-Depth）：旨在消除單體相機(jī)深度估計(jì)中深度的歧義性，并通過(guò)多視圖的一致性定位正確的候選深度。直覺(jué)是，對(duì)于正確的候選深度，其對(duì)應(yīng)的 3D 位置從多個(gè)代理的角度來(lái)看應(yīng)該在空間上是一致的。為此，每個(gè)協(xié)作者可以通過(guò)通信交換深度信息。同時(shí)，通過(guò)選擇最關(guān)鍵和明確的深度信息來(lái)提高通信效率。Co-Depth 由兩部分構(gòu)成：a) 基于不確定性的深度消息打包模塊，將確定的深度信息打包為緊湊的消息包傳遞出去；和 b) 深度信息融合模塊，通過(guò)與接收到的來(lái)自其他協(xié)作者視角的深度消息校驗(yàn)來(lái)緩解自身單視角下深度估計(jì)的歧義性。

協(xié)作檢測(cè)特征學(xué)習(xí)（Collaborative detection feature learning, Co-FL）：協(xié)作深度估計(jì)會(huì)仔細(xì)細(xì)化深度并為每個(gè)智能體提供更準(zhǔn)確的 3D 表示。然而，單一智能體的物理局限性，如視野受限、遮擋和遠(yuǎn)程問(wèn)題仍然存在。為了實(shí)現(xiàn)更全面的 3D 檢測(cè)，每個(gè)智能體都應(yīng)該能夠交換 3D 檢測(cè)特征并利用互補(bǔ)信息。同時(shí)，通過(guò)選擇感知上最關(guān)鍵的信息來(lái)提高通信效率。核心思想是探索感知信息的空間異質(zhì)性。直覺(jué)是包含目標(biāo)的前景區(qū)域比背景區(qū)域更關(guān)鍵。在協(xié)作過(guò)程中，帶有目標(biāo)的區(qū)域可以幫助恢復(fù)由于有限視野而導(dǎo)致的漏檢問(wèn)題，而背景區(qū)域則可以忽略以節(jié)省寶貴的帶寬。Co-FL 由兩部分構(gòu)成：a）基于檢測(cè)置信度的感知信息打包模塊，在檢測(cè)置信度的指導(dǎo)下打包空間稀疏但感知上關(guān)鍵的三維特征；和 b）檢測(cè)信息融合模塊，通過(guò)補(bǔ)充接收到的來(lái)自其他協(xié)作者視角的檢測(cè)信息來(lái)提升自身受限視角下的不完備的三維特征。

圖 3. 數(shù)據(jù)集 CoPerception-UAVs + 和 OPV2V + 仿真環(huán)境

圖 4. 數(shù)據(jù)集 CoPerception-UAVs+、DAIR-V2X 和 OPV2V + 樣本可視化

實(shí)驗(yàn)效果

為全面展示本文所提出的 CoCa3D 的優(yōu)異性能，研究者在三個(gè)數(shù)據(jù)集上對(duì)其進(jìn)行驗(yàn)證，包括無(wú)人飛機(jī)集群數(shù)據(jù) CoPerception-UAVs+, 車路協(xié)同仿真數(shù)據(jù)集 OPV2V+，以及車路協(xié)同真實(shí)數(shù)據(jù)集 DAIR-V2X。其中 CoPerception-UAVs + 是原始的 CoPerception-UAVs（NeurIPS22）的擴(kuò)展版本，包括更多的智能體（約 10 個(gè)），是更一個(gè)大規(guī)模無(wú)人機(jī)協(xié)同感知的數(shù)據(jù)集，由 AirSim 和 CARLA 共同模擬生成。OPV2V + 是原始的 OPV2V（ICRA 22）的擴(kuò)展版本，包括更多的智能體（約 10 個(gè)），是更一個(gè)大規(guī)模車路協(xié)同的數(shù)據(jù)集，由 OpenCDA 和 CARLA 共同模擬生成。

圖 5. CoCa3D 在多數(shù)據(jù)集上均取得了接近激光雷達(dá)的 3D 目標(biāo)檢測(cè)效果

研究者發(fā)現(xiàn)，CoCa3D（實(shí)線）在 10 個(gè)相機(jī)的協(xié)作下在 OPV2V+ 上的 AP@0.5/0.7 都優(yōu)于 LiDAR 3D 檢測(cè)！由于真實(shí)車路協(xié)同數(shù)據(jù)集 DAIR-V2X 僅有 2 個(gè)協(xié)作相機(jī)，我們使用 OPV2V + 的斜率來(lái)擬合真實(shí)車路協(xié)同數(shù)據(jù)集上的檢測(cè)性能與協(xié)作相機(jī)個(gè)數(shù)的函數(shù)，發(fā)現(xiàn)在實(shí)際場(chǎng)景中，僅 7 個(gè)協(xié)作相機(jī)即可實(shí)現(xiàn)優(yōu)于 LiDAR 3D 檢測(cè)的效果！此外，隨著協(xié)作代理數(shù)量的增加，檢測(cè)性能的穩(wěn)步提高鼓勵(lì)協(xié)作者積極協(xié)作并實(shí)現(xiàn)持續(xù)改進(jìn)。

基于協(xié)同感知數(shù)據(jù)集 OPV2V+，研究者對(duì)比了單體感知和協(xié)作感知在 3D 目標(biāo)探測(cè)任務(wù)的效果，如下面的動(dòng)圖所示（綠框?yàn)檎嬷?，紅框?yàn)闄z測(cè)框）。a/b 圖展示了單個(gè)相機(jī) / 激光雷達(dá)的探測(cè)效果，受限于傳感器的探測(cè)范圍和物理遮擋，右側(cè)路口的多量車難以被有效探測(cè)，c 圖展示了多個(gè)無(wú)人車的相機(jī)協(xié)作探測(cè)的效果，基于本文提出的 CoCa3D 方法，實(shí)現(xiàn)了超視距的感知。由此可見，協(xié)作感知通過(guò)同一場(chǎng)景中多智能體之間互通有無(wú)，分享感知信息，使得單個(gè)智能體突破自身傳感器的局限性獲得對(duì)整個(gè)場(chǎng)景更為準(zhǔn)確全面的理解。

圖 6. 3D 檢測(cè)結(jié)果 3D 視角和 BEV 視角可視化（紅框?yàn)闄z測(cè)框，綠框?yàn)檎嬷担?a) 單個(gè)相機(jī)檢測(cè)效果可視化，(b) 激光雷達(dá)檢測(cè)效果可視化，(c) 協(xié)作相機(jī)檢測(cè)效果可視化。

CoCa3D（紅線）在多個(gè)數(shù)據(jù)集上多種通信帶寬條件下均實(shí)現(xiàn) 3D 感知效果的大幅提升

值得注意的是，相比之前的基線方法 V2X-ViT（ECCV 22），針對(duì)某個(gè)特定通信量進(jìn)行了有針對(duì)性的模型訓(xùn)練，因此在通信量 - 探測(cè)效果的圖中是一個(gè)單點(diǎn)。而 CoCa3D 可以自動(dòng)調(diào)整和適應(yīng)各個(gè)通信量，因此是一條曲線。由此可見，CoCa3D 實(shí)現(xiàn)了感知效果與通信消耗的有效權(quán)衡，能自適應(yīng)資源多變的通信環(huán)境，且在各種通信條件下均取得了優(yōu)于基線方法 Where2comm（NeurIPS 22）的感知效果。

圖 7. CoCa3D 在多個(gè)數(shù)據(jù)集上多種通信帶寬條件下均取得最優(yōu)的 3D 感知效果

CoCa3D 有效提升單體深度估計(jì)，使得協(xié)作深度估計(jì)接近真實(shí)深度

研究者發(fā)現(xiàn)：i）單個(gè)視角下深度估計(jì)可以估計(jì)相對(duì)深度，但無(wú)法精確地定位深度絕對(duì)位置，例如，車輛比其所在的平面更高，但這個(gè)平面沒(méi)有正確分類；ii）通過(guò)協(xié)作的深度信息分享，引入多視圖幾何，協(xié)作估計(jì)的深度可以平穩(wěn)而準(zhǔn)確地定位平面；iii）對(duì)于遠(yuǎn)距離和背景區(qū)域，深度的不確定性較大。原因是遠(yuǎn)處的區(qū)域很難定位，因?yàn)樗鼈冋加玫膱D像像素太少，而背景區(qū)域由于沒(méi)有紋理表面而難以定位。

圖 8 深度和不確定性的可視化

總結(jié)與展望

CoCa3D 聚焦在核心思想是引入多體協(xié)作來(lái)提高純視覺(jué)的 3D 目標(biāo)檢測(cè)能力。同時(shí)，優(yōu)化了通信成本，每個(gè)協(xié)作者都仔細(xì)選擇空間稀疏但關(guān)鍵的消息進(jìn)行共享。相關(guān)技術(shù)方法將 AI 和通信技術(shù)高度整合，對(duì)車路協(xié)同，無(wú)人集群等群體智能應(yīng)用有著深刻影響。在未來(lái)，也期待這種思路可以被更廣泛應(yīng)用于高效提升單體的各類型能力，將協(xié)作感知拓展到協(xié)作自動(dòng)系統(tǒng)，全方位地提升單體智能。