近日，在全球權威的自動駕駛nuScenes競賽的最新評測中，毫末智行斬獲純視覺3D目標檢測任務（nuScenes Detection task）無外部數據榜單第一名，并將關鍵性指標nuScenes Detection Score（NDS）提高到68.8%。

自動駕駛純視覺感知算法已經成為行業的熱點，如何提高基于視覺的3D障礙物的精度和準確度成為當下核心的技術挑戰。毫末在此項檢測任務中主要使用了兩種方法，一種是基于NeRF的三維建模方法，并基于此方法設計了深度分支網絡模型來輸出深度偽標簽，另一種是由SEEM監督的語義分支網絡來輸出語義偽標簽，最終結合深度偽標簽、語義偽標簽來提升檢測效果。

nuScenes數據集是目前自動駕駛領域中最流行的公開數據集之一，數據采集自波士頓和新加坡的實際自動駕駛場景，是第一個集成攝像頭、激光雷達和毫米波雷達等多種傳感器，實現360度全傳感器覆蓋的數據集。nuScenes數據集提供了二維、三維物體標注、點云分割、高精地圖等豐富的標注信息，包含1000個場景，擁有140萬幀圖像、39萬幀激光雷達點云數據、23個物體類別、140萬個三維標注框，其數據標注量比KITTI數據集高出7倍以上。

所謂純視覺3D目標檢測任務，就是在不使用激光雷達、毫米波雷達等額外的傳感器信息條件下，僅使用6個攝像頭完成車外360度環視視野的3D目標檢測，不僅需要檢測周圍環境中所有的車、行人、障礙物、交通標志、指示燈等若干類對象，還要精確感知到他們在真實物理世界中的位置、大小、方向、速度等信息。該項任務的主要難點是通過2D圖像難以準確的獲取目標的真實深度和速度，當提取的深度信息不準確時，一切的三維感知任務都會變得異常困難；而當提取的速度信息不準確時，則可能會對后續的決策規劃任務產生致命性的影響。

得益于更先進算法和更高算力的進步，nuScenes競賽的3D目標檢測任務榜單成績不斷取得提升，其中毫末AI技術團隊將關鍵性指標NDS提升到68.8%，充分展示了其在自動駕駛技術領域的實力。