1. 一眼概覽：

H-MBA (Hierarchical MamBa Adaptation) 提出了一個創(chuàng)新的多模態(tài)視頻理解框架，通過結(jié)合高低時域分辨率，顯著提升了自動駕駛場景中的視頻理解和風險物體檢測性能。

2. 核心問題：

現(xiàn)有的多模態(tài)大語言模型（MLLMs）在處理自動駕駛中復(fù)雜的時空動態(tài)視頻時，性能有限。特別是在捕捉背景變化、車輛和行人運動等方面，現(xiàn)有方法難以做到準確的時空理解。

3. 技術(shù)亮點：

• 引入了層次化的MamBa模型，通過高低時域分辨率分支捕捉視頻中多粒度的時空特征。
• 提出了Q-Mamba（查詢MamBa），通過靈活地轉(zhuǎn)換當前幀為查詢并適應(yīng)性地整合多粒度視頻上下文。
• 在DRAMA和BDD-X數(shù)據(jù)集上取得了領(lǐng)先的性能，特別是在風險物體檢測任務(wù)中，相比現(xiàn)有最先進方法提升了5.5%的mIoU。

4. 方法框架：

H-MBA框架由兩大模塊組成：

? Context Mamba (C-Mamba)：使用不同時間分辨率的時空模型來捕獲視頻的多層次上下文，包括低分辨率分支和高分辨率分支，分別捕捉明顯的運動變化和細節(jié)信息。

? Query Mamba (Q-Mamba)：生成可學習的查詢并適應(yīng)性地整合來自C-Mamba的多粒度上下文，增強對視頻的時空理解。

5. 實驗結(jié)果速覽：

? 在DRAMA數(shù)據(jù)集上，H-MBA在風險物體定位任務(wù)上取得了66.9%的mIoU，比最先進的LCP方法提高了5.5%。

? 在BDD-X數(shù)據(jù)集上，H-MBA在描述和解釋任務(wù)中超越了BLIP-2、Video-Chat等方法，并在多個性能指標上表現(xiàn)優(yōu)越。

6. 實用價值與應(yīng)用：

H-MBA的設(shè)計使其具有強大的實際應(yīng)用潛力，特別是在自動駕駛領(lǐng)域。其對復(fù)雜駕駛場景的高效理解和風險物體檢測功能可顯著提升自動駕駛系統(tǒng)的安全性和交互性，具有廣泛的商業(yè)應(yīng)用前景。

7. 開放問題：

? 如何應(yīng)對在極為復(fù)雜或不連續(xù)的相機運動下，H-MBA的表現(xiàn)是否依然穩(wěn)定？

? 是否可以將層次化的MamBa結(jié)構(gòu)擴展到其他領(lǐng)域的時空建模任務(wù)中，例如醫(yī)學影像分析或工業(yè)自動化？