多模態視頻異常理解任務，又有新突破！

“異常理解”是指在視頻監控、自動駕駛等場景中，利用模型發現視頻中的異常內容，從而預判危險，以便及時做出決策。

來自華中科大等機構的研究人員，提出了新的視頻異常理解模型Holmes-VAU，以及相關數據集。

與通用多模態大模型對比，Holmes-VAU在各種時序粒度的視頻異常理解上都展現出顯著優勢。

為了實現開放世界的多模態視頻異常理解（VAU），已有的VAU benchmark只有短視頻的caption標注或長視頻的instruction標注，忽略了視頻異常事件的時序復雜性。

為同時促進模型對短視頻的感知能力和對長視頻的推理能力，作者提出了一種高效半自動數據引擎并構建了HIVAU-70k數據集，包含超7萬視頻異常理解任務的多時序尺度指令數據。

同時作者提出了一種基于異常分數的時序采樣器，從長視頻中動態稀疏采樣關鍵幀到后續多模態大模型中，顯著提升了異常分析的準確性和推理效率。

多層級視頻異常理解指令數據集

針對視頻異常理解任務(Video Anomaly Understanding)，以往的一些異常視頻指令數據集主要有兩方面問題：

• 數據集中的視頻時長較短，導致模型缺乏對長視頻的異常理解能力；
• 即便包含長視頻，也缺乏對長視頻的細粒度和結構化的標注，導致模型的異常理解空間難以對齊。

為此，作者提出了一個大型多模態指令數據集HIVAU-70k，其中包含多種時間粒度的視頻異常標注，由粗到細分別為：

• video-level：未裁剪長視頻，包括視頻中所有異常事件的文本描述分析；
• event-level：從長視頻中裁剪出的異常事件片段，包括單個異常事件的文本描述分析；
• clip-level：從event中進一步裁剪出的視頻片段，包括視頻片段的文本描述。

HIVAU-70k中的指令數據包括視頻描述、異常判斷、異常描述和異常分析等任務，為視頻異常理解多模態大模型提供了豐富多樣的數據來源。

這樣的多層級指令數據集是怎么構造的呢？從一個未裁剪的長視頻開始，需要依次經過以下三個步驟：

• 分層視頻解耦（Hierarchical Video Decoupling）：將video-level視頻中的異常事件標注并裁剪出來，得到event-level視頻, 再對event-level視頻進一步平均切分得到clip-level視頻；
• 分層自由文本注釋（Hierarchical Free-text Annotation）：對于clip-level視頻，使用人工或caption model得到clip caption；對于event-level視頻，結合所包含的clip-level caption和異常類別，提示LLM得到事件總結；對于video-level視頻，結合所包含的事件總結和異常類別，提示LLM得到視頻總結；
• 層次化指令數據構建（Hierarchical Instruction Data Construction）：針對不同層級的視頻及其文本標注，設計不同的任務，構造任務相關的問題并與文本注釋組合，得到最終的指令數據。

與其他相關的數據集相比，HIVAU-70k不僅有數量上的優勢，還提供了多粒度的文本標注以及時序上的異常邊界標注。

動態稀疏采樣的視頻異常理解模型

長視頻異常理解在使用大型語言模型（LLMs）或視覺語言模型（VLMs）時，常因幀冗余問題而受到限制，導致異常檢測的準確性變得復雜。

以往的VAU（視頻異常理解）方法難以聚焦異常。

例如，密集窗口采樣方法會增加大量冗余幀的計算量，而均勻幀采樣方法常常錯過關鍵異常幀，使其應用范圍局限于短視頻。

為此，作者提出了Anomaly-focused Temporal Sampler (ATS)，并將其集成到VLM中，通過在HIVAU-70k上的指令微調，構建了Holmes-VAU模型。

異常幀通常比正常幀包含更多信息，并表現出更大的變化，基于這一觀察，作者設計了一種采樣策略，在異常分數較高的區域采樣更多幀，同時在分數較低的區域減少采樣。

為實現非均勻采樣，作者提出了一種“密度感知采樣器”（density-aware sampler），用于從總共T個輸入幀中選擇N個幀。

具體來說，作者將異常分數S視為概率質量函數，并首先沿時間維度累積它們，得到累積分布函數（CDF），記為 S_cumsum：

接著，在累積軸上均勻采樣N個點，并將這些點映射到累積分布S_cumsum上。相應的時間軸上的N個時間戳會被映射到最接近的幀索引，最終形成采樣的幀索引集合G。

△Holmes-VAU模型框架圖

如下展示了測試集上的異常分數和采樣幀的可視化結果。這些結果表明了ATS的準確異常檢測能力，最終輸入到多模態大模型的采樣幀也集中于異常區域。

△Anomly-focused Temporal Sampler (ATS) 異常分數及采樣幀示意圖

實驗結果

異常推理性能評估

作者在HIVAU-70k的測試集上，將模型輸出的推理文本與注釋的真實文本進行比較，計算了包括BLEU、CIDEr、METEOR和ROUGE等指標來衡量模型輸出的異常理解文本質量。

與通用多模態大模型對比，Holmes-VAU在各種時序粒度的視頻異常理解上都展現出顯著優勢。

在多層級標注中，對不同層級指令數據集的組合，可以觀察發現，單一層級的標注只能提升單一層級任務的性能。

不同層級的標注組合可以相互補充，實現從clip-level的基礎視覺感知, 到event-level單一異常事件的分析，再到video-level的長時序異常總結和推理等方面的全面提升，達到更細粒度和完整的多模態異常空間對齊。

對于非均勻采樣器的作用，作者也對比了不同幀采樣方式，包括本文提出的ATS、之前方法用的Top-K采樣和Uniform采樣。

結果表明在相同的采樣幀數下，ATS展現出更優越的長視頻異常理解能力，這是由于Top-K采樣過于集中在異常幀，忽略了視頻上下文的參考，Uniform采樣則容易忽略關鍵的異常幀。

而作者提出的ATS則有效結合了這兩者的優勢，關注異常幀的同時，能夠保留部分上下文幀的采樣。

定性比較

下圖對比了Holmes-VAU和其他MLLM輸出的異常分析文本，Holmes-VAU表現出更準確的異常判斷和分析能力，同時對長視頻也表現出更完整的異常總結能力。

△Holmes-VAU和其他MLLM的異常分析文本質量對比

論文：https://arxiv.org/abs/2412.06171
代碼：https://github.com/pipixin321/HolmesVAU