AI能像人類一樣理解長(zhǎng)視頻。

港理工、新加坡國(guó)立團(tuán)隊(duì)推出VideoMind框架，核心創(chuàng)新在于角色化推理（Role-based Reasoning）和鏈?zhǔn)絃oRA（Chain-of-LoRA）策略。

相關(guān)論文已上傳arXiv，代碼和數(shù)據(jù)全部開源。

隨著視頻數(shù)據(jù)量的激增，如何理解和推理長(zhǎng)視頻中的復(fù)雜場(chǎng)景和事件成為了多模態(tài)人工智能研究的熱點(diǎn)。不同于靜態(tài)圖像，視頻不僅包含視覺信息，還包含時(shí)間維度上的動(dòng)態(tài)變化，這要求模型在理解視頻時(shí)不僅要識(shí)別畫面中的物體和場(chǎng)景，還要理解這些物體和場(chǎng)景如何隨時(shí)間變化和相互作用。

傳統(tǒng)的基于文本和圖像的推理模型（如OpenAI o1， DeepSeek R1等）往往無法應(yīng)對(duì)這種復(fù)雜的時(shí)間維度推理任務(wù)。

VideoMind框架

區(qū)別于文本和圖片，長(zhǎng)視頻理解難以用傳統(tǒng)的單次感知 + 純文字推理實(shí)現(xiàn)。

相比之下，人類在理解長(zhǎng)視頻（如教學(xué)視頻、故事類視頻）時(shí)往往會(huì)尋找相關(guān)片段并反復(fù)觀看，以此獲取更可靠的結(jié)論。

受該現(xiàn)象啟發(fā)，作者根據(jù)視頻理解所需要的4種核心能力（制定計(jì)劃、搜索片段、驗(yàn)證片段、回答問題），為VideoMind定義了4個(gè)角色，并構(gòu)建了一個(gè)角色化的工作流，有效地解決了長(zhǎng)視頻中的時(shí)序推理問題。

• 規(guī)劃者（Planner）根據(jù)問題動(dòng)態(tài)制定計(jì)劃，決定如何調(diào)用其他角色（如先定位，再驗(yàn)證，最后回答問題）;
• 定位器（Grounder）根據(jù)給定的問題或查詢，精確定位與之相關(guān)的視頻片段;
• 驗(yàn)證器（Verifier）對(duì)定位得到的多個(gè)時(shí)間片段進(jìn)行驗(yàn)證，確保其準(zhǔn)確性;
• 回答者（Answerer）基于選定的視頻片段進(jìn)行理解，生成最終答案。

△圖1：傳統(tǒng)純文字推理和VideoMind的角色化推理

為了高效整合以上角色，作者進(jìn)一步提出了鏈?zhǔn)絃oRA（Chain-of-LoRA）策略，在一個(gè)統(tǒng)一的Base模型（如Qwen2-VL）上同時(shí)加載多個(gè)輕量的LoRA Adapter，并在推理時(shí)根據(jù)需要進(jìn)行動(dòng)態(tài)切換，以實(shí)現(xiàn)不同角色間的轉(zhuǎn)換。該策略僅需要在Base模型上添加少量可學(xué)習(xí)參數(shù)，即可實(shí)現(xiàn)多個(gè)角色/功能間的無縫切換，既獲得了比單一模型顯著更優(yōu)的性能，也避免了多模型并行帶來的計(jì)算開銷，從而在確保性能的同時(shí)大幅提高了計(jì)算效率。

△圖2： VideoMind的整體架構(gòu)和推理流程

VideoMind推理流程

如圖2所示，模型接收一個(gè)視頻和一個(gè)用戶提出的問題作為輸入，通過切換多個(gè)角色來推理出最終答案。其中，Planner首先對(duì)視頻和問題進(jìn)行分析，執(zhí)行后續(xù)推理的計(jì)劃，其結(jié)果以JSON list的形式呈現(xiàn)。推理計(jì)劃主要可分為以下三種：

△圖3：VideoMind的三種推理模式

其中（i）主要針對(duì)長(zhǎng)視頻問答任務(wù)（Grounded VideoQA），需要使用Grounder + Verifier + Answerer三個(gè)角色進(jìn)行作業(yè)；（ii）針對(duì)視頻時(shí)序定位任務(wù)（Video Temporal Grounding），使用Grounder + Verifier來進(jìn)行相關(guān)片段的精準(zhǔn)查找；（iii）針對(duì)短視頻問答，該場(chǎng)景下由于視頻較短，無需對(duì)其進(jìn)行裁剪，故直接使用Answerer進(jìn)行推理。

△圖4：Timestamp Decoder模塊

Grounder負(fù)責(zé)接收一個(gè)自然語言查詢，并在視頻中定位相關(guān)片段。針對(duì)這一復(fù)雜任務(wù)，研究團(tuán)隊(duì)提出了Timestamp Decoder模塊，將離散的Token預(yù)測(cè)任務(wù)和連續(xù)的時(shí)間回歸任務(wù)解耦開來，并使LLM通過Special Token進(jìn)行調(diào)用，實(shí)現(xiàn)了強(qiáng)大的Zero-shot時(shí)序定位性能。

△圖5：Verifier的驗(yàn)證策略

為保證時(shí)間分辨率，Grounder往往工作在較低的空間分辨率下，因此獲得的時(shí)間片段可能會(huì)不準(zhǔn)確。針對(duì)此問題，作者設(shè)計(jì)了Verifier角色來對(duì)每個(gè)片段進(jìn)行放大驗(yàn)證，并從多個(gè)候選片段中選取置信度最高的作為目標(biāo)片段。試驗(yàn)證明該策略可以進(jìn)一步顯著提高Temporal Grounding任務(wù)的性能。

△表1：VideoMind的訓(xùn)練數(shù)據(jù)集

為訓(xùn)練VideoMind，作者針對(duì)不同角色收集/制作了多個(gè)數(shù)據(jù)集，共計(jì)包含接近50萬個(gè)樣本。不同角色使用不同數(shù)據(jù)集進(jìn)行訓(xùn)練，并在推理時(shí)合并加載，以確保每個(gè)角色的性能最大化。所有訓(xùn)練數(shù)據(jù)（包括前期探索使用的更多數(shù)據(jù)集）全部公開可用。

實(shí)驗(yàn)與評(píng)估

為了驗(yàn)證VideoMind的有效性，作者在14個(gè)公開基準(zhǔn)測(cè)試集上進(jìn)行了廣泛的實(shí)驗(yàn)，涵蓋了長(zhǎng)視頻定位 + 問答（Grounded VideoQA）、視頻時(shí)序定位(Video Temporal Grounding)和普通視頻問答(General VideoQA)等任務(wù)。

△表2：用于VideoMind評(píng)測(cè)的基準(zhǔn)測(cè)試集

（1）視頻定位 + 問答（Grounded VideoQA）

在CG-Bench、ReXTime、NExT-GQA等長(zhǎng)視頻基準(zhǔn)上，VideoMind在答案精確度和時(shí)序定位準(zhǔn)確性方面表現(xiàn)出了領(lǐng)先優(yōu)勢(shì)。特別的，在平均視頻長(zhǎng)度約為27分鐘的CG-Bench中，較小的VideoMind-2B模型在時(shí)序定位和問答任務(wù)上超越了GPT-4o、Gemini-1.5-Pro等最先進(jìn)的模型。

△表3：CG-Bench數(shù)據(jù)集的測(cè)試結(jié)果

△表4：NExT-GQA數(shù)據(jù)集的測(cè)試結(jié)果

（2）視頻時(shí)序定位（Video Temporal Grounding）

VideoMind的Grounder通過創(chuàng)新的Timestamp Decoder和Temporal Feature Pyramid設(shè)計(jì)，顯著提高了視頻時(shí)序定位的準(zhǔn)確性。Verifier的設(shè)計(jì)進(jìn)一步提升了高精度定位的性能。VideoMind在Charades-STA、ActivityNet-Captions、QVHighlights等基準(zhǔn)上都取得了最佳性能。此外，VideoMind也是首個(gè)支持多片段grounding的多模態(tài)大模型，因此可以在QVHighlights數(shù)據(jù)集上跟現(xiàn)有模型公平對(duì)比。

△表5：Charades-STA數(shù)據(jù)集的測(cè)試結(jié)果

△表6：ActivityNet Captions數(shù)據(jù)集的測(cè)試結(jié)果

△表7：QVHighlights數(shù)據(jù)集的測(cè)試結(jié)果

（3）一般視頻問答（General VideoQA）

對(duì)于通用的視頻理解問題，VideoMind也表現(xiàn)出了強(qiáng)大的泛化能力。在Video-MME、MVBench、MLVU、LVBench、LongVideoBench等基準(zhǔn)上，VideoMind得益于其Planner的設(shè)計(jì)，可以自適應(yīng)地決定是否需要grounding，其性能超越了許多先進(jìn)的視頻問答模型，顯示了其在不同視頻長(zhǎng)度下的優(yōu)越表現(xiàn)。

△表8：Video-MME、MLVU和LVBench數(shù)據(jù)集的測(cè)試結(jié)果

△表9：LongVideoBench數(shù)據(jù)集的測(cè)試結(jié)果

以下例子展現(xiàn)了VideoMind在實(shí)際場(chǎng)景中的推理流程。給定一個(gè)視頻和一個(gè)問題，該模型可以拆解問題、指定計(jì)劃、搜索片段、驗(yàn)證結(jié)果，并根據(jù)獲取的片段推理最終答案。該策略相比傳統(tǒng)的純文字推理（左下部分）更加符合人類行為，結(jié)果也更加可靠。

△圖6：VideoMind的推理流程可視化

總結(jié)

VideoMind的提出不僅在于視頻理解性能的突破，更在于提出了一個(gè)模塊化、可擴(kuò)展、可解釋的多模態(tài)推理框架。該框架首次實(shí)現(xiàn)了類似人類行為的“指定計(jì)劃、搜索片段、驗(yàn)證結(jié)果、回答問題”流程，真正讓AI能“像人類一樣理解視頻”，為未來的視頻理解和多模態(tài)智能系統(tǒng)領(lǐng)域奠定了基礎(chǔ)。

項(xiàng)目主頁：https://videomind.github.io/
論文鏈接：https://arxiv.org/abs/2503.13444
開源代碼：https://github.com/yeliudev/VideoMind
開源數(shù)據(jù)：https://huggingface.co/datasets/yeliudev/VideoMind-Dataset
在線Demo：https://huggingface.co/spaces/yeliudev/VideoMind-2B