架構

圖片

上圖是VideoAgent的概覽圖，VideoAgent通過搜索、聚合視頻信息來完成長視頻QA。整個系統包括一個核心LLM、VLM(視覺大語言模型)和CLIP工具。

作者受到人類理解長視頻的啟發，提出了VideoAgent，通過基于Agent的系統來模擬這一過程的系統。

將視頻理解過程形式化為一系列狀態、動作和觀察，其中LLM作為代理控制這個過程。首先，LLM通過瀏覽從視頻中均勻抽樣的一組幀來熟悉視頻內容的背景。在每次迭代中，LLM評估當前信息（狀態）是否足以回答問題；如果不夠，它會確定需要什么額外的信息（動作）。隨后，它利用CLIP 來檢索包含這些信息的新幀（觀察），并使用VLM將這些新幀描述為文本描述，從而更新當前狀態。這種設計強調了推理能力和迭代過程，而不是直接處理長視覺輸入，其中VLM和CLIP作為工具，使LLM能夠具有視覺理解和長上下文檢索能力。

圖片

VideoAgent的迭代過程詳細視圖。每一輪都從狀態開始，其中包括先前查看過的視頻幀。然后，大型語言模型通過回答預測和自我反思來確定后續的動作。如果需要額外的信息，就會以視頻幀的形式獲取新的觀察結果。

假設LLM確定信息不足以回答問題，并選擇搜索新信息。在這種情況下，進一步要求LLM決定需要什么額外信息，以便可以利用工具來獲得額外信息。由于視頻中某些信息可能出現多次，所以進行分段級別的檢索而不是視頻級別的檢索，以增強時間推理能力。

例如，假設問題是“男孩離開房間后在沙發上留下了什么玩具？”，并且我們在幀 i 中看到了男孩離開房間。如果我們使用查詢“顯示沙發上的玩具的幀”進行檢索，則可能在幀 i 之前存在包含“沙發上的玩具”的幀，但它們與回答問題無關。

Arxiv^[1]

引用鏈接

??[1]?? Arxiv: https://arxiv.org/abs/2403.10517

本文轉載自??大語言模型論文跟蹤??，作者：HuggingAGI ????