AI能理解搞笑視頻笑點在哪里了。

AI回答：這個視頻之所以搞笑，在于一個小寶寶正坐在床上努力讀書，但他顯然還不會真正讀書。他只是不停地指著書頁上的各處，而攝影者則在背后笑他。小寶寶的這種嘗試很有趣，因為他在嘗試閱讀一本對他而言過大的書，也看不懂里面的文字。

北大等團隊開源視覺語言大模型Video-LLaVA，將圖像和視頻表示對齊到統一的視覺特征空間，在13個圖片和視頻基準上達到先進的性能。

值得注意的是，Video-LLaVA在訓練過程中沒有使用成對的視頻和圖片數據，但在訓練后，LLM令人驚訝地展現出同時理解圖片和視頻的能力。

如下圖所示，Video-LLaVA成功地識別出自由女神像的圖片是近景且細膩的，而視頻描述了自由女神像的多個角度，表明它們來自同一個地方。

在投影之前對齊圖像和視頻表示

這項工作具體貢獻如下：

• Video-LLaVA解決了在視覺-語言理解中同時處理圖像和視頻的挑戰。它將視覺表示統一到語言特征空間中，使得大型語言模型能夠同時對圖像和視頻進行視覺推理能力。
• Video-LLaVA通過最初將圖像和視頻的表示對齊到一個統一的視覺特征空間中，將視覺表示統一到語言特征空間中。這是通過使用LanguageBind編碼器來實現的，該編碼器將不同的模態映射到文本特征空間中，提供了一個統一的視覺表示。然后，統一的視覺表示經過共享的投影層和詞嵌入層進行編碼，以將統一的視覺表示映射給大型語言模型使用。
• Video-LLaVA在視頻上表現出色，在MSVD、MSRVTT、TGIF和ActivityNet視頻問答數據集上分別超過了Video-ChatGPT的5.8%、9.9%、18.6%和10.1%。

對于模型能力，研究團隊做了充分實驗。

視頻理解能力實驗。

如表3所示，Video-LLaVA在4個視頻問答數據集上全面超過了Video-ChatGPT，并且漲幅相當可觀。

圖片理解能力實驗。

該研究還與InstructBLIP，Otter，mPLUG-owl 等圖片語言大模型在圖片語言理解任務上進行了比較，結果如表2所示：

為了評估預先對齊視覺輸入的效果，研究團隊進行了大量的對比實驗。

他們使用了相同規模的MAE編碼器替換了圖片編碼器，其中MAE編碼器生成分離的視覺表示，而LanguageBind編碼器生成統一的視覺表示（因為預先對齊了視覺表征）。

然后，他們在13個基準測試中比較了MAE編碼器和LanguageBind編碼器的性能，包括9個圖片理解基準和4個視頻理解基準。

通過替換圖片編碼器為MAE編碼器，LLM在初始學習視覺表示時將視頻特征和圖片特征分開處理，不再將它們統一起來。

有關圖6的實驗結果顯示，與分離的視覺表示相比，聯合的視覺表示在4個視頻問答數據集上顯著提升了性能。

這一發現表明，預先對齊的視覺表征有助于LLM進一步學習和理解視頻內容。它提供了更好的能力，使得模型能夠更有效地處理視頻問答任務并展現出更好的性能表現。

同時論文還驗證了無論是對于圖片還是視頻，在聯合訓練中他們能相互受益。

通過聯合訓練視頻數據，對于圖片理解任務，可以緩解幻覺問題。類似的趨勢也在LLaVA-Bench基準測試上觀察到。

在視頻理解方面，聯合訓練的也得到了明顯的提升。