近年來，LLM 已經一統所有文本任務，展現了基礎模型的強大潛力。一些視覺基礎模型如 CLIP 在多模態理解任務上同樣展現出了強大的泛化能力，其統一的視覺語言空間帶動了一系列多模態理解、生成、開放詞表等任務的發展。然而針對更細粒度的目標級別的感知任務，目前依然缺乏一個強大的基礎模型。

為了解決這個問題，來自華中科技大學和字節跳動的研究團隊提出了一個針對視覺目標的基礎模型 GLEE，一次性解決圖像和視頻中的幾乎所有目標感知任務。GLEE 支持根據任意開放詞表、目標的外觀位置描述、和多種交互方式進行目標檢測、分割、跟蹤，并在實現全能性的同時保持 SOTA 性能。

此外，GLEE 還構建了統一優化目標的訓練框架，從超過一千萬的多源數據中汲取知識，實現對新數據和任務的零樣本遷移。并驗證了多種數據之間相互促進的能力。模型和訓練代碼已全部開源。

• 論文標題：GLEE: General Object Foundation Model for Images and Videos at Scale
• 論文地址：https://arxiv.org/abs/2312.09158
• 代碼地址：https://github.com/FoundationVision/GLEE
• Demo 地址：https://huggingface.co/spaces/Junfeng5/GLEE_demo
• 視頻地址：https://www.bilibili.com/video/BV16w4m1R7ne/

1. GLEE 可以解決哪些任務？

GLEE 可以同時接受語義和視覺上的 prompt 作為輸入，因此，任意長度的開放詞表、目標屬性描述、目標位置描述都、交互式的 point，box，mask 都可以被作為 prompt 來指引 GLEE 檢測分割出任意目標。具體來說，開放世界的目標檢測、實例分割、文本描述的指代檢測與分割（referring expression comprehension and segmentation）以及交互式分割都可以被輕松實現。

此外，通過在超大規模的圖像數據上進行訓練，GLEE 學習到了更加有判別性的目標特征，直接對這些特征進行無參數的幀間匹配可以實現高質量的跟蹤，從而將 GLEE 的能力完全擴展到視頻任務上。在視頻任務中 GLEE 可以實現開放世界的視頻實例分割（VIS），視頻目標分割（VOS），參考視頻實例分割（RVOS）以及交互式的視頻目標分割跟蹤。

2. GLEE 統一了哪些數據用來訓練？

GLEE 使用了來自 16 個數據集的超過一千萬圖片數據進行訓練，充分利用了現有的標注數據和低成本的自動標注數據構建了多樣化的訓練集，是 GLEE 獲得強大泛化性的根本原因。

GLEE 使用的數據根據標注類型可以分為四大類：1）基于詞表的目標檢測數據集，如 COCO、Objects365。2）基于目標描述的 grounding 數據集，如 RefCOCO 系列、VisualGenome。3）無類語義信息的 open-world 數據集，如 SA1B、UVO。4）視頻數據，如 YouTubeVIS、OVIS。GLEE 所使用的圖片超過 1 千萬，其中標注目標數量超過一億五千萬。

3. GLEE 如何構成？

GLEE 包括圖像編碼器、文本編碼器、視覺提示器和目標檢測器，如圖所示。文本編碼器處理與任務相關的任意描述，包括目標類別詞表、目標任何形式的名稱、關于目標的標題和指代表達。視覺提示器將用戶輸入（如交互式分割中的點、邊界框或涂鴉）編碼成目標對象的相應視覺表示。然后，這些信息被整合到一個檢測器中，根據文本和視覺輸入從圖像中提取對象。

4. 在目標感知任務上的全能性和泛化能力

該研究展示了 GLEE 模型作為一個目標感知基礎模型的普適性和有效性，它可以直接應用于各種以目標為中心的任務，同時確保最先進的性能，無需進行微調。

此外，該研究在一些開放詞匯表的視頻任務中驗證了 GLEE 的零樣本泛化能力。在 TAO、BURST、LV-VIS 這三個開放詞匯表的跟蹤數據集上，GLEE 在未經過訓練和微調的情況下，取得了令人驚嘆的最先進（SOTA）性能，這證明了 GLEE 在大規模聯合訓練中學習到的通用對象感知能力和強大的泛化能力。

5. 作為基礎模型的潛力

作為基礎模型，該研究用預訓練且凍結的 GLEE-Plus 替換了 LISA 的中使用的 SAM backbone，并將 GLEE 的 Object Query 輸入到 LLAVA 中，移除了 LISA 的解碼器。該研究直接將輸出的 SEG 標記與 GLEE 特征圖進行點積運算以生成 Mask。在進行相同步數的訓練后，修改后的 LISA-GLEE 取得了與原版 LISA 使用 SAM 相媲美的結果，這證明了 GLEE 的表示具有多功能性，并且在為其他模型服務時的有效性。