理解指向，說出坐標，Shikra開啟多模態(tài)大模型參考對話新維度
在人類的日常交流中，經(jīng)常會關(guān)注場景中不同的區(qū)域或物體，人們可以通過說話并指向這些區(qū)域來進行高效的信息交換。這種交互模式被稱為參考對話（Referential Dialogue）。
如果 MLLM 擅長這項技能，它將帶來許多令人興奮的應(yīng)用。例如，將其應(yīng)用到 Apple Vision Pro 等混合現(xiàn)實 (XR) 眼鏡中，用戶可以使用視線注視指示任何內(nèi)容與 AI 對話。同時 AI 也可以通過高亮等形式來指向某些區(qū)域，實現(xiàn)與用戶的高效交流。
本文提出的 Shikra 模型，就賦予了 MLLM 這樣的參考對話能力，既可以理解位置輸入，也可以產(chǎn)生位置輸出。
圖片
- 論文地址：http://arxiv.org/abs/2306.15195
- 代碼地址：https://github.com/shikras/shikra
核心亮點
Shikra 能夠理解用戶輸入的 point/bounding box，并支持 point/bounding box 的輸出，可以和人類無縫地進行參考對話。
Shikra 設(shè)計簡單直接，采用非拼接式設(shè)計，不需要額外的位置編碼器、前 / 后目標檢測器或外部插件模塊，甚至不需要額外的詞匯表。
圖片
如上圖所示，Shikra 能夠精確理解用戶輸入的定位區(qū)域，并能在輸出中引用與輸入時不同的區(qū)域進行交流，像人類一樣通過對話和定位進行高效交流。
圖片
如上圖所示，Shikra 不僅具備 LLM 所有的基本常識，還能夠基于位置信息做出推理。
圖片
如上圖所示，Shikra 可以對圖片中正在發(fā)生的事情產(chǎn)生詳細的描述，并為參考的物體生成準確的定位。
盡管 Shikra 沒有在 OCR 數(shù)據(jù)集上專門訓(xùn)練，但也具有基本的 OCR 能力。
更多例子
圖片
其他傳統(tǒng)任務(wù)
方法
模型架構(gòu)采用 CLIP ViT-L/14 作為視覺主干，Vicuna-7/13B 作為基語言模型，使用一層線性映射連接 CLIP 和 Vicuna 的特征空間。
Shikra 直接使用自然語言中的數(shù)字來表示物體位置，使用 [xmin, ymin, xmax, ymax] 表示邊界框，使用 [xcenter, ycenter] 表示區(qū)域中心點，區(qū)域的 xy 坐標根據(jù)圖像大小進行歸一化。每個數(shù)字默認保留 3 位小數(shù)。這些坐標可以出現(xiàn)在模型的輸入和輸出序列中的任何位置。記錄坐標的方括號也自然地出現(xiàn)在句子中。
實驗結(jié)果
Shikra 在傳統(tǒng) REC、VQA、Caption 任務(wù)上都能取得優(yōu)良表現(xiàn)。同時在 PointQA-Twice、Point-V7W 等需要理解位置輸入的 VQA 任務(wù)上取得了 SOTA 結(jié)果。
圖片
本文使用 POPE benchmark 評估了 Shikra 產(chǎn)生幻覺的程度。Shikra 得到了和 InstrcutBLIP 相當?shù)慕Y(jié)果，并遠超近期其他 MLLM。
思想鏈（CoT），旨在通過在最終答案前添加推理過程以幫助 LLM 回答復(fù)雜的 QA 問題。這一技術(shù)已被廣泛應(yīng)用到自然語言處理的各種任務(wù)中。然而如何在多模態(tài)場景下應(yīng)用 CoT 則尚待研究。尤其因為目前的 MLLM 還存在嚴重的幻視問題，CoT 經(jīng)常會產(chǎn)生幻覺，影響最終答案的正確性。通過在合成數(shù)據(jù)集 CLEVR 上的實驗，研究發(fā)現(xiàn)，使用帶有位置信息的 CoT 時，可以有效減少模型幻覺提高模型性能。
結(jié)論
本文介紹了一種名為 Shikra 的簡單且統(tǒng)一的模型，以自然語言的方式理解并輸出空間坐標，為 MLLM 增加了類似于人類的參考對話能力，且無需引入額外的詞匯表、位置編碼器或外部插件。
