阿里巴巴開(kāi)源了最新視覺(jué)多模態(tài)模型Qwen2-VL，根據(jù)測(cè)試數(shù)據(jù)顯示，其72B模型在大部分指標(biāo)超過(guò)了OpenAI的GPT-4o，Anthropic的Claude3.5-Sonnet等著名閉源模型，成為目前最強(qiáng)多模態(tài)模型之一。

Qwen2-VL支持中文、英文、日文、韓文等眾多語(yǔ)言，可以在 Apache 2.0 協(xié)議下進(jìn)行商業(yè)化使用。同時(shí)阿里發(fā)布了 Qwen2-VL-72B的API，幫助開(kāi)發(fā)者增強(qiáng)或開(kāi)發(fā)多模態(tài)功能的生成式AI應(yīng)用。

開(kāi)源地址：https://huggingface.co/collections/Qwen/qwen2-vl-66cee7455501d7126940800d

Github：https://github.com/QwenLM/Qwen2-VL

在線demo：https://huggingface.co/spaces/Qwen/Qwen2-VL

API：https://help.aliyun.com/zh/model-studio/developer-reference/qwen-vl-api

Qwen2-VL特色功能與性能測(cè)試

Qwen2-VL是基于Qwen2開(kāi)發(fā)而成，相比第一代Qwen-VL有以下特色功能。

可理解20分鐘以上的長(zhǎng)視頻：Qwen2-VL 可理解長(zhǎng)視頻，并將其用于基于視頻的問(wèn)答、對(duì)話和內(nèi)容創(chuàng)作等應(yīng)用中。

例如，對(duì)于一部長(zhǎng)達(dá)兩個(gè)小時(shí)的紀(jì)錄片，用戶詢問(wèn)其中某個(gè)特定歷史事件的具體時(shí)間和背景，Qwen2-VL 可以快速檢索視頻內(nèi)容，從復(fù)雜的影像和解說(shuō)中提取出關(guān)鍵信息，為用戶提供詳細(xì)準(zhǔn)確的回答。

Qwen2-VL還可以根據(jù)長(zhǎng)視頻的內(nèi)容進(jìn)行故事續(xù)寫(xiě)、影評(píng)撰寫(xiě)或者創(chuàng)意改編。例如，一個(gè) 30 分鐘的科普長(zhǎng)視頻，Qwen2-VL 可以提取其中的核心知識(shí)，創(chuàng)作出一篇通俗易懂的科普文章，或者以視頻中的某個(gè)情節(jié)為靈感構(gòu)思出一部全新的小說(shuō)。

可操作手機(jī)和機(jī)器人的視覺(jué)智能體：借助復(fù)雜推理和決策的能力，Qwen2-VL 可集成到手機(jī)、機(jī)器人等設(shè)備，根據(jù)視覺(jué)環(huán)境和文字指令進(jìn)行自動(dòng)操作。

能讀懂不同分辨率和不同長(zhǎng)寬比的圖片：Qwen2-VL 在 MathVista、DocVQA、RealWorldQA、MTVQA等視覺(jué)理解基準(zhǔn)測(cè)試中取得了全球領(lǐng)先的表現(xiàn)。

性能評(píng)估方面，阿里從大學(xué)題目、數(shù)學(xué)、文檔表格多語(yǔ)言文字圖像的理解、通用場(chǎng)景下的問(wèn)答、視頻理解、Agent進(jìn)行了綜合測(cè)試。

結(jié)果顯示，72B的大部分性能超過(guò)了GPT-4o，僅在對(duì)綜合的大學(xué)題目上和 GPT-4o 還有一些差距。

在7B模型上，其性能與GPT-4mini的水平一樣，尤其是像 DocVQA 之類的文檔理解能力和 MTVQA 考察的圖片中多語(yǔ)言文字理解能力都處于 SOTA 水平。

Qwen2-VL架構(gòu)簡(jiǎn)單介紹

模型架構(gòu)方面， Qwen2-VL 在架構(gòu)上的一大改進(jìn)是實(shí)現(xiàn)了對(duì)原生動(dòng)態(tài)分辨率的全面支持。與上一代模型相比，Qwen2-VL 能夠處理任意分辨率的圖像輸入，不同大小圖片被轉(zhuǎn)換為動(dòng)態(tài)數(shù)量的tokens，最小只占 4 個(gè) tokens。

這種設(shè)計(jì)不僅確保了模型輸入與圖像原始信息之間的高度一致性，更是模擬了人類視覺(jué)感知的自然方式，賦予模型處理任意尺寸圖像的強(qiáng)大能力，使其在圖像處理領(lǐng)域展現(xiàn)出更加靈活和高效的表現(xiàn)。

Qwen2-VL在架構(gòu)上的另一重要?jiǎng)?chuàng)新則是多模態(tài)旋轉(zhuǎn)位置嵌入（M-ROPE）。傳統(tǒng)的旋轉(zhuǎn)位置嵌入只能捕捉一維序列的位置信息，而 M-ROPE 通過(guò)將原始旋轉(zhuǎn)嵌入分解為代表時(shí)間、高度和寬度的三個(gè)部分。

使得大規(guī)模語(yǔ)言模型能夠同時(shí)捕捉和整合一維文本序列、二維視覺(jué)圖像以及三維視頻的位置信息。這一創(chuàng)新賦予了語(yǔ)言模型強(qiáng)大的多模態(tài)處理和推理能力，能夠更好地理解和建模復(fù)雜的多模態(tài)數(shù)據(jù)能力。

案例展示

目前，阿里已經(jīng)展示了Qwen2-VL的多個(gè)實(shí)際應(yīng)用案例，例如，對(duì)一大段視頻進(jìn)行詳細(xì)解讀。

用戶：請(qǐng)?jiān)敿?xì)描述一下視頻。

Qwen2-VL：視頻開(kāi)始時(shí)，一名男子對(duì)著鏡頭說(shuō)話，后面是一群人坐在控制室里。然后鏡頭切換到兩個(gè)漂浮在空間站內(nèi)的男子，可以看到他們對(duì)著鏡頭說(shuō)話。這些人似乎是宇航員，他們穿著太空服。

空間站里充滿了各種設(shè)備和機(jī)械，鏡頭四處移動(dòng)以顯示空間站的不同區(qū)域。這些人繼續(xù)對(duì)著鏡頭說(shuō)話，他們似乎在討論他們的使命和正在執(zhí)行的各種任務(wù)。總的來(lái)說(shuō)，該視頻讓人們對(duì)太空探索的世界和宇航員的日常生活有了一個(gè)有趣的了解。

用戶還可以基于視頻繼續(xù)提問(wèn)，兩位宇航員穿的衣服是什么顏色的？Qwen2-VL回答：兩名宇航員穿著藍(lán)色和黑色的衣服。

你也可以向Qwen2-VL發(fā)送一張杭州蕭山到北京的飛機(jī)票，然后基于上面的內(nèi)容進(jìn)行提問(wèn)：“這趟航班什么時(shí)候到達(dá)？到達(dá)時(shí)目的地的天氣如何？”

Qwen2-VL具備了GPT-4o的實(shí)時(shí)問(wèn)答功能，讓其對(duì)一些書(shū)、植物、手勢(shì)等進(jìn)行解讀。

本文轉(zhuǎn)自 AIGC開(kāi)放社區(qū)  ，作者：AIGC開(kāi)放社區(qū)

原文鏈接:??https://mp.weixin.qq.com/s/4uiC1uuH1Noej_dCzql4FQ??