GPT-4o-Image也只能完成28.9%的任務(wù)，圖像編輯評測新基準(zhǔn)來了！

360個全部由人類專家仔細(xì)思考并校對的高質(zhì)量測試案例，暴露多模態(tài)模型在結(jié)合推理能力進行圖像編輯時的短板。

最近，上海人工智能實驗室聯(lián)手上海交大、同濟大學(xué)、武漢大學(xué)、普林斯頓大學(xué)的研究人員，針對圖像編輯AI提出了三個問題：

• 現(xiàn)有的圖像編輯評測基準(zhǔn)是否已經(jīng)無法跟上時代的步伐？
• 僅僅停留在“更換顏色”等改變物體表層屬性的測試，是否已顯得過于簡單，無法真正衡量AI的“深度理解”能力？
• 當(dāng)指令變得更加復(fù)雜，涉及圖片背后的邏輯、上下文關(guān)聯(lián)甚至隱含意圖時，現(xiàn)有模型能否正確“領(lǐng)會”并精準(zhǔn)執(zhí)行，同時保證生成圖像的質(zhì)量和與原圖的自然一致性？

為了填補這一空白，深度挖掘并客觀評估視覺編輯模型在理解復(fù)雜指令方面的能力上限，團隊推出了一項全新任務(wù)——Reasoning-Informed ViSual Editing （RISE）。

另外，他們還配套發(fā)布了一個高質(zhì)量評測基準(zhǔn)——RISEBench，覆蓋時間、因果、空間、邏輯四種核心推理類型，每個案例包含原圖和編輯指令。

例如輸入一張圖像，展示了一片草地上有片枯葉，上方有個放大鏡，任務(wù)指令為“畫出該場景在夏天30秒后的模樣”。

團隊測試了當(dāng)前性能領(lǐng)先的九個視覺編輯模型，實驗測試結(jié)果令人意外：

即使是最強的GPT-4o-Image，在復(fù)雜視覺編輯任務(wù)中的準(zhǔn)確率也僅為28.9%，最強的開源模型BAGEL僅能完成5.8%的任務(wù)，其它被測開源模型完成率幾乎為零，顯示出當(dāng)前開源模型與閉源模型在視覺理解能力上的差距。

以下是更多細(xì)節(jié)。

RISEBench長啥樣？

與傳統(tǒng)評測基準(zhǔn)不同，RISEBench旨在評估視覺編輯模型在各類需要深層理解的指令上的性能。它不僅僅停留在表面修改，更深入地探索視覺編輯模型對時間、因果、空間和邏輯等復(fù)雜概念的把握。

RISEBench精心設(shè)計了360道高難度問題，全部由人類專家仔細(xì)思考并校對，確保了問題的嚴(yán)謹(jǐn)性和挑戰(zhàn)性。這些題目被劃分為四大核心類別，旨在全面考驗?zāi)Ｐ偷耐评砟芰Γ?/span>

• Temporal Reasoning(時間推理)： 考驗?zāi)Ｐ蛯r間線索的理解和未來/過去狀態(tài)的預(yù)測。
• Causal Reasoning(因果推理)： 評估模型能否理解各類動作（碰撞，點燃，物理化學(xué)反應(yīng)等）與結(jié)果之間的因果關(guān)系。
• Spatial Reasoning(空間推理)： 挑戰(zhàn)模型對物體空間位置、關(guān)系、視角變換等想象能力的掌握。
• Logical Reasoning(邏輯推理)： 衡量模型對抽象規(guī)則、數(shù)學(xué)運算、邏輯關(guān)系的推斷能力。

為了確保評估的全面性和泛化性，RISEBench的輸入圖像來源廣泛，包括互聯(lián)網(wǎng)數(shù)據(jù)、已有基準(zhǔn)、模型生成圖像以及代碼生成圖像等多個不同分布的數(shù)據(jù)源。

這種多源異構(gòu)的設(shè)計，能夠廣泛細(xì)致地考驗?zāi)Ｐ蛯Σ煌斎雸D像和指令的應(yīng)對能力，避免模型在特定數(shù)據(jù)分布上過擬合。

自動化的細(xì)粒度評估體系

為了精準(zhǔn)、高效地評判模型輸出是否符合要求，作者團隊將整體評估拆分成了三個關(guān)鍵子維度，并采用前沿的多模態(tài)大模型作為評判專家（LMM-as-Judge）的方式，使用GPT-4.1作為評估模型對每個維度進行打分，確保評估的客觀性和一致性。

1、Instruction Reasoning(指令理解)： 考核模型是否準(zhǔn)確理解了指令的深層含義。

• 對于輸出結(jié)果可用文字準(zhǔn)確描述的指令，評估模型會判斷生成圖像與給定文本答案是否匹配。
• 對于最終輸出難以用文字描述的復(fù)雜指令，我們針對性地提供了用于參考的圖像回答，評估模型將判斷生成圖像是否與參考圖像相匹配。

2、Appearance Consistency(外觀一致性)： 評估生成圖像與原圖在背景以及風(fēng)格、紋理等與指令無關(guān)的視覺元素上的一致性，確保編輯自然。

3、Visual Plausibility(視覺合理性)： 衡量生成圖像的整體視覺質(zhì)量、真實感和視覺合理性，避免出現(xiàn)不自然或失真的效果。

每個維度均為1-5分，當(dāng)三個維度均為滿分時標(biāo)記為完成了編輯任務(wù)。這種細(xì)粒度的評估設(shè)計顯著提升了模型打分與人類判斷的對齊程度，為未來視覺編輯模型的發(fā)展提供了更加可靠和公正的評估體系。

視覺編輯模型理解能力遠(yuǎn)未及格

作者團隊對近期備受關(guān)注的多個閉源及開源模型進行了嚴(yán)格評估，包括GPT-4o-Image、Gemini-Flash-2.0-Series (Experimental & Preview)、HiDream-Edit以及開源模型BAGEL、Step1X-Edit、OmniGen、EMU2、Flux.1。

結(jié)果令人深思：

• 全面欠缺： 測評結(jié)果明確指出，當(dāng)前的視覺編輯模型在完成復(fù)雜指令方面仍存在相當(dāng)大的欠缺。它們距離真正“讀懂”用戶的深層意圖，還有很長的路要走。
• GPT-4o-Image一騎絕塵，但仍遠(yuǎn)低于預(yù)期： 即使是目前公認(rèn)最強的閉源模型GPT-4o-Image，在RISEBench上也僅僅只能完美完成28.9%的任務(wù)。
• 閉源與開源差距顯著： 排名第二、第三的Gemini-Flash-2.0-Experimental和Gemini-Flash-2.0-Preview，分別僅能完成13.3%和9.4%的任務(wù)，與GPT-4o-Image之間存在著明顯的代際差距。更令人擔(dān)憂的是，最強的開源模型BAGEL僅能完成5.8%的任務(wù)，這彰顯出當(dāng)前開源模型與閉源模型之間在視覺理解能力上的巨大鴻溝。 其他被測模型的完成率幾乎為零，暴露出其薄弱的理解能力。

為了更深入地分析各模型的表現(xiàn)，研究團隊還統(tǒng)計了每個模型在指令理解（Instruction Reasoning）、外觀一致性（Appearance Consistency）和視覺合理性（Visual Plausibility）這三個評估維度上的平均得分，揭示了其短板所在。

結(jié)果表明：

• 領(lǐng)先者全面發(fā)展： GPT和Gemini系列模型在所有三個維度上都展現(xiàn)出了相對較高的水準(zhǔn)，因此在整體任務(wù)完成度上表現(xiàn)相對更佳。
• 開源模型短板明顯： BAGEL雖然在指令理解能力上僅次于GPT和Gemini，但在生成圖像的視覺合理性上得分較低，這意味著其輸出圖像往往存在更多的失真或模糊現(xiàn)象，影響了最終得分。
• 各有側(cè)重，但均有缺陷： HiDream-Edit雖然具備部分理解能力，但在保持輸出圖像內(nèi)容一致性上表現(xiàn)較差，容易出現(xiàn)與原圖脫節(jié)的情況。Step1X-Edit雖然能生成較高視覺合理性的圖像，但其指令理解能力和一致性表現(xiàn)均較低。
• 理解力成為決定性因素： 其他模型由于幾乎完全沒有理解能力，且在保持一致性方面也表現(xiàn)不佳，最終導(dǎo)致其整體完成度接近于0。

團隊認(rèn)為，這些細(xì)致的評估結(jié)果清晰地揭示了當(dāng)前視覺編輯模型所面臨的嚴(yán)峻挑戰(zhàn)：

不僅僅是簡單的技術(shù)實現(xiàn)，更深層次的認(rèn)知和推理能力才是決定未來模型性能的關(guān)鍵瓶頸。

最后，作者團隊展望未來并表示：

RISEBench的發(fā)布，標(biāo)志著圖像編輯評測標(biāo)準(zhǔn)的一次重大升級。希望它能推動下一代視覺編輯模型發(fā)展，引領(lǐng)編輯模型從“模仿”走向“理解”，最終實現(xiàn)真正智能、富有創(chuàng)造力的視覺交互。

論文鏈接：https://arxiv.org/pdf/2504.02826GitHub鏈接：https://github.com/PhoenixZ810/RISEBench