最近Google的Gemini Flash和OpenAI的GPT-4o等先進(jìn)模型又一次推動了AI浪潮。這些模型通過整合文本、圖像、音頻等多種數(shù)據(jù)形式，實(shí)現(xiàn)了更為自然和高效的生成和交互。

北京大學(xué)團(tuán)隊(duì)繼VARGPT實(shí)現(xiàn)視覺理解與生成任務(wù)統(tǒng)一之后，再度推出了VARGPT-v1.1版本。

該版本進(jìn)一步提升了視覺自回歸模型的能力，不僅在在視覺理解方面有所加強(qiáng)，還在圖像生成和編輯任務(wù)中達(dá)到新的性能高度

目前訓(xùn)練、推理和評估代碼，數(shù)據(jù)，模型均已開源。

圖片

VARGPT-v1.1延續(xù)了前作的設(shè)計(jì)理念，采用了創(chuàng)新的“next-token”與“next-scale”自回歸預(yù)測機(jī)制，同時引入四大關(guān)鍵創(chuàng)新點(diǎn)：

1. 迭代視覺指令微調(diào)與強(qiáng)化學(xué)習(xí)結(jié)合的訓(xùn)練策略： 通過交替進(jìn)行監(jiān)督微調(diào)（SFT）與基于偏好直接優(yōu)化（DPO）的強(qiáng)化學(xué)習(xí)，有效提高了模型的圖像生成質(zhì)量。模型逐步提升圖像生成分辨率，從256×256擴(kuò)展至512×512像素，圖像細(xì)節(jié)與真實(shí)性顯著增強(qiáng)。
2. 更大規(guī)模的視覺生成訓(xùn)練數(shù)據(jù)集： VARGPT-v1.1采用了多達(dá)830萬條視覺生成指令數(shù)據(jù)，包括真實(shí)世界的LAION-COCO數(shù)據(jù)集以及由Midjourney與Flux模型生成的合成數(shù)據(jù)。大規(guī)模數(shù)據(jù)的使用顯著擴(kuò)大了模型對不同類型圖像生成的泛化能力。
3. 升級語言模型主干至Qwen2： 引入最新的Qwen2-7B語言模型主干，利用其高效的注意力機(jī)制與更好的token化策略，有效提升了模型的視覺理解能力。
4. 無架構(gòu)修改的圖像編輯能力： VARGPT-v1.1在不改動模型架構(gòu)的基礎(chǔ)上，通過專門構(gòu)建的圖像編輯數(shù)據(jù)集，實(shí)現(xiàn)了圖像編輯功能。這使得模型不僅可以理解和生成圖像，還能根據(jù)用戶指令對圖像進(jìn)行編輯。

圖片

1.模型架構(gòu)

VARGPT-v1.1 遵循 VARGPT 的模型架構(gòu)設(shè)計(jì)，以統(tǒng)一視覺理解和生成，其架構(gòu)如上圖所示。由（1）一個大語言模型（Qwen2-7B）、視覺編碼器和用于視覺理解的理解投影器；（2）視覺解碼器和用于視覺生成的雙生成投影器組成。VARGPT-v1.1在大語言模型主干中采用因果注意力機(jī)制，同時在視覺解碼器中使用塊因果注意力機(jī)制。

圖片

2.訓(xùn)練策略

圖片

VARGPT-v1.1的訓(xùn)練遵循VARGPT的三階段訓(xùn)練方法，整體訓(xùn)練過程如上圖所示。區(qū)別于VARGPT，在第三階段， VARGPT-v1.1提出了迭代指令微調(diào)和強(qiáng)化學(xué)習(xí)的方法，以增強(qiáng)統(tǒng)一模型的視覺生成能力。具體來說，第三階段的迭代訓(xùn)練過程如下圖所示：

圖片

2.1 視覺指令微調(diào)

視覺生成的指令微調(diào)旨在通過監(jiān)督微調(diào)賦予VARGPT-v1.1視覺生成能力。這個階段，首先解凍視覺解碼器和兩個投影器，并凍結(jié)其他參數(shù)以進(jìn)行有監(jiān)督微調(diào)，如上圖所示。本文采用一種逐步提高圖像分辨率的訓(xùn)練方法來訓(xùn)練VARGPT-v1.1。具體來說，在第一個SFT階段，圖像分辨率設(shè)置為256x256，模型訓(xùn)練40K步，以賦予其生成圖像的初始能力。在第二個SFT階段，圖像分辨率設(shè)置為512x512 ，模型訓(xùn)練30K步，以進(jìn)一步增強(qiáng)其高分辨率視覺生成能力。該視覺指令微調(diào)階段的訓(xùn)練數(shù)據(jù)包括8.3M收集和構(gòu)建的指令對。

圖片

2.2 基于人類反饋的強(qiáng)化學(xué)習(xí)

除了指令微調(diào)外，VARGPT-v1.1提出迭代指令微調(diào)與強(qiáng)化學(xué)習(xí)來訓(xùn)練視覺自回歸的大視覺語言模型。VARGPT-v1.1通過將生成質(zhì)量的提升表述為一個偏好選擇問題,并采用直接偏好優(yōu)化（DPO）來對模型進(jìn)行訓(xùn)練。這種方法激勵模型傾向于生成高質(zhì)量的圖像輸出，同時拒絕質(zhì)量較差的輸出。具體來說，VARGPT-v1.1訓(xùn)練時將傾向于拒絕低質(zhì)量的圖像,接受高質(zhì)量的圖像來優(yōu)化策略模型:

圖片

2.3 視覺編輯的有監(jiān)督微調(diào)

經(jīng)過有監(jiān)督微調(diào)（SFT）和直接偏好優(yōu)化（DPO）的多階段漸進(jìn)式分辨率迭代后，我們系統(tǒng)地構(gòu)建了一個包含來自Style-Booth的11325個樣本的指令調(diào)優(yōu)數(shù)據(jù)集，以使VARGPT-v1.1具備視覺編輯能力。該流程通過視覺編碼器處理目標(biāo)圖像，同時利用編輯指令作為文本提示，來監(jiān)督模型對編輯后圖像分布的逼近。這種方法實(shí)現(xiàn)了：（1）架構(gòu)保留式適配，無需引入的冗余設(shè)計(jì)實(shí)現(xiàn)編輯能力；（2）通過聯(lián)合文本-圖像標(biāo)記預(yù)測實(shí)現(xiàn)統(tǒng)一的多模態(tài)編輯。在該監(jiān)督微調(diào)期間，所有模型參數(shù)均未凍結(jié)，以在保持生成多樣性的同時最大化編輯保真度。

3.實(shí)驗(yàn)與結(jié)果

遵循VARGPT和其他多模態(tài)大語言模型的設(shè)置，本文在一系列面向?qū)W術(shù)任務(wù)的基準(zhǔn)測試和最新的視覺理解基準(zhǔn)測試中，評估了VARGPT-v1.1在視覺理解方面的有效性，總共涉及11個基準(zhǔn)測試：在包括 MMMU、MME、MMBench、SEEDBench 和 POPE （包括不同的設(shè)置，隨機(jī)、流行和對抗）在內(nèi)的多模態(tài)基準(zhǔn)上進(jìn)行零樣本多模態(tài)評估。總體來說，VARGPT-v1.1 實(shí)現(xiàn)了顯著的視覺理解性能，在各種統(tǒng)一模型和各類多模態(tài)大語言模型的對比上均占優(yōu)勢。

圖片

3.1 Zero-shot multi-modal evaluation

對VARGPT-v1.1與各種先進(jìn)的多模態(tài)模型進(jìn)行了全面評估，結(jié)果如下表。實(shí)驗(yàn)結(jié)果表明VARGPT -v1.1在所有基準(zhǔn)測試中表現(xiàn)出色，在MMBench上達(dá)到81.01，在SEED上達(dá)到76.08，在MMMU上達(dá)到48.56，取得了先進(jìn)水平的結(jié)果。此外，在LLaVA - Bench基準(zhǔn)測試上的持續(xù)性能提升驗(yàn)證了我們的架構(gòu)選擇和訓(xùn)練策略的有效性，確立了VARGPT-v1.1作為一個強(qiáng)大且通用的多模態(tài)模型的地位。

圖片

3.2 Performance comparison on visual question answering tasks

本文在多個視覺問答數(shù)據(jù)集上評估了VARGPT - v1.1的性能，并將其與幾種最先進(jìn)的多模態(tài)模型進(jìn)行了比較。結(jié)果見表3。我們的實(shí)驗(yàn)結(jié)果表明VARGPT-v1.1在所有視覺問答（VQA）基準(zhǔn)測試中均取得了卓越的性能，相較于現(xiàn)有模型有顯著提升。

圖片

3.3 Performance comparison on visual question answering tasks.

為了評估VARGPT的視覺生成能力，我們使用廣泛采用的GenEval基準(zhǔn)和DPG - Bench基準(zhǔn)進(jìn)行了全面評估，定量結(jié)果分別見下表。這些數(shù)據(jù)集為文本到圖像的生成能力提供了嚴(yán)格的評估框架。我們的實(shí)驗(yàn)結(jié)果表明，VARGPT-v1.1優(yōu)于許多專門的圖像生成模型，包括基于擴(kuò)散的架構(gòu)（如SDv2.1）和自回歸方法（如LlamaGen）。

圖片

3.4 Performance comparison on the DPG-Bench benchmark.

圖片

3.5 視覺理解的比較

VARGPT-v1.1 展現(xiàn)了更強(qiáng)的理解和解讀視覺內(nèi)容中幽默元素的能力。

圖片

3.6 多模態(tài)圖像文本生成

VARGPT-v1.1生成的一些512 x 512的樣本如下所示。VARGPT-v1.1支持用戶輸入文本和圖像指令，并同時輸出文本和圖像的混合模態(tài)數(shù)據(jù)。此外，與現(xiàn)有的統(tǒng)一模型基線相比，我們的方法在準(zhǔn)確的文本到圖像生成方面取得了顯著改進(jìn)。如下圖所示，我們展示了VARGPT-v1.1生成的代表性圖像輸出和對話交互。定性分析表明，VARGPT-v1.1始終能生成與給定文本指令緊密匹配的高質(zhì)量圖像。

圖片

3.7 圖像編輯能力

視覺編輯結(jié)果可視化如下圖所示，本文對視覺編輯能力進(jìn)行的定性評估表明，VARGPT-v1.1具備基本的圖像操作能力。這種能力僅通過使用視覺編輯指令微調(diào)數(shù)據(jù)進(jìn)行訓(xùn)練即可獲得，無需對架構(gòu)進(jìn)行任何修改。此外，這些觀察結(jié)果證實(shí)了統(tǒng)一模型架構(gòu)在單一框架內(nèi)實(shí)現(xiàn)通用視覺理解、生成和編輯方面具有巨大潛力。

圖片

4.結(jié)論與展望

VARGPT-v1.1通過采用為多模態(tài)大模型設(shè)計(jì)的靈活的訓(xùn)練策略使其具有可擴(kuò)展性，同時為多模態(tài)系統(tǒng)架構(gòu)設(shè)計(jì)開辟了新的技術(shù)途徑。盡管VARGPT-v1.1取得了重大進(jìn)展，但團(tuán)隊(duì)指出目前版本和商用生成模型之間仍存在差距，此外在圖像編輯能力方面也存在局限性。未來，團(tuán)隊(duì)將進(jìn)一步擴(kuò)展訓(xùn)練數(shù)據(jù)規(guī)模，探索新型token化方法，并嘗試更多的強(qiáng)化學(xué)習(xí)策略，進(jìn)一步推動多模態(tài)生成理解統(tǒng)一大模型的發(fā)展。

project: https://vargpt1-1.github.io/
code: https://github.com/VARGPT-family/VARGPT-v1.1
arxiv: https://arxiv.org/abs/2504.02949