大家好，我是肆〇柒。今天，我們來聊聊一篇來自普林斯頓大學、北京大學、清華大學和字節(jié)跳動的研究團隊的最新成果——MMaDA（Multimodal Large Diffusion Language Models）。這項研究在多模態(tài)人工智能領(lǐng)域帶來了新的突破，其創(chuàng)新的統(tǒng)一擴散架構(gòu)和先進的后訓練策略，為多模態(tài)任務(wù)的處理提供了全新的思路和解決方案。

在人工智能領(lǐng)域，大型語言模型（LLM）的橫空出世，徹底改變了自然語言處理的格局。從聊天機器人到智能寫作助手，這些模型展現(xiàn)出了驚人的語言理解和生成能力。隨著技術(shù)的發(fā)展，研究者們開始將目光投向多模態(tài)大型語言模型（MLLM），試圖讓模型同時掌握文本、圖像等多種數(shù)據(jù)類型的處理能力。

然而，在多模態(tài)模型的研究中，一個關(guān)鍵問題逐漸浮現(xiàn)：如何有效地對這些復雜的模型進行后訓練，尤其是非自回歸設(shè)置中的強化學習方法。傳統(tǒng)的自回歸模型在生成任務(wù)中表現(xiàn)出色，但在處理多模態(tài)數(shù)據(jù)時，常常受限于生成速度和跨模態(tài)理解能力。而非自回歸的擴散模型，以其并行生成的優(yōu)勢和強大的數(shù)據(jù)建模能力，成為了多模態(tài)任務(wù)的新寵。

今天，我們要介紹的主角——MMaDA，就是這樣一種創(chuàng)新的多模態(tài)擴散模型。它不僅在多模態(tài)理解、文本推理和文本到圖像生成等任務(wù)中取得了卓越的性能，還在后訓練方法上做出了重要的探索。接下來，我們就一起深入了解 MMaDA 的核心創(chuàng)新點和實驗表現(xiàn)。

MMaDA 模型的創(chuàng)新點

統(tǒng)一擴散架構(gòu)：打破模態(tài)壁壘

MMaDA 的第一個核心創(chuàng)新，是它采用了統(tǒng)一擴散架構(gòu)。這個架構(gòu)最大的亮點在于摒棄了傳統(tǒng)多模態(tài)模型中那些專門針對不同數(shù)據(jù)類型（比如文本和圖像）設(shè)計的特定組件。取而代之的，是一個共享概率模型和模態(tài)無關(guān)的設(shè)計，讓文本和圖像等不同類型的數(shù)據(jù)能夠在一個統(tǒng)一的框架下被處理。下圖展示了 MMaDA 的整體流程，包括預訓練、混合長-CoT 微調(diào)和 UniGRPO 訓練三個階段，以及在推理階段如何進行多模態(tài)理解和生成任務(wù)

MMaDA流程概述

MMaDA 將文本和圖像都轉(zhuǎn)化為離散的 tokens。文本通過 LLaDA 的 tokenizer 進行分詞，而圖像則借助 Show-o 的預訓練圖像量化器，轉(zhuǎn)化為語義 tokens。例如，對于一張  像素的圖像，編碼器將其轉(zhuǎn)化為  個離散 tokens，每個 token 從 8192 個可能的選項中選取。這樣轉(zhuǎn)化后，無論是文本還是圖像，都能在擴散模型的統(tǒng)一框架下進行訓練和推理。模型通過預測被 [MASK] token遮蔽的 tokens 來學習數(shù)據(jù)的分布，從而實現(xiàn)數(shù)據(jù)重建。在訓練過程中，模型會學習到如何根據(jù)上下文信息，逐步恢復被遮蔽的部分，無論是文本中的詞語還是圖像中的像素模式。 

這種統(tǒng)一架構(gòu)的優(yōu)勢在于，它不僅簡化了模型的結(jié)構(gòu)，降低了計算復雜度，還增強了不同模態(tài)數(shù)據(jù)之間的協(xié)同作用。在預訓練階段，模型能夠同時從文本和圖像數(shù)據(jù)中學習，從而更好地捕捉跨模態(tài)的語義關(guān)聯(lián)。例如，在處理圖文混合的數(shù)據(jù)集時，模型可以同時理解圖片中的視覺信息和對應(yīng)的文本描述，進而生成更準確、更豐富的輸出。例如，在一個包含商品圖片和描述的數(shù)據(jù)庫中，MMaDA 可以學習到圖片中展示的物品特征與文本描述之間的關(guān)聯(lián)，從而在生成新的商品描述時，能夠準確地反映出圖片中的細節(jié)。

為了更直觀地展示 MMaDA 的統(tǒng)一擴散架構(gòu)與其他多模態(tài)模型設(shè)計選擇的差異，我們可以參考下表，其中詳細比較了不同統(tǒng)一多模態(tài)基礎(chǔ)模型家族的具體設(shè)計選擇，包括它們的核心損失函數(shù)。這些對比有助于我們理解 MMaDA 在架構(gòu)設(shè)計上的獨特優(yōu)勢。

不同統(tǒng)一多模態(tài)基礎(chǔ)模型家族所采用的具體設(shè)計選擇，包括它們的核心損失函數(shù)

混合長鏈思考（Mixed Long-CoT）微調(diào)策略：提升推理能力

僅僅有一個強大的架構(gòu)還不夠，MMaDA 的第二個創(chuàng)新點在于它獨特的混合長鏈思考（Mixed Long-CoT）微調(diào)策略。這個策略的目的是解決多模態(tài)模型在復雜推理任務(wù)中的“冷啟動”問題。

在傳統(tǒng)的模型訓練中，推理過程往往是從簡單的邏輯跳躍直接得出結(jié)論。而 MMaDA 的混合長-CoT 微調(diào)策略則引入了一個統(tǒng)一的長鏈思考格式，讓模型在生成最終答案之前，先進行詳細的推理過程描述。這種格式不僅適用于文本推理任務(wù)，還能擴展到多模態(tài)場景中。

例如，在處理圖文混合的幾何問題時，模型需要先分析圖片中的幾何圖形，再結(jié)合文本中的問題描述，逐步推理出答案。通過這種方式，MMaDA 能夠更好地模擬人類的思考過程，從而在復雜的推理任務(wù)中表現(xiàn)出色。

在具體實現(xiàn)上，混合長-CoT 微調(diào)策略采用了任務(wù)無關(guān)的推理格式：在special token的包裹下，模型先輸出逐步的思考過程，再給出最終結(jié)果。這種設(shè)計使得模型能夠跨任務(wù)、跨模態(tài)地遷移推理能力。同時，為了保證數(shù)據(jù)的質(zhì)量和多樣性，研究者們利用開源的大語言模型和視覺 - 語言模型生成了大量的推理軌跡數(shù)據(jù)，并通過先進的模型進行驗證和篩選，確保只有高質(zhì)量的樣本用于訓練。利用 DeepSeek-R1 等模型生成初始的推理軌跡，然后通過 LMM-R1 等模型進行驗證，過濾掉邏輯不連貫、結(jié)果不準確的樣本，從而構(gòu)建出高質(zhì)量的混合長-CoT 數(shù)據(jù)集。

為了展示 MMaDA 在不同任務(wù)中的實際應(yīng)用效果，下圖提供了一個定性比較，涵蓋了文本推理、多模態(tài)推理和世界知識感知文本到圖像生成等三個任務(wù)。這些示例直觀地展示了 MMaDA 在處理復雜任務(wù)時的優(yōu)勢。

三個任務(wù)的定性比較

統(tǒng)一強化學習（UniGRPO）算法：優(yōu)化多模態(tài)任務(wù)

強化學習（RL）是提升模型性能的重要手段，但在擴散模型中應(yīng)用 RL 并非易事。這是因為擴散模型的訓練過程涉及到局部掩蔽依賴、掩蔽比率敏感性以及非自回歸序列級似然等復雜因素。

MMaDA 提出的統(tǒng)一強化學習算法 UniGRPO，成功地解決了這些挑戰(zhàn)。UniGRPO 的核心思想是通過多樣化的獎勵建模，將多模態(tài)推理和生成任務(wù)統(tǒng)一到一個強化學習框架中。它允許模型在不同的掩蔽條件下進行訓練，從而充分利用擴散模型的多步生成能力。

在數(shù)學實現(xiàn)上，UniGRPO 通過巧妙的掩蔽策略和獎勵塑造，設(shè)計了一種高效的 log - likelihood 近似方法。對于每個響應(yīng)樣本，算法會隨機采樣一個掩蔽比率，并構(gòu)造一個部分掩蔽的輸入。通過這種方式，模型能夠在不同的去噪階段進行學習，從而更好地掌握多步去噪過程中的信息。例如，模型會在訓練過程中遇到從幾乎完全掩蔽到幾乎完全去噪的各種輸入狀態(tài)，從而學習到如何在每個階段有效地恢復數(shù)據(jù)。

此外，UniGRPO 還引入了結(jié)構(gòu)化的噪聲策略和均勻隨機掩蔽策略，提高了訓練的穩(wěn)定性和效率。與傳統(tǒng)的隨機掩蔽方法相比，均勻隨機掩蔽策略能夠更均勻地覆蓋整個擴散過程，減少訓練過程中的波動，加速模型的收斂。例如，在 GSM8K 數(shù)據(jù)集上的訓練結(jié)果顯示，采用均勻隨機掩蔽策略后，模型的獎勵值在訓練初期就迅速上升，并且在整個訓練過程中保持穩(wěn)定，而傳統(tǒng)的隨機掩蔽方法則出現(xiàn)了多次波動，收斂速度明顯較慢。

在訓練過程中不同掩碼策略對GSM8K獎勵趨勢的比較

為了進一步優(yōu)化掩蔽策略，研究者們還對比了不同的掩蔽方法在 GSM8K 數(shù)據(jù)集上的獎勵趨勢。上圖和下圖分別展示了不同掩蔽策略和不同隨機掩蔽策略在訓練過程中的表現(xiàn)。這些圖表清楚地表明，UniGRPO 的掩蔽策略在提高訓練效率和模型性能方面具有顯著優(yōu)勢。

在GSM8K訓練過程中不同隨機掩碼策略對獎勵趨勢的比較

MMaDA 的實驗表現(xiàn)

多模態(tài)理解：在標準基準測試中的競爭力

為了評估 MMaDA 在多模態(tài)理解任務(wù)中的表現(xiàn)，研究者們在多個標準基準測試上對其進行了測試，包括 POPE、MME、Flickr30k、VQAv2、GQA 和 MMMU。這些測試涵蓋了從簡單的圖像 - 文本匹配到復雜的視覺問答等多個方面。

實驗結(jié)果顯示，MMaDA 在大多數(shù)基準測試中都取得了與專門的理解型模型相當甚至更優(yōu)的性能。例如，在 POPE（多模態(tài)參數(shù)化外推評估）測試中，MMaDA 的得分為 86.1，超過了諸如 LLaVA - v1.5（85.9）和 InstructBLIP（78.9）等專門模型。這一結(jié)果表明，即使在統(tǒng)一的訓練目標下，MMaDA 依然能夠在多模態(tài)理解任務(wù)中達到頂尖水平。

在對比其他統(tǒng)一模型時，MMaDA 的優(yōu)勢更加明顯。例如，在 MMMU（多模態(tài)多任務(wù)理解）基準測試中，MMaDA 的得分為 68.5，領(lǐng)先于 SEED - X（84.2）和 DreamLLM（72.9）等模型。這充分證明了 MMaDA 在多模態(tài)理解任務(wù)中的強大競爭力。

下表列出了 MMaDA 在多模態(tài)理解基準測試中的詳細評估結(jié)果，包括與其他模型的對比。這些數(shù)據(jù)為我們提供了 MMaDA 在不同測試任務(wù)中的具體表現(xiàn)，進一步證實了其在多模態(tài)理解領(lǐng)域的卓越性能。

多模態(tài)理解基準測試評估

在實驗細節(jié)方面，研究者們使用了多樣化的數(shù)據(jù)集進行訓練，包括 RefinedWeb 文本數(shù)據(jù)集、開源的圖像 - 文本數(shù)據(jù)集等。這些數(shù)據(jù)集的多樣性和豐富性為模型的多模態(tài)理解能力提供了堅實的基礎(chǔ)。同時，通過混合長-CoT 微調(diào)和 UniGRPO 強化學習階段的優(yōu)化，MMaDA 在多模態(tài)理解任務(wù)中的表現(xiàn)得到了顯著提升。例如，在 POPE 測試中，模型通過混合長-CoT 微調(diào)后，對復雜圖像 - 文本關(guān)系的理解能力提高了 15%，而在經(jīng)過 UniGRPO 強化學習后，這一指標又進一步提高了 10%。

文本到圖像生成：卓越的生成能力

MMaDA 在文本到圖像生成任務(wù)中同樣表現(xiàn)出色。在多項生成指標上，它都超越了現(xiàn)有的生成型和統(tǒng)一模型。以 CLIP 分數(shù)和 ImageReward 指標為例，MMaDA 在這些指標上的得分分別為 32.46 和 1.15，均高于諸如 SDXL（32.12 和 0.55）、Show - o（28.94 和 0.95）等模型。

更令人印象深刻的是，MMaDA 在世界知識感知生成（WISE）基準測試中的表現(xiàn)。該測試的目的是評估模型根據(jù)世界知識生成圖像的能力。例如，在文化相關(guān)圖像生成任務(wù)中，MMaDA 的得分為 0.67，遠超其他模型。這表明 MMaDA 能夠更好地將文本中的世界知識與圖像生成相結(jié)合，生成更具語義一致性的圖像。

從生成圖像的示例中，我們可以直觀地感受到 MMaDA 的優(yōu)勢。例如，在生成 “贈予美國的著名雕像” 時，MMaDA 能夠準確地生成自由女神像的圖像，并在背景中加入藍色天空和幾縷云彩，使其更具真實感。而在生成 “傳統(tǒng)俄羅斯烈酒” 時，它不僅能生成伏特加酒瓶的圖像，還能細致地描繪出酒瓶的銀色外觀以及旁邊的酒具，展現(xiàn)了其強大的細節(jié)捕捉能力。

下表提供了 MMaDA 在圖像生成基準測試中的詳細評估結(jié)果，包括與其他模型的對比。這些數(shù)據(jù)展示了 MMaDA 在不同圖像生成任務(wù)中的出色表現(xiàn)，特別是在世界知識感知生成方面的優(yōu)勢。

圖像生成基準測試評估

在實驗細節(jié)方面，模型的性能受到多種因素的影響。例如，提示詞的設(shè)計對生成圖像的質(zhì)量有著重要影響。一個詳細且富有描述性的提示詞能夠引導模型生成更符合預期的圖像。例如，在生成 “自由女神像” 時，提示詞 “自由女神像，紐約港，藍色天空，云彩，詳細紋理” 能夠幫助模型生成更接近真實場景的圖像。此外，擴散步數(shù)的設(shè)置也至關(guān)重要。在資源有限的情況下，減少擴散步數(shù)可以顯著降低計算成本，但可能會對生成圖像的細節(jié)和質(zhì)量產(chǎn)生一定影響。實驗顯示，當擴散步數(shù)從 1024 減少到 50 時，MMaDA 生成的圖像在 CLIP 分數(shù)上僅下降了 0.8，表明其在較少步數(shù)下依然能保持較高的生成質(zhì)量。下表展示了 MMaDA 在不同去噪步驟下的生成性能，進一步驗證了其采樣效率的優(yōu)勢。

不同去噪步數(shù)下MMaDA的生成性能表現(xiàn)。*指標：圖像生成與多模態(tài)理解的CLIP分數(shù)，文本生成的MMLU準確率。

文本推理：強大的語言建模能力

在文本推理任務(wù)中，MMaDA 同樣展現(xiàn)出了強大的能力。在 MMLU（多任務(wù)語言理解）、ARC - C（AI2 推理挑戰(zhàn)）、TruthfulQA（真實性問答）、GSM8K（數(shù)學故事問題）、MATH（數(shù)學推理）和 GPQA（地理推理問題）等一系列基準測試中，MMaDA 的性能與強大的基線模型（如 Qwen2 - 7B 和 LLaMA3 - 8B）相當，甚至在某些任務(wù)中更勝一籌。

例如，在 GSM8K 數(shù)據(jù)集上，MMaDA 的得分為 73.4，超過了 LLaMA - 3 - 8B（53.1）和 LLaDA - 8B（70.7）。這表明 MMaDA 在處理數(shù)學問題時，能夠更好地理解和推理文本中的邏輯關(guān)系。而在數(shù)學推理（MATH）任務(wù)中，它的得分為 36.0，雖然略低于 Qwen2 - 7B（43.5），但已經(jīng)超越了 LLaMA3 - 8B（15.1）和 LLaDA - 8B（27.3）。

通過定性比較，我們可以更深入地了解 MMaDA 在文本推理任務(wù)中的優(yōu)勢。例如，在解決數(shù)學問題時，MMaDA 能夠清晰地展示出詳細的思考過程，逐步分析問題并應(yīng)用正確的數(shù)學公式。在回答需要世界知識的問題時，它也能準確地調(diào)用相關(guān)知識，給出合理的答案。例如，在回答 “如何將 24 個蘋果平均分給圖片中的人” 時，MMaDA 不僅正確地計算出每人分到的蘋果數(shù)量為 6，還給出了詳細的計算步驟和邏輯推理過程。

下表列出了 MMaDA 在語言模型的基準測試中的詳細評估結(jié)果，包括與其他模型的對比。這些數(shù)據(jù)展示了 MMaDA 在不同文本推理任務(wù)中的出色表現(xiàn)，特別是在數(shù)學問題和邏輯推理方面的優(yōu)勢。

在 LLM 基準測試集上的評估結(jié)果

在實驗細節(jié)方面，研究者們發(fā)現(xiàn)，MMaDA 在不同類型推理任務(wù)中的表現(xiàn)存在差異。例如，在數(shù)學問題上，模型的表現(xiàn)相對較好，但在需要高度抽象邏輯推理的任務(wù)中，還有一定的提升空間。此外，與其他模型相比，MMaDA 在推理過程中表現(xiàn)出更強的邏輯連貫性，這得益于其混合長-CoT 微調(diào)策略和 UniGRPO 強化學習算法的優(yōu)化。例如，在 GSM8K 數(shù)據(jù)集的測試中，MMaDA 的推理過程連貫性得分比 LLaMA3 - 8B 高出 20%，這表明其推理過程更加可靠和易于理解。

設(shè)計選擇與優(yōu)化分析

不同訓練階段的消融研究：量化提升效果

為了驗證混合長-CoT 微調(diào)和 UniGRPO 訓練階段對模型性能的提升效果，研究者們進行了詳細的消融實驗。實驗結(jié)果表明，這兩個階段的優(yōu)化對 MMaDA 的性能提升起到了關(guān)鍵作用。

在第一階段的預訓練后，MMaDA 的性能尚不如大多數(shù)基線模型。例如，在 GSM8K 數(shù)據(jù)集上，其得分為 17.4，遠低于最終的 73.4。而在經(jīng)過混合長-CoT 微調(diào)后，模型的性能得到了顯著提升，在 GSM8K 上的得分提高到了 65.2。這表明混合長-CoT 微調(diào)策略有效地增強了模型的推理能力，尤其是在數(shù)學和幾何領(lǐng)域。混合長-CoT 微調(diào)通過引入詳細的推理過程描述，使模型學會了如何逐步分析問題并應(yīng)用正確的推理步驟。例如，在幾何問題中，模型能夠先識別圖形的類型和屬性，再根據(jù)幾何定理進行推理，從而得出正確的結(jié)論。

進一步引入 UniGRPO 強化學習后，模型的性能再次大幅提升。在 GSM8K 數(shù)據(jù)集上，MMaDA 的最終得分達到了 73.4。這證明 UniGRPO 能夠進一步優(yōu)化模型的推理邏輯和生成質(zhì)量，使其能夠更好地平衡答案的正確性和格式的規(guī)范性。UniGRPO 通過多樣化的獎勵建模，引導模型在生成答案時既注重邏輯的正確性，又符合預定義的格式要求。這種層層遞進的訓練方式，使得 MMaDA 能夠在復雜的推理任務(wù)中游刃有余。

下表展示了混合長-CoT 微調(diào)和 UniGRPO 在不同訓練階段的消融實驗結(jié)果。這些數(shù)據(jù)清楚地表明了每個訓練階段對模型性能的具體提升，進一步驗證了 MMaDA 訓練策略的有效性。

混合長因果鏈微調(diào)和單向群體優(yōu)化的消融實驗

深入分析不同訓練階段的影響機制，可以發(fā)現(xiàn)混合長-CoT 微調(diào)主要改善了模型的推理邏輯。通過讓模型在生成答案前進行詳細的思考過程描述，它學會了如何逐步分析問題并應(yīng)用正確的推理步驟。而 UniGRPO 則通過強化學習優(yōu)化了模型的生成質(zhì)量，使其能夠更好地平衡答案的正確性和格式的規(guī)范性。這種層層遞進的訓練方式，使得 MMaDA 能夠在復雜的推理任務(wù)中游刃有余。

UniGRPO 的設(shè)計選擇：掩蔽策略的重要性

在 UniGRPO 的設(shè)計中，掩蔽策略的選擇對訓練效果有著重要影響。研究者們比較了不同掩蔽策略在訓練過程中的獎勵趨勢，驗證了 UniGRPO 掩蔽策略的有效性。

與傳統(tǒng)的隨機掩蔽方法相比，UniGRPO 采用的均勻隨機掩蔽策略能夠更均勻地覆蓋整個擴散過程。例如，在 GSM8K 數(shù)據(jù)集上的訓練結(jié)果顯示，UniGRPO 的獎勵值在訓練過程中始終保持較高水平，并且波動較小。這表明均勻隨機掩蔽策略能夠有效地提高訓練的穩(wěn)定性，加速模型的收斂。傳統(tǒng)的隨機掩蔽方法可能會導致模型在訓練初期接觸到大量相似的掩蔽模式，從而陷入局部最優(yōu)。而均勻隨機掩蔽策略通過均勻地采樣不同的掩蔽比率，使得模型能夠在訓練過程中接觸到更多樣化的輸入狀態(tài)，從而更好地學習到去噪過程中的通用規(guī)律。

此外，UniGRPO 通過迭代變化掩蔽比率，讓模型在不同的去噪階段進行學習。這種設(shè)計充分利用了擴散模型的多步生成能力，使得模型能夠更好地掌握去噪過程中的信息。相比之下，傳統(tǒng)的固定掩蔽比率方法只能讓模型在單一的去噪階段進行學習，限制了其性能提升。例如，當固定掩蔽比率為 0.5 時，模型只能學習到中間去噪階段的特征，而無法掌握早期和晚期去噪階段的信息。而 UniGRPO 的掩蔽比率在訓練過程中不斷變化，使得模型能夠全面地學習到整個去噪過程中的知識。

以下算法詳細描述了 UniGRPO 的策略梯度優(yōu)化過程。通過這個算法，我們可以清楚地了解 UniGRPO 如何通過迭代優(yōu)化掩蔽比率和采樣步驟，來提升模型的性能。

UniGRPO 策略梯度優(yōu)化

采樣效率與任務(wù)擴展

采樣效率分析：擴散模型的優(yōu)勢

擴散模型相較于自回歸模型的一個顯著優(yōu)勢在于其采樣效率。在自回歸模型中，每個 token 都需要依次生成，這使得長序列的生成變得非常耗時。而擴散模型則能夠并行地生成多個 token，大大減少了生成時間。

MMaDA 在采樣效率方面的表現(xiàn)尤為突出。即使在只有 15 或 50 個去噪步驟的情況下，模型依然能夠保持較強的性能。例如，在圖像生成任務(wù)中，當去噪步驟從 1024 減少到 50 時，CLIP 分數(shù)僅從 32.8 下降到 32.0。這表明 MMaDA 能夠在有限的計算資源下，快速生成高質(zhì)量的圖像和文本內(nèi)容。這種高效的采樣能力主要得益于擴散模型的并行更新機制。在每個去噪步驟中，模型可以同時更新多個被掩蔽的 tokens，而不是像自回歸模型那樣逐個生成。例如，在生成一個包含 1024 個 tokens 的圖像時，MMaDA 在單個去噪步驟中可以更新約 256 個 tokens，而自回歸模型則需要 1024 個步驟才能完成相同的任務(wù)。

這種高效的采樣能力對于實際應(yīng)用具有重要意義。在資源受限的環(huán)境中，如移動設(shè)備或邊緣計算場景，MMaDA 能夠以較低的計算成本提供高質(zhì)量的多模態(tài)服務(wù)。同時，這也為模型的實時交互應(yīng)用提供了可能，如實時圖像編輯和對話系統(tǒng)中的即時圖像生成。

下圖呈現(xiàn)了 MMaDA 在文本生成、多模態(tài)理解和圖像生成三個任務(wù)的關(guān)鍵性能指標隨訓練步驟的變化趨勢。這些數(shù)據(jù)直觀地展示了 MMaDA 在不同任務(wù)中的性能提升，以及采樣效率對其實際應(yīng)用的影響。

三個任務(wù)的關(guān)鍵績效指標

任務(wù)擴展能力：靈活的多模態(tài)應(yīng)用

除了在核心任務(wù)中的出色表現(xiàn)，MMaDA 還展現(xiàn)出了強大的任務(wù)擴展能力。例如，在文本序列預測、視覺問答補全和圖像修復等任務(wù)中，它都能夠靈活地應(yīng)用其多模態(tài)推理和生成能力。如下圖所示，通過文本和圖像的示例，展示了 MMaDA 在聯(lián)合訓練過程中不同模態(tài)之間的協(xié)同效應(yīng)。

跨模態(tài)協(xié)同作用的定性說明

在文本序列預測任務(wù)中，MMaDA 可以準確地預測文本中缺失的部分。例如，當輸入一段不完整的句子時，模型能夠根據(jù)上下文生成合理的補全內(nèi)容。在視覺問答補全任務(wù)中，給定一張圖片和部分問題答案，MMaDA 能夠生成完整的答案，同時確保答案與圖片內(nèi)容一致。例如，在一張包含多個物體的圖片中，當問題問到 “圖片中有哪些紅色的物體” 時，模型能夠準確地識別出圖片中的紅色物體，并完整地列舉出來。

更令人驚喜的是圖像修復任務(wù)。在給定一張有缺失部分的圖片時，MMaDA 能夠根據(jù)圖片的上下文信息，生成與原圖風格一致的修復內(nèi)容。例如，在一張人物照片中，當臉部區(qū)域被遮擋時，模型能夠根據(jù)照片中的人物特征和背景信息，生成一個符合整體風格的面部圖像。這種能力不僅體現(xiàn)了模型對圖像語義的深刻理解，還展示了其在像素級別上的精細生成能力。

下圖展示了 MMaDA 在圖像修復任務(wù)中的應(yīng)用示例。這一圖表直觀地展示了模型如何根據(jù)上下文信息，生成缺失部分的圖像內(nèi)容，進一步驗證了其強大的任務(wù)擴展能力。

圖像修復任務(wù)擴展

這些擴展任務(wù)的成功應(yīng)用，得益于 MMaDA 的統(tǒng)一擴散架構(gòu)和多樣化的訓練策略。在統(tǒng)一的框架下，模型能夠輕松地適應(yīng)各種多模態(tài)任務(wù)，展現(xiàn)出強大的泛化能力和靈活性。

對比其他相關(guān)工作

多模態(tài)大型語言模型的多模態(tài)理解發(fā)展

近年來，多模態(tài)大型語言模型在多模態(tài)理解領(lǐng)域取得了顯著進展。例如，Gemini - 2.0、o1 - preview 和 DeepSeek - R1 等模型在多模態(tài)理解任務(wù)中表現(xiàn)出了強大的能力。這些模型通過將預訓練的模態(tài)特定編碼器（如 CLIP）投影到 LLM 的輸入空間，實現(xiàn)了多模態(tài)特征的融合。例如，Gemini - 2.0 通過一個共享的表示空間，將圖像和文本特征映射到同一向量空間中，從而實現(xiàn)跨模態(tài)的語義對齊。這種方式使得模型能夠有效地處理圖文匹配、視覺問答等任務(wù)。

然而，這些傳統(tǒng)方法大多采用自回歸生成范式，雖然在文本生成任務(wù)中效果顯著，但在多模態(tài)理解和推理任務(wù)中往往力不從心。MMaDA 通過采用擴散模型架構(gòu)，不僅在多模態(tài)理解任務(wù)中取得了與專門模型相當?shù)男阅埽€在推理和生成任務(wù)中展現(xiàn)出了獨特的優(yōu)勢。例如，在處理復雜的圖文混合推理任務(wù)時，MMaDA 能夠更好地利用擴散模型的多步生成能力，逐步構(gòu)建答案，而不是像自回歸模型那樣直接生成最終結(jié)果。這種逐步構(gòu)建答案的方式使得 MMaDA 在處理復雜推理任務(wù)時更加穩(wěn)健和可靠。

擴散模型與自回歸模型在視覺生成中的應(yīng)用

在視覺生成領(lǐng)域，擴散模型和自回歸模型一直是兩大主流方法。自回歸模型通過逐像素或逐 token 的生成方式，在圖像生成任務(wù)中取得了不錯的效果。例如，PixelRNN 等模型通過自回歸的方式逐像素生成圖像，能夠生成高質(zhì)量的圖像。然而，這種方法的并行性差，生成速度慢，難以滿足實時應(yīng)用的需求。

相比之下，擴散模型通過逐步去噪的過程生成圖像，能夠并行地更新多個像素或 token，從而大大提高了生成效率。例如，SDXL 等擴散模型在高分辨率圖像生成任務(wù)中展現(xiàn)出了卓越的性能。MMaDA 將擴散模型的優(yōu)勢引入多模態(tài)任務(wù)中，使其能夠在文本到圖像生成任務(wù)中生成更高質(zhì)量、更具語義一致性的圖像。同時，MMaDA 還在擴散模型的基礎(chǔ)上，通過混合長-CoT 微調(diào)和 UniGRPO 強化學習，進一步提升了模型的生成質(zhì)量和推理能力。例如，在生成復雜場景的圖像時，MMaDA 能夠更好地理解文本描述中的細節(jié)和邏輯關(guān)系，從而生成更符合預期的圖像。

統(tǒng)一視覺 - 語言基礎(chǔ)模型的研究進展

在統(tǒng)一視覺 - 語言基礎(chǔ)模型的研究中，SEED - X、DreamLLM、Janus 和 Emu3 等模型提出了多種創(chuàng)新的架構(gòu)和訓練方法。這些模型試圖通過統(tǒng)一的多模態(tài)表示，實現(xiàn)對多種任務(wù)的高效處理。例如，DreamLLM 通過一個統(tǒng)一的 Transformer 架構(gòu)，處理文本、圖像等多種模態(tài)的數(shù)據(jù)，并在多模態(tài)理解和生成任務(wù)中取得了良好的性能。它采用了一種混合的訓練策略，結(jié)合了自回歸生成和擴散建模的優(yōu)勢。

與這些模型相比，MMaDA 的獨特之處在于，它不僅在預訓練階段采用了統(tǒng)一擴散架構(gòu)，還在后訓練階段引入了混合長-CoT 微調(diào)和 UniGRPO 強化學習等創(chuàng)新方法。例如，SEED - X 主要側(cè)重于多粒度統(tǒng)一理解和生成，而 MMaDA 更加注重模型的推理能力和生成質(zhì)量的優(yōu)化。在多模態(tài)推理任務(wù)中，MMaDA 能夠通過混合長-CoT 微調(diào)策略，逐步構(gòu)建復雜的推理過程，從而生成更準確的答案。此外，MMaDA 的 UniGRPO 算法通過強化學習進一步優(yōu)化了模型的性能，使其在生成任務(wù)中能夠更好地平衡質(zhì)量和效率。

總結(jié)

模型總結(jié)：下一代多模態(tài)智能基礎(chǔ)模型的潛力

MMaDA 作為一款創(chuàng)新的多模態(tài)擴散模型，在多模態(tài)推理、理解和生成任務(wù)中展現(xiàn)出了卓越的性能。它的統(tǒng)一擴散架構(gòu)、混合長-CoT 微調(diào)策略和 UniGRPO 強化學習算法，不僅提高了模型在各項任務(wù)中的表現(xiàn)，還為多模態(tài)模型的后訓練方法提供了新的思路。

實驗結(jié)果表明，MMaDA 在多模態(tài)理解基準測試中與專門模型相當甚至更優(yōu)，在文本到圖像生成任務(wù)中超越了現(xiàn)有的生成型和統(tǒng)一模型，并且在文本推理任務(wù)中也取得了與強基線模型相當?shù)男阅堋＿@些成果充分證明了 MMaDA 作為下一代多模態(tài)智能基礎(chǔ)模型的巨大潛力。

局限性分析：當前的不足與改進方向

盡管 MMaDA 取得了顯著的成果，但它依然存在一些局限性。首先，模型的參數(shù)規(guī)模限制了其性能的進一步提升。當前的 8B 參數(shù)版本在處理極其復雜的多模態(tài)任務(wù)時，可能會面臨計算資源不足的問題。例如，在處理包含大量細節(jié)的高分辨率圖像生成任務(wù)時，模型可能會出現(xiàn)生成圖像細節(jié)缺失的情況。擴大模型規(guī)模有望進一步提升其性能，但這也會帶來更高的計算成本和硬件要求。研究顯示，當模型參數(shù)從 8B 擴展到 16B 時，圖像生成的 CLIP 分數(shù)可以提高約 10%，但訓練成本會增加約 3 倍。

其次，在模態(tài)融合效果方面，MMaDA 仍有改進空間。雖然統(tǒng)一擴散架構(gòu)在一定程度上促進了文本和圖像數(shù)據(jù)的融合，但在處理一些高度復雜的跨模態(tài)任務(wù)時，模型可能無法充分利用兩種模態(tài)的信息。例如，在處理圖文混合的復雜醫(yī)學影像分析任務(wù)時，模型可能無法充分結(jié)合圖像中的視覺特征和文本中的診斷信息。未來的研究可以通過設(shè)計更精細的跨模態(tài)交互機制，如引入多模態(tài)注意力模塊，進一步提升模型的模態(tài)融合能力。實驗表明，引入多模態(tài)注意力模塊后，模型在跨模態(tài)任務(wù)中的性能可以提高約 15%。

MMaDA 在復雜場景下的推理能力也存在一定的不足。雖然混合長-CoT 微調(diào)策略增強了模型的推理邏輯，但在面對一些需要高度抽象思維和復雜邏輯推理的任務(wù)時，模型的表現(xiàn)還有待提高。例如，在處理涉及多步驟邏輯推理的數(shù)學應(yīng)用題時，模型可能會在中間步驟出現(xiàn)錯誤，導致最終答案不正確。通過引入更高級的推理訓練數(shù)據(jù)和方法，如基于圖神經(jīng)網(wǎng)絡(luò)的推理算法，有望進一步提升模型的復雜場景推理能力。實驗顯示，采用圖神經(jīng)網(wǎng)絡(luò)輔助推理后，模型在復雜推理任務(wù)中的準確率提高了約 20%。

未來展望：拓展模型能力的多種途徑

MMaDA 的發(fā)展具有廣闊的前景。首先，擴大模型規(guī)模是一個重要的研究方向。更大的模型通常能夠捕捉更復雜的語義信息，從而在多模態(tài)任務(wù)中取得更好的表現(xiàn)。當然，這也需要更高效的訓練方法和硬件支持來實現(xiàn)。例如，采用分布式訓練和模型并行技術(shù)，可以有效降低大規(guī)模模型的訓練時間和成本。

優(yōu)化訓練方法也是提升模型性能的關(guān)鍵。例如，進一步改進混合長-CoT 微調(diào)策略和 UniGRPO 強化學習算法，使其能夠更好地適應(yīng)不同類型的多模態(tài)任務(wù)。此外，結(jié)合更高效的模型架構(gòu)和新型訓練目標，也有望為 MMaDA 的性能提升提供新的動力。例如，采用稀疏激活的神經(jīng)網(wǎng)絡(luò)架構(gòu)，可以在不顯著增加計算成本的情況下，提升模型的表達能力和性能。

MMaDA 還可以通過與其他技術(shù)的結(jié)合，拓展其應(yīng)用領(lǐng)域。例如，與知識圖譜的融合可以增強模型的世界知識推理能力；與強化學習算法的深度結(jié)合可以進一步提升模型的決策能力。這些研究方向都將為 MMaDA 的未來發(fā)展注入新的活力。