比Flux更強大的文生圖模型來了！秘訣是“集百家之長”
打造更強大文生圖模型新思路有——
面對Flux、stable diffusion、Omost等爆火模型，有人開始主打“集各家所長”。
具體來說，清北、牛津、普林斯頓等機構的研究者提出了?個全新文生圖框架IterComp。
它能提取不同模型在各自領域的優勢，同時不引入額外的復雜指令或增加計算開銷。
論文一經發布，即在??（前推特）獲得AI論文領域大V轉發，吸引大量關注。
那么，研究人員具體是如何實現的呢？
全新文生圖框架：IterComp
?2022年以來，基于diffusion的文生圖模型取得了快速發展，尤其在復雜組合生成（complex/compositional generation）任務上取得了顯著進展。
例如，今年8月發布的Flux展現出了十分震撼的復雜場景生成能力與美學質量；
RPG通過MLLM的輔助，將復雜的組合生成任務分解為簡單子任務；
InstanceDiffusion通過布局控制（layoutbased），實現了與布局分布高度一致的精確圖像生成。
然而，這些模型的優勢僅限于某些特定的組合生成任務，且存在諸多局限。
基于文本的生成方法（如SDXL、SD3、Flux等），由于其訓練數據和框架的優勢，在物體與場景的模擬上表現出色，特別在美學質量、屬性綁定和非空間關系（non-spatial relationships）方面具有顯著優勢。
然而，當涉及多個物體，且存在復雜的空間關系時，這類模型往往表現出明顯不足。
基于大語言模型（LLM-based）的生成方法，如RPG和Omost，通常需要對LLM進?額外訓練或設計復雜的提示。
然而，對于LLM處理后的復雜指令，diffusion backbone并不具備精確生成的能力。
基于布局（layourbased）的生成方法，如Instancediffusion和LMD+，雖然提供了精確的控制，但在圖像的美學質量和真實性上存在明顯下降，并且需要人為設計布局。
因此，一個值得深?探討的問題是：
能否設計出一個強大的模型，在上述多個方面都表現出?，同時不引入額外的復雜指令或增加計算開銷？
基于此，研究人員提出一個全新的文生圖框架：IterComp。
要充分解決這?問題，研究面臨兩大難點：
1、如何提取不同模型在各自領域的優勢，并引導模型進行有效學習？
針對該問題，研究人員首先構建了模型庫（model gallery)，其包含多種在不同方面表現出色的模型，每個模型都具備特定的組合生成偏好（composition-aware model preference）。
研究人員嘗試通過擴散模型對齊方法，將base diffusion model與模型庫中的組合生成偏好進行對齊。
團隊聚焦于compositional generation的三個關鍵方面：
- 屬性綁定（attribute binding）
- 空間關系（spatial relationship）
- ?空間關系（non-spatial relationship）
為此，研究人員收集了不同模型在這些方面的偏好數據，并通過人工排序，構建了?個面向組合生成的模型偏好數據集（composition-aware model preference dataset）。
針對這三個方面，團隊分別訓練三個composition-aware reward models，并對base模型進行多獎勵反饋優化。
2、組合生成任務很難優化，如何更充分地學習到不同模型的組合偏好？
研究人員在diffusion領域創新地引入迭代式學習框架（iterative feedback learning），實現reward models與base diffusion model之間“左腳踩右腳登天”。
具體來說，在上述第一輪優化后，團隊將optimized base diffusion model以及額外選擇的其他模型（例如Omost等）添加進model gallery。
對新增模型進行偏好采樣，與初始model gallery中的圖像按照預訓練的reward model構建圖像對。
這些圖像對被用于進?步優化獎勵模型，隨后繼續用更新的獎勵模型優化基礎擴散模型。
具體的流程如下偽代碼所示：
實驗
在定性實驗中，與其他三類compositional generation方法相比，IterComp取得了顯著的組合質量的提升，并且不會引入額外的計算量。
從定量結果中可以看出，IterComp在T2I-CompBench上取得了各方面的領先。
另外，針對圖像真實性以及美學質量，IterComp也表現出色。
然而IterComp的應用潛力不限于此，其可以作為強大的backbone顯著提升Omost, RPG等模型的生成能力。
更多細節歡迎查閱原論文。
論文地址：https://arxiv.org/abs/2410.07171
代碼地址：https://github.com/YangLing0818/IterComp
模型地址：https://huggingface.co/comin/IterComp
Civitai:https://civitai.com/models/840857
