在這個數(shù)字化時代，生成式AI技術(shù)正以前所未有的速度改變著我們的創(chuàng)作方式。近期，阿里通義實驗室發(fā)表了一篇題為《AnyStory: Towards Unified Single and Multi-Subject Personalization in Text-to-Image Generation》的論文，該論文提出了一種創(chuàng)新的框架，旨在通過統(tǒng)一的路徑實現(xiàn)單個及多個主體的個性化文本到圖像生成，為故事可視化、藝術(shù)創(chuàng)作乃至更多領(lǐng)域帶來了革命性的突破。

論文中深入探討了當(dāng)前文本到圖像生成技術(shù)面臨的挑戰(zhàn)，如主體一致性、細(xì)節(jié)保留以及多主體個性化等方面的不足。為了解決這些問題，他們提出了AnyStory框架，該框架結(jié)合了增強(qiáng)的主體表示編碼器和解耦的實例感知主體路由器，實現(xiàn)了前所未有的個性化生成效果。

上圖為AnyStory的示例。該方法在保留主題細(xì)節(jié)、對齊文本描述和個性化多個主題方面表現(xiàn)出色。其中純白色背景的圖像作為參考。

相關(guān)鏈接

• 論文：https://arxiv.org/pdf/2501.09503v1
• 主頁：https://aigcdesigngroup.github.io/AnyStory/

論文介紹

最近，大規(guī)模生成模型已經(jīng)展示了出色的文本到圖像生成能力。 然而，生成具有特定主題的高保真?zhèn)€性化圖像仍然存在挑戰(zhàn)，特別是在涉及多個主題的情況下。論文出了一種統(tǒng)一的個性化主題生成方法 AnyStory。AnyStory 不僅可以實現(xiàn)單個主題的高保真?zhèn)€性化，還可以實現(xiàn)多個主題的高保真?zhèn)€性化，而不會犧牲主題保真度。具體來說，AnyStory 以“編碼然后路由”的方式對主題個性化問題進(jìn)行建模。在編碼步驟中，AnyStory 利用通用且強(qiáng)大的圖像編碼器 ReferenceNet 與 CLIP 視覺編碼器結(jié)合實現(xiàn)主題特征的高保真編碼。在路由步驟中， AnyStory 利用解耦的實例感知主題路由器 準(zhǔn)確感知和預(yù)測潛在空間中相應(yīng)主題的潛在位置，并指導(dǎo)主題條件的注入。詳細(xì)的實驗結(jié)果證明了我們的方法在保留主題細(xì)節(jié)、對齊文本描述和針對多個主題進(jìn)行個性化方面的出色表現(xiàn)。

方法

AnyStory 遵循“編碼后路由”的條件生成范式，首先利用簡化的 ReferenceNet 結(jié)合 CLIP 視覺編碼器對主體進(jìn)行編碼，然后利用解耦的實例感知主體路由器引導(dǎo)主體條件注入。訓(xùn)練過程分為兩個階段：主體編碼器訓(xùn)練階段和路由器訓(xùn)練階段。為簡潔起見省略了文本條件分支。

效果展示

論文中的大量實驗結(jié)果驗證了AnyStory在單個及多個主體個性化生成方面的卓越性能。無論是生動的動漫場景、逼真的電影畫面，還是充滿想象力的奇幻世界，AnyStory都能根據(jù)文本提示，生成高度一致且個性化的圖像序列。此外，通過可視化路由圖，我們可以直觀地看到框架如何精確地預(yù)測和定位每個主體的潛在位置。