當(dāng)前，非英文文圖生成模型選擇有限，用戶往往要將 prompt 翻譯成英語再輸入模型。這樣不僅會(huì)造成額外的操作負(fù)擔(dān)，并且翻譯過程中的語言文化誤差，會(huì)影響生成圖片的準(zhǔn)確性。

智源研究院 FlagAI 團(tuán)隊(duì)首創(chuàng)高效訓(xùn)練方式，使用多語言預(yù)訓(xùn)練模型和 Stable Diffusion 結(jié)合，訓(xùn)練多語言文圖生成模型 —— AltDiffusion-m18，支持18種語言的文圖生成。

包括中文、英文、日語、泰語、韓語、印地語、烏克蘭語、阿拉伯語、土耳其語、越南語、波蘭語、荷蘭語、葡萄牙語、意大利語、西班牙語、德語、法語、俄語。

Huggingface：https://huggingface.co/BAAI/AltDiffusion-m18

GitHub：https://github.com/FlagAI-Open/FlagAI/blob/master/examples/AltDiffusion-m18

AltDiffusion-m18  在英文的 FID、IS、CLIP score 客觀評(píng)測(cè)上達(dá)到了 Stable Diffusion 95~99% 效果，在中文、日文上達(dá)到了最優(yōu)水平，同時(shí)填補(bǔ)了其余 15 種語言文圖生成模型的空白，極大滿足了產(chǎn)業(yè)界對(duì)于多語言文圖生成的強(qiáng)烈需求。在此，特別鳴謝 Stable Diffusion Research Team 為這項(xiàng)工作提供建議。

此外，AltDiffusion-m18 相關(guān)創(chuàng)新技術(shù)報(bào)告《AltCLIP: Altering the Language Encoder in CLIP for Extended Language Capabilities》已被 Findings of ACL 2023 接收。

技術(shù)亮點(diǎn)

1 全新 AltCLIP，高效、低成本構(gòu)建多語言 T2I 模型

在去年發(fā)布的 AltDiffusion-m9  中，智源團(tuán)隊(duì)基于 Stable Diffusion  v1.4，創(chuàng)新性地更換語言塔為多語言塔 AltCLIP，并使用九種語言的多語言數(shù)據(jù)進(jìn)行微調(diào)，將原始僅支持英文的  Stable Diffusion 擴(kuò)展到支持 9 種不同的語言。

AltCLIP：https://github.com/FlagAI-Open/FlagAI/tree/master/examples/AltCLIP-m18

而 AltDiffusion-m18 基于 Stable Diffusion v2.1 訓(xùn)練。Stable Diffusion  v2.1 新的語言塔為 OpenCLIP 的倒二層，因此，全新的 AltCLIP 以 OpenCLIP 的倒二層作為蒸餾目標(biāo)重新訓(xùn)練，并且在 m9 的基礎(chǔ)上將僅對(duì) Unet 中 CrossAttention 層 K,V 矩陣微調(diào)，擴(kuò)展成兩階段的訓(xùn)練方式，如下圖所示：

- 第一階段：早前在 m9 的實(shí)驗(yàn)過程中發(fā)現(xiàn)，微調(diào) K,V 矩陣主要學(xué)習(xí)的是文圖的概念對(duì)齊，所以 m18 訓(xùn)練的第一階段繼續(xù)使用 18 語言的數(shù)據(jù)進(jìn)行K,V矩陣的微調(diào)。此外，通過實(shí)驗(yàn)證明，將圖片從 512*512 的分辨率降低到 256*256 并不會(huì)損失圖片的語義信息。因此，在第一階段學(xué)習(xí)文圖概念對(duì)齊的過程中使用 256*256 的分辨率進(jìn)行訓(xùn)練，加快了訓(xùn)練速度。

- 第二階段：為了進(jìn)一步提高生成圖像的質(zhì)量，使用 512*512 的分辨率在 18 語言的數(shù)據(jù)中進(jìn)行 Unet 全量參數(shù)的訓(xùn)練。此外，丟掉 10% 的文本來進(jìn)行 uncondition 的訓(xùn)練，來服務(wù) classifier-free guidance 的推理。

- 此外，采用了一種無分類器引導(dǎo)訓(xùn)練技術(shù)，進(jìn)一步提高生成質(zhì)量。

最新評(píng)測(cè)結(jié)果顯示，AltCLIP-m18 在中英文 zero-shot（零樣本）檢索任務(wù)上超過 CLIP 達(dá)到了最優(yōu)水平??

在多語言圖片分類 benchmarks 上，AltCLIP-m9（早期版本，支持9種語言） 與 AltCLIP-m18 達(dá)到最優(yōu)水平??

同樣，得益于 AltCLIP 創(chuàng)新性的換塔思路，AltDiffusion-m18 也可以無縫接入 Stable Diffusion 所有建立在原 CLIP 上的模型和生態(tài)工具，所有支持 Stable Diffusion 的工具如 Stable Diffusion WebUI，DreamBooth 等都可應(yīng)用 AltDiffusion-m18 上。無痛上手，可玩性極佳！

2 多語言生成效果對(duì)齊，性能優(yōu)越、細(xì)節(jié)準(zhǔn)確

在全新 AltCLIP 的加持下，AltDiffusion-m18 在英文的 FID、IS、CLIP score 評(píng)測(cè)中達(dá)到了原始 Stable Diffusion  95～99% 的效果，并在中文、日文等 17 種語言中實(shí)現(xiàn)了最先進(jìn)的性能，詳細(xì)數(shù)據(jù)如下表所示：

在英文、中文、日文上，AltDiffusion-m18 與其他模型生成結(jié)果相比，效果更優(yōu)越、細(xì)節(jié)更準(zhǔn)確：

上圖(a)中 AltDiffusion-m18 可以生成跟原始  Stable Diffusion  高度一致的結(jié)果，并且在 prompt 理解上優(yōu)于國內(nèi)其他中英雙語模型，例如："A stuffed bear", "A black and white photo", "cat"等在國內(nèi)其他中英雙語模型中生成失敗的概念可以在 AltDiffusion 中成功生成。同樣的現(xiàn)象在中文和日文中也有出現(xiàn)。

上圖(b)中的"黑色沙發(fā)，木地地板"僅有 AltDiffusion-m18 正確生成。

上圖(c)中的"bears"，Japanese  Stable Diffusion  錯(cuò)誤生成為“人類”，AltDiffusion-m18 可以正確生成為“熊”。

此外，智源 FlagEval 團(tuán)隊(duì)開發(fā)了文圖生成模型評(píng)測(cè)工具 ImageEval。經(jīng)評(píng)測(cè)，AltDiffusion-m18 在實(shí)體對(duì)象、實(shí)體數(shù)量維度上的準(zhǔn)確度分別超過國內(nèi)同行模型 11%、 10%（注：ImageEval 評(píng)測(cè)方法和結(jié)果將于近期公開發(fā)布，敬請(qǐng)期待）。

3 小語種文生圖救星，提供多語言文圖生成模型參照系

AltDiffusion-m18 從多語言的數(shù)據(jù)中學(xué)到了不同語言的偏置，幫助用戶越過語言翻譯門檻、繞過文化轉(zhuǎn)譯，減少了語言背后文化信息的丟失。如下圖所示，中文、日文 Prompt 生成的小男孩的臉部輪廓更加“亞洲風(fēng)”，而英語及其他歐洲地區(qū)語言 prompt 生成小男孩則更加“歐美風(fēng)”。

更加有趣的是，在不同語言下動(dòng)物的 prompt 生成的圖片細(xì)節(jié)也有差異。如下圖所示，雖然不同語言生成的圖片整體上具有高度一致性，但畫面背景和柯基的五官細(xì)節(jié)都有細(xì)微差異。

總的來說，AltDiffusion-m18 為多語言文圖生成模型提供了一個(gè)基礎(chǔ)參照系。以西班牙語、德語、法語等15 種語言為母語的用戶，不必再將腦海中的 prompt 翻譯成英文，就可以感受到 AIGC 的樂趣。AI 調(diào)教高手們還可以在 AltDiffusion-m18 基礎(chǔ)上結(jié)合 DreamBooth 、ControlNet 和 LoRA 等進(jìn)一步優(yōu)化，或者使用其他語言的語料微調(diào)得到更好的文圖生成效果。

同時(shí)，大模型算法、模型及工具一站式開源項(xiàng)目—— FlagAI (github.com/FlagAI-Open/FlagAI)也提供了訓(xùn)練推理的工具和 API ，方便大家快速下載和使用 AltDiffusion-m18 。