今年很火的AI繪畫怎么玩
1、前言
2022年絕對可以說是AIGC元年，從google搜索的趨勢來看，在2022年AI繪畫及AI生成藝術的搜索量激增。
AI繪畫在這一年的爆發一個很重要的原因就是 Stable Diffusion 的開源，這也離不開這幾年 Diffusion Model 擴散模型在這幾年里的迅猛發展，結合了 OPENAI 已經發展得很成熟的文本語言模型 GPT-3，從文本到圖片的生成過程變得更加容易。
2、GAN(生成對抗網絡)的瓶頸
從14年誕生，到18年的StyleGAN，GAN在圖片生成領域獲得了長足的發展。就好像自然界的捕食者與被捕食者相互競爭共同進化一樣，GAN的原理簡單來說就是使用兩個神經網絡：一個作為生成器、一個作為判別器，生成器生成不同的圖像讓判別器去判斷結果是否合格，二者互相對抗以此訓練模型。
GAN（生成對抗網絡）經過不斷發展其有了不錯的效果，但有些始終難以克服的問題：生成結果多樣性缺乏、模式坍縮（生成器在找到最佳模式后就不再進步了）、訓練難度高。這些困難導致 AI 生成藝術一直難以做出實用的產品。
3、Diffusion Model（擴散模型）的突破
在 GAN 多年的瓶頸期后，科學家想出了非常神奇的 Diffusion Model（擴散模型）的辦法去訓練模型：把原圖用馬爾科夫鏈將噪點不斷地添加到其中，最終成為一個隨機噪聲圖像，然后讓訓練神經網絡把此過程逆轉過來，從隨機噪聲圖像逐漸還原成原圖，這樣神經網絡就有了可以說是從無到有生成圖片的能力。而文本生成圖片就是把描述文本處理后當做噪聲不斷添加到原圖中，這樣就可以讓神經網絡從文本生成圖片。
Diffusion Model（擴散模型）讓訓練模型變得更加簡單，只需大量的圖片就行了，其生成圖像的質量也能達到很高的水平，并且生成結果能有很大的多樣性，這也是新一代 AI 能有難以讓人相信的「想象力」的原因。
當然技術也是一直在突破的，英偉達在1月底推出的StyleGAN的升級版StyleGAN-T就有了十分驚艷的進步，在同等算力下相比于Stable Diffusion生成一張圖片需要3秒，StyleGAN-T僅需0.1秒。并且在低分辨率圖像StyleGAN-T要比Diffusion Model要好，但在高分辨率圖像的生成上，還是Diffusion Model的天下。由于StyleGAN-T并沒有像Stable Diffusion那樣獲得廣泛的應用，本文還是以介紹Stable DIffusion為主。
4、Stable Diffusion
在今年早些時間，AI作畫圈經歷了 Disco Diffusion、DALL-E2、Midjouney 群雄混戰的時代，直到 Stable Diffusion 開源后，才進入一段時間的塵埃落定，作為最強的 AI 作畫模型，Stable Diffusion 引起了 AI 社群的狂歡，基本上每天都有新的模型、新的開源庫誕生。尤其是在Auto1111的WebUI版本推出后，無論是部署在云端還是本地，使用Stable Diffusion都變成一個非常簡單的事情，并且隨著社區的不斷開發，很多優秀的項目，比如Dreambooth、deforum都作為 Stable Diffusion WEBUI版的一個插件加入進來，使得像微調模型、生成動畫等功能都能一站式完成。
5、AI繪畫玩法及能力介紹
下面介紹下目前使用 Stable Diffusion 可以有哪些玩法以及能力
Stable Diffusion 能力簡介 （以下圖片使用SD1.5模型輸出） | |||
簡介 | 輸入 | 輸出 | |
text2img | 通過文字描述生成圖片，可通過文字描述指定藝術家風格、藝術類型。這里以藝術家 Greg Rutkowski 的風格舉例。 | a beautiful girl with a flowered shirt posing for a picture with her chin resting on her right hand, by Greg Rutkowski |
|
img2img | 通過圖片以及文字描述生成圖片 | a beautiful girl with a flowered shirt posing for a picture with her chin resting on her right hand, by Greg Rutkowski
|
|
inpainting | 在img2img的基礎上，通過設置遮罩，只繪制遮罩內的區域，一般用于修改關鍵詞微調畫面。 | a beautiful girl with a flowered shirt gently smiling posing for a picture with her chin resting on her right hand, by Greg Rutkowski
|
|
使用 DreamBooth 基于SD 模型訓練微調的大模型，訓練后使用該模型可使用上述的 text2img img2img 等能力 | |||
NovelAI text2img | 目前效果最好的二次元動漫畫風的模型， 由 NAI 基于 danbooru 站的公開圖片作為數據集訓練，但由于 danbooru 本身存在版權問題，NovelAI一直比較受爭議，并且該模型是商用服務泄漏流出，使用需謹慎。 | a beautiful girl with a flowered shirt posing for a picture with her chin resting on her right hand |
|
NovelAI img2img | 使用 NovelAI 的模型進行img2img。目前在各個社區很火的意間AI作畫，也是使用的這個能力。但意間在免責聲明中提到他們的動漫模型是自己收集的數據集訓練的。 *右邊樣例的文字描述是根據圖片內容根據AI反推得出的，畫師風格隨機 | a beautiful girl with a flowered shirt posing for a picture with her chin resting on her right hand
AI繪畫 |
|
基于用戶照片訓練的主體模型 | 基于用戶提供的幾張照片訓練一個針對主體的模型，用這個模型可以根據描述生成任意包含該主體的圖片。 | 該組圖使用同事的20張照片基于Stable Diffusion 1.5模型訓練2000步出模型，配合幾個風格化的prompt輸出。 prompt舉例（圖1）： portrait of alicepoizon, highly detailed vfx portrait, unreal engine, greg rutkowski, loish, rhads, caspar david friedrich, makoto shinkai and lois van baarle, ilya kuvshinov, rossdraws, elegent, tom bagshaw, alphonse mucha, global illumination, detailed and intricate environment *alicepoizon是訓練此模型時為這個人物的命名 |
|
基于同類型風格訓練的風格模型 | 使用相同風格的一組圖片訓練一個微調后的大模型，可以通過該大模型生成生成風格統一的圖片。 | 該組圖使用了得物數字藏品ME.X訓練微調出的風格模型生成。 a beautiful girl with a flowered shirt |
|
Lionel Messi |
| ||
Leonardo DiCaprio |
| ||
Scarlett Johansson |
| ||
6、目前主要應用情況介紹
簡介 | 樣例 | |
美圖、抖音、6pen、意間等公司提供的AI繪畫服務 | 提供更加便捷的AI繪畫體驗，可以使用眾多風格各異的定制大模型。 |
|
midjouney 與 DallE 2 | 兩個商業化的 AI 作畫服務。midjouney有自己特色的模型，產品化程度高；DallE 2則是提供了付費的API服務，有著較高質量的生成效果。 |
|
Lensa、漫鏡等提供個人模型訓練服務 | 提供了前面的Dreambooth + Stable Diffusion的服務，大概18-25元一次，上傳15-20張用戶照片，生成定制的20張左右的藝術照片。 |
|
AI 開源社區Huggingface | 目前主流的 AI 開源社區，類似 github，有大量用戶自己 finetuned （微調）的基于 Stable Diffusion 模型，可以下載并部署到自己的服務器或者本地電腦上。 例如右側的pix2pix模型是一個結合了GPT3的Stable Diffusion模型，可以通過自然語言描述來完成前文提到的inpainting功能。 |
|
7、自己搭一個Stable Diffusion WEBUI服務
7.1 云端版本
這里使用AutoDL提供的云端算力來搭建，也可以使用其他平臺比如 Google Colab或者百度飛槳等。
- 首先在AutoDL上注冊賬號并且租一臺 A5000/RTX3090 顯卡的云主機。https://www.autodl.com/market/list
- 以此主機創建鏡像，鏡像可在 www.codewithgpu.com 上選擇已經打包好的算法鏡像。這里以 https://www.codewithgpu.com/i/AUTOMATIC1111/stable-diffusion-webui/Stable-Diffusion-for-NovelAI 這個鏡像為例，選擇后創建。
- 創建后開機并啟動JupterLab，
運行下面指令啟動服務即可。如果遇到系統盤空間不足的情況，也可以將stable-diffusion-webui/文件夾移入數據盤 autodl-tmp再啟動。如果遇到啟動失敗，可以根據你機器的位置配置一下學術資源加速。
如果你有一塊顯卡還不錯的電腦，那可以部署在本地，這里介紹下Windows版本的搭建：
- 首先需要安裝Python 3.10.6，并且添加環境變量到Path中
- 安裝git
- Clone Stable Diffusion WEBUI 的工程代碼到本地
- 將模型文件放置于 models/Stable-Diffusion目錄下，相關模型可以去https://huggingface.co/ 下載
- 運行 webui-user.bat，通過本機電腦ip及7860端口訪問服務。
8、總結
本文介紹了AI繪畫的一些相關的信息，感興趣的朋友也可以自己把服務部署起來，自己試著學習用DreamBooth或者最新的Lora微調一下大模型。相信在2023年，隨著 AIGC 熱度的不斷提高，我們的工作和生活都會因為 AI 帶來巨大的改變。前段時間 ChatGPT的推出給我們帶來了巨大的震撼，就好像剛進入互聯網時期搜索信息的能力一樣，今后學會使用 AI 來輔助我們的工作也將是一個非常重要的能力。
9、參考資料
- 從起因到爭議，在 AI 生成藝術元年聊聊 AI
https://sspai.com/post/76277
- 神經網絡學習筆記6——生成式AI繪畫背后的的GAN與Diffusion初解
https://blog.csdn.net/qq_45848817/article/details/127808815
- How diffusion models work: the math from scratch
https://theaisummer.com/diffusion-models/
- GAN 結構概覽
https://developers.google.com/machine-learning/gan/gan_structure
- The absolute beginners guide to Midjourney – a magical introduction to AI art
https://www.entrogames.com/2022/08/absolute-beginners-guide-to-midjourney- magical-introduction-to-ai-art/
- The viral AI avatar app Lensa undressed me—without my consent
https://www.technologyreview.com/2022/12/12/1064751/the-viral-ai-avatar-app- lensa-undressed-me-without-my-consent/
- instruct-pix2pix
https://huggingface.co/timbrooks/instruct-pix2pix
