在圖像生成領域，自回歸可以打敗擴散模型嗎？
圖像生成領域，有這么幾種方法，Flow-Based、GAN-Based、VAE+Pixel-CNN系列、擴散模型自回歸。更早期的是基于自編碼器的圖像生成，各種Auto-Encoder模型，以及影響很大的變分自編碼器d-VAE。后面又有Flow-Based，不過似乎Flow-Based引起的注意不是那么大。然后是名噪一時的GAN。2020年之后，擴散模型逐漸火熱，一直到現在慢慢擴展到視頻生成、3D生成、目標檢測和語義分割等領域。
與此同時，自回歸模型作為語言模型里面的杠把子，也引起了大家的關注，早期的Pixel-CNN也算是自回歸圖像生成的一種，然后過渡到自編碼器+自回歸，比如VQ-VAE+Pixel-CNN，然后是CVPR 2021 Oral工作VQ-GAN橫空出世，VQ-VAE結合自回歸Transformer作為先驗替代Pixel_CNN。不過同期擴散模型的發展似乎更為火熱一些，提出VQ-GAN的團隊也在CVPR 2022提出了日后紅極一時的Stable Diffusion系列，可以看作是結合VQ-GAN和擴散模型的工作（當然自回歸Transformer需要隱藏一下）。
更早之前，OpenAI提出了Diffusion Models Beat GANs on Image Synthesis（https://arxiv.org/abs/2105.05233），指出在圖像生成領域擴散模型可以打敗GAN，之后圖像生成領域的流行范式變成了擴散模型（這樣說不太準確，其實更早之前，GAN的研究熱度也已經慢慢降下來了，DDPM和DDIM之后擴散模型的研究也已經慢慢火熱了）。兩三年時間，圖像生成的擴散模型的研究也逐漸豐滿，結合LLM的工作、快速采樣生成圖片的工作、結合ViT的工作（Diffusion Image Transformer，DiT）也慢慢浮出水面，大家的研究熱點也慢慢的走向擴散模型在視頻生成領域的應用，雖然可以借鑒之前圖像生成的一些經驗，遇到的挑戰也是更大的。
這個時候其實也是需要思考圖像生成中，自回歸模型的地位，畢竟之前也有很多優秀的工作，比如OpenAI的iGPT，Meta的MasktGIT。前面也提到過字節也提出了預測下一個level 圖像token的自回歸圖像生成模型 VAR，今天要介紹的也是字節和港大提出的一個工作，其名字也是和Diffusion Models Beat GANs on Image Synthesis有異曲同工之妙，Autoregressive Model Beats Diffusion: Llama for Scalable Image Generation。
https://arxiv.org/pdf/2406.06525https://github.com/FoundationVision/LlamaGen
文中提到的自回歸圖像生成模型LlamaGen，模型結構和VQ-GAN是類似的，不過把學習先驗的自回歸Transformer換成了參數量更大的Llama模型，實現細節也借鑒了VQ-GAN和ViT-VQ-GAN的做法，比如Codebook用更大的Vocabulary，在特征向量量化之前對特征向量進行降維和 L2-norm，損失函數也加入了perceptual loss和PatchGan的對抗學習的損失。
Llama的結構中，基于RMSNorm實現pre-normalization，SwiGLU激活函數和旋轉位置編碼，也沒有使用AdaLN。
文中也提到了一個現象，就是把Codebook的Vocabulary變大之后，想過會更好，當然embedding的usage會下降。但是把Vocabulary的embedding向量的維度降低，也會讓embedding的usage提高。
本文轉自AI生成未來，作者：vasgaowei
