文章鏈接：https://arxiv.org/pdf/2504.08736 
項(xiàng)目鏈接：https://silentview.github.io/GigaTok/ 
代碼鏈接：https://github.com/SilentView/GigaTok 

亮點(diǎn)直擊

• 分詞器規(guī)模擴(kuò)展中存在的重建與生成困境源于更大規(guī)模分詞器隱空間復(fù)雜度的提升。本文提出語(yǔ)義正則化方法，有效緩解該困境從而實(shí)現(xiàn)分詞器的規(guī)模擴(kuò)展。
• 探索了分詞器規(guī)模擴(kuò)展的最佳實(shí)踐方案，包括：采用混合CNN-Transformer架構(gòu)的一維分詞器、非對(duì)稱編碼器-解碼器擴(kuò)展策略，以及針對(duì)十億級(jí)分詞器的熵?fù)p失優(yōu)化。
• GigaTok成為首個(gè)規(guī)模擴(kuò)展至30億參數(shù)的分詞器，在ImageNet數(shù)據(jù)集上同步實(shí)現(xiàn)了重建質(zhì)量、下游自回歸生成和下游自回歸表征三項(xiàng)指標(biāo)的突破性性能。

2.9 B GigaTok 在 ImageNet 256 × 256 分辨率上以 1.4 B AR 模型實(shí)現(xiàn)了 SOTA 自回歸圖像生成

總結(jié)速覽

解決的問(wèn)題

• 視覺(jué)分詞器（visual tokenizer）縮放困境：現(xiàn)有方法在擴(kuò)大視覺(jué)分詞器規(guī)模時(shí)，雖然提升了圖像重建質(zhì)量，但導(dǎo)致下游自回歸生成質(zhì)量下降（即“重建 vs. 生成”矛盾）。
• 隱空間復(fù)雜性增長(zhǎng)：分詞器規(guī)模擴(kuò)大時(shí)，隱空間復(fù)雜度增加，使得下游自回歸模型難以有效學(xué)習(xí)離散token的分布。
• 大規(guī)模分詞器訓(xùn)練穩(wěn)定性：億級(jí)參數(shù)分詞器的訓(xùn)練面臨收斂困難問(wèn)題。

提出的方案

• 語(yǔ)義正則化（Semantic Regularization）：

a.利用預(yù)訓(xùn)練視覺(jué)編碼器（如DINOv2）的特征對(duì)齊分詞器特征，約束隱空間復(fù)雜度，避免生成過(guò)于復(fù)雜的token依賴關(guān)系。

• 分詞器縮放關(guān)鍵策略：

a.1D分詞器：相比2D分詞器，1D結(jié)構(gòu)更具可擴(kuò)展性。

b.非對(duì)稱模型縮放：優(yōu)先擴(kuò)展解碼器而非編碼器。

c.熵?fù)p失（Entropy Loss）：用于穩(wěn)定億級(jí)參數(shù)分詞器的訓(xùn)練。

應(yīng)用的技術(shù)

• 混合架構(gòu)：基于CNN-Transformer的向量量化（VQ）分詞器，支持1D/2D token生成。
• 自回歸探測(cè)（AR Probing）：通過(guò)輕量級(jí)下游AR模型監(jiān)控分詞器訓(xùn)練過(guò)程，分析token分布學(xué)習(xí)難度。
• 預(yù)訓(xùn)練模型特征對(duì)齊：使用DINOv2等模型的語(yǔ)義特征作為正則化目標(biāo)。

達(dá)到的效果

• 性能提升：

a.重建質(zhì)量：達(dá)到SOTA圖像重建效果。

b.生成質(zhì)量：下游自回歸生成任務(wù)性能顯著提升。

c.表征學(xué)習(xí)：下游AR模型的表征能力增強(qiáng)。

• 規(guī)模化能力：成功將GigaTok擴(kuò)展至30億參數(shù)，突破“重建 vs. 生成”矛盾。
• 訓(xùn)練穩(wěn)定性：通過(guò)熵?fù)p失實(shí)現(xiàn)億級(jí)參數(shù)分詞器的穩(wěn)定訓(xùn)練。

先導(dǎo)研究

本文首先引入自回歸探測(cè)(AR Probing)作為有效監(jiān)控分詞器對(duì)下游生成效果的代理方法，隨后通過(guò)先導(dǎo)實(shí)驗(yàn)研究當(dāng)簡(jiǎn)單擴(kuò)展視覺(jué)分詞器時(shí)遇到的重建與生成挑戰(zhàn)。

用于分詞器評(píng)估的自回歸探測(cè)

在自回歸視覺(jué)生成中，分詞器和下游AR模型的訓(xùn)練分兩個(gè)獨(dú)立階段進(jìn)行。第一階段訓(xùn)練視覺(jué)分詞器將圖像壓縮為離散token，以重建目標(biāo)進(jìn)行優(yōu)化。第二階段基于預(yù)訓(xùn)練分詞器產(chǎn)生的離散token訓(xùn)練下游生成模型。然而，在第一階段重建效果良好的分詞器，并不一定能帶來(lái)下游生成模型的更好表現(xiàn)。因此，在評(píng)估訓(xùn)練好的分詞器時(shí)，除了重建質(zhì)量外，評(píng)估其對(duì)下游生成的有效性同樣至關(guān)重要。

盡管很重要，但評(píng)估分詞器如何影響下游生成模型的計(jì)算成本可能很高。例如，充分訓(xùn)練一個(gè)3.43億參數(shù)的下游AR生成器需要在64塊V100 GPU上耗時(shí)170小時(shí)。為解決這一挑戰(zhàn)，受表征學(xué)習(xí)中線性探測(cè)(Linear Probing)的啟發(fā)，引入了自回歸探測(cè)方法。其核心思想是使用小型AR模型的性能作為反映大規(guī)模AR模型性能趨勢(shì)的代理指標(biāo)。

本文使用分詞器訓(xùn)練一個(gè)小型Llama風(fēng)格模型(1.11億參數(shù))50個(gè)周期，并評(píng)估其gFID、驗(yàn)證損失和線性探測(cè)準(zhǔn)確率，以便在不同分詞器之間進(jìn)行公平比較。訓(xùn)練所提出的自回歸探測(cè)模型來(lái)評(píng)估分詞器的效率比訓(xùn)練原始3.43億下游AR模型高10倍。下圖6實(shí)驗(yàn)表明，自回歸探測(cè)觀察到的趨勢(shì)與充分訓(xùn)練后大規(guī)模AR模型的性能表現(xiàn)一致。

gFID。自回歸探測(cè)的生成FID表明兩階段框架的整體圖像生成性能。它既反映了分詞器的重建保真度，也反映了下游自回歸探測(cè)模型學(xué)習(xí)視覺(jué)token依賴關(guān)系的能力(即token分布的可學(xué)習(xí)性)。

驗(yàn)證損失。本文使用自回歸探測(cè)模型的驗(yàn)證損失作為潛在token可學(xué)習(xí)性的解耦衡量指標(biāo)。驗(yàn)證損失計(jì)算為ImageNet 50k驗(yàn)證集上基于下一token預(yù)測(cè)范式中各token交叉熵?fù)p失的平均值。在相同詞匯量、相同視覺(jué)token數(shù)量和結(jié)構(gòu)、相同自回歸探測(cè)模型的情況下，更大的驗(yàn)證損失表明隱空間對(duì)AR模型來(lái)說(shuō)更難學(xué)習(xí)。因此，我們用驗(yàn)證損失來(lái)反映AR模型的隱空間復(fù)雜度和可學(xué)習(xí)性。

線性探測(cè)準(zhǔn)確率。除了視覺(jué)生成質(zhì)量外，本文還研究擴(kuò)展分詞器是否會(huì)促使AR模型學(xué)習(xí)到更好的視覺(jué)表征，這可能為未來(lái)使用AR模型進(jìn)行統(tǒng)一多模態(tài)理解和生成的研究提供啟發(fā)。為評(píng)估AR模型的表征質(zhì)量，本文采用標(biāo)準(zhǔn)做法，使用自回歸探測(cè)模型中間Transformer層的特征評(píng)估線性探測(cè)準(zhǔn)確率。

簡(jiǎn)單擴(kuò)展分詞器不可行

為研究簡(jiǎn)單擴(kuò)展視覺(jué)分詞器時(shí)面臨的挑戰(zhàn)，在ImageNet 256×256分辨率下訓(xùn)練了三個(gè)規(guī)模遞增的向量量化分詞器。如下圖3所示，隨著分詞器規(guī)模增大，雖然重建質(zhì)量(rFID)持續(xù)提升，但AR生成性能(gFID)顯著下降。這凸顯了分詞器擴(kuò)展中的重建與生成困境。此外，我們觀察到自回歸探測(cè)的驗(yàn)證損失隨分詞器規(guī)模擴(kuò)大持續(xù)增加，表明更大分詞器會(huì)導(dǎo)致更復(fù)雜的token依賴關(guān)系，使AR模型更難學(xué)習(xí)。這一發(fā)現(xiàn)促使我們?cè)O(shè)計(jì)語(yǔ)義正則化方法來(lái)約束分詞器的隱空間復(fù)雜度，從而解決重建與生成困境。

GigaTok

本節(jié)介紹可擴(kuò)展視覺(jué)分詞器GigaTok的模型結(jié)構(gòu)和訓(xùn)練策略。首先提出支持1D和2D token結(jié)構(gòu)的分詞器主干，并討論編碼器-解碼器的非對(duì)稱擴(kuò)展策略。然后引入語(yǔ)義正則化，通過(guò)用預(yù)訓(xùn)練視覺(jué)表征約束隱空間復(fù)雜度來(lái)解決重建與生成困境。最后展示熵?fù)p失如何促進(jìn)十億級(jí)規(guī)模分詞器的收斂。

架構(gòu)

當(dāng)前研究中，CNN架構(gòu)因其捕捉細(xì)粒度局部細(xì)節(jié)的有效性成為圖像分詞器的主流選擇。而Transformer則是更具擴(kuò)展性且歸納偏置更少的架構(gòu)。因此，本文設(shè)計(jì)了結(jié)合CNN和Transformer的混合架構(gòu)向量量化(VQ)分詞器主干(下圖4)。編碼器包含系列CNN塊(將輸入圖像逐步下采樣p倍)，后接Transformer層和向量量化器生成離散潛在編碼。解碼器包含多個(gè)Transformer層，后接CNN解碼器(將特征上采樣獲得重建圖像)。通過(guò)采用下文介紹的兩種Transformer設(shè)計(jì)，我們的分詞器架構(gòu)可適配1D和2D分詞器。

2D分詞器(ViT實(shí)現(xiàn)) ：對(duì)2D分詞器，編解碼器的Transformer均采用ViT架構(gòu)實(shí)現(xiàn)，全程保持潛在特征和token的2D結(jié)構(gòu)。

1D分詞器(Q-Former實(shí)現(xiàn)) ：對(duì)1D分詞器，編解碼器的Transformer模塊均實(shí)現(xiàn)為Q-Former。編碼器的Q-Former使用1D查詢，將2D輸入特征轉(zhuǎn)為1D潛在token；解碼器的Q-Former使用2D查詢，將1D潛在token轉(zhuǎn)回2D特征后輸入CNN解碼器重建圖像。1D分詞器消除了2D歸納偏置，實(shí)驗(yàn)表明其擴(kuò)展性優(yōu)于2D分詞器。

語(yǔ)義正則化

在先導(dǎo)研究中，發(fā)現(xiàn)隨著分詞器規(guī)模的擴(kuò)大，隱空間復(fù)雜度顯著增加，這可能導(dǎo)致更大規(guī)模的分詞器在下游AR生成任務(wù)中表現(xiàn)更差。假設(shè)，更大的分詞器傾向于捕捉過(guò)多細(xì)粒度的低級(jí)細(xì)節(jié)以獲得更好的重建效果，從而導(dǎo)致潛在token分布過(guò)于復(fù)雜，使得AR模型更難有效學(xué)習(xí)token依賴關(guān)系。

為解決這一問(wèn)題，本文引入了語(yǔ)義正則化方法，引導(dǎo)分詞器編碼出語(yǔ)義更一致的隱空間——這種空間復(fù)雜度更低，更有利于下游生成建模。在分詞器訓(xùn)練目標(biāo)中加入了一個(gè)簡(jiǎn)單的語(yǔ)義正則化項(xiàng)。該正則化將分詞器解碼器的中間特征與預(yù)訓(xùn)練凍結(jié)DINOv2模型提取的特征表示對(duì)齊。

十億級(jí)分詞器的熵?fù)p失

在訓(xùn)練 29 億參數(shù)的分詞器時(shí)，發(fā)現(xiàn)使用與 6.22 億參數(shù)分詞器相同的訓(xùn)練方案會(huì)導(dǎo)致感知損失和重建損失無(wú)法收斂，并持續(xù)出現(xiàn)碼本使用率低下的問(wèn)題。我們假設(shè)低碼本使用率是造成收斂困難的原因。為解決這個(gè)問(wèn)題，本文引入熵懲罰來(lái)提升碼本利用率：

實(shí)驗(yàn)

實(shí)驗(yàn)設(shè)置

為擴(kuò)展視覺(jué)分詞器，本文采用下表1總結(jié)的GigaTok分詞器Transformer架構(gòu)配置。從三個(gè)維度評(píng)估分詞器：重建質(zhì)量、下游AR生成質(zhì)量和下游AR表征質(zhì)量。使用rFID和LPIPS評(píng)估重建保真度，gFID評(píng)估生成性能，線性探測(cè)評(píng)估下游AR模型的表征質(zhì)量。我們的下游AR模型采用具有1D絕對(duì)位置編碼的LlamaGen。擴(kuò)展實(shí)驗(yàn)和消融研究使用自回歸探測(cè)的驗(yàn)證損失、gFID和線性探測(cè)分別反映token可學(xué)習(xí)性、生成性能和表征質(zhì)量。系統(tǒng)級(jí)對(duì)比則訓(xùn)練14億參數(shù)AR模型與之前工作進(jìn)行對(duì)比。

自回歸探測(cè)的有效性。如前面圖6所示，自回歸探測(cè)的gFID和線性探測(cè)準(zhǔn)確率等指標(biāo)與更大規(guī)模的LlamaGen-XL模型結(jié)果一致。因此除系統(tǒng)級(jí)對(duì)比外，后續(xù)實(shí)驗(yàn)均采用自回歸探測(cè)。

語(yǔ)義正則化的擴(kuò)展效果

本文證明所提出的語(yǔ)義正則化解決了分詞器擴(kuò)展中的重建與生成困境。

帶語(yǔ)義正則化的模型擴(kuò)展。結(jié)果如下圖7所示：(1)語(yǔ)義正則化通過(guò)降低rFID改善了重建保真度；(2)更重要的是，無(wú)語(yǔ)義正則化時(shí)，自回歸探測(cè)驗(yàn)證損失和gFID隨分詞器增大而惡化，顯示重建與生成困境。語(yǔ)義正則化通過(guò)相對(duì)受限的驗(yàn)證損失和持續(xù)下降的gFID解決了該困境；(3)線性探測(cè)結(jié)果表明，語(yǔ)義正則化幫助AR模型在分詞器擴(kuò)展時(shí)學(xué)習(xí)到更好的表征。

分詞器特征空間可視化。本文對(duì)一組圖像的首個(gè)Transformer解碼層特征進(jìn)行前三主成分可視化。如下圖8所示，普通分詞器編碼的隱空間語(yǔ)義一致性有限，可能損害下游AR模型的可學(xué)習(xí)性；而GigaTok展現(xiàn)出語(yǔ)義一致的模式(圖8)，表明其隱空間具有意義和一致性。

非對(duì)稱1D分詞器更具可擴(kuò)展性

解碼器需要更多參數(shù)。為確定擴(kuò)展時(shí)應(yīng)優(yōu)先擴(kuò)展編碼器還是解碼器，在下表2中比較了S-B4和B-S分詞器（兩者在相同設(shè)置下訓(xùn)練100個(gè)epoch）。結(jié)果表明，相比編碼器，擴(kuò)展解碼器能帶來(lái)更大的重建和下游生成性能提升，說(shuō)明應(yīng)優(yōu)先擴(kuò)展解碼器。

編碼器擴(kuò)展同樣重要。雖然優(yōu)先擴(kuò)展解碼器收益顯著，但發(fā)現(xiàn)擴(kuò)展編碼器也能進(jìn)一步提升下游模型性能。上表2顯示，B-L分詞器相比S-L分詞器獲得顯著提升。因此建議同時(shí)擴(kuò)展編碼器和解碼器，但保持解碼器規(guī)模大于編碼器以獲得最優(yōu)性能。

1D分詞器比2D分詞器更具擴(kuò)展性。在相同設(shè)置下訓(xùn)練了S-S、S-B和B-L規(guī)模的1D/2D分詞器（均使用語(yǔ)義正則化）。如下圖9所示，1D分詞器始終獲得更好的rFID和自回歸探測(cè)線性分類準(zhǔn)確率。在自回歸探測(cè)gFID指標(biāo)上，1D分詞器展現(xiàn)出更陡峭的擴(kuò)展趨勢(shì)，最終在模型規(guī)模擴(kuò)大時(shí)超越2D分詞器。我們將1D分詞器的優(yōu)越擴(kuò)展性歸因于其更低的歸納偏置。

系統(tǒng)級(jí)對(duì)比

實(shí)驗(yàn)設(shè)置：使用GigaTok進(jìn)行token化，在256×256 ImageNet訓(xùn)練集上對(duì)LlamaGen AR模型進(jìn)行300個(gè)epoch的訓(xùn)練，與其他方法進(jìn)行對(duì)比。未采用AdaLN方法，因其專為類別條件生成設(shè)計(jì)。為公平比較rFID，提供了使用DINO判別器訓(xùn)練的B-L分詞器結(jié)果。但實(shí)際發(fā)現(xiàn)DINO判別器對(duì)LPIPS提升有限，且可能影響十億級(jí)分詞器的訓(xùn)練穩(wěn)定性，故未將其納入主要設(shè)計(jì)。

實(shí)驗(yàn)結(jié)果：如下表3所示，29億參數(shù)GigaTok在所有離散分詞器中實(shí)現(xiàn)了最優(yōu)的重建性能(rIFD)。此外，配合29億參數(shù)分詞器，下游14億參數(shù)AR模型在LLM風(fēng)格的自回歸下一token預(yù)測(cè)模型中取得了最佳的圖像生成性能(gFID)。VAR采用下一尺度預(yù)測(cè)而非下一token預(yù)測(cè)，與語(yǔ)言模型兼容性較差。本文的模型僅使用簡(jiǎn)單的LLM風(fēng)格下游AR生成器（不含VAR等視覺(jué)專用設(shè)計(jì)）就達(dá)到了與VAR相當(dāng)?shù)膅FID。更重要的是，基于29億分詞器訓(xùn)練的14億AR模型通過(guò)視覺(jué)生成式預(yù)訓(xùn)練獲得了最優(yōu)的線性探測(cè)準(zhǔn)確率，表明GigaTok能幫助下游生成模型學(xué)習(xí)更好的表征。這種通過(guò)生成式預(yù)訓(xùn)練獲得的高質(zhì)量表征，可能有助于未來(lái)原生多模態(tài)模型統(tǒng)一生成與理解能力。

討論與消融研究

生成成本討論

在圖像生成過(guò)程中，AR模型需多次前向傳播預(yù)測(cè)token，而分詞器僅需單次前向傳播。因此，相較于AR模型，分詞器將token解碼為圖像的時(shí)間占比極小。表4記錄了不同分詞器/AR模型中分詞器解碼的時(shí)間占比：對(duì)于14億參數(shù)AR模型，我們最大的29億參數(shù)分詞器僅占總推理時(shí)間的約10%。

語(yǔ)義正則化最佳層搜索

探索了Transformer解碼器中用于計(jì)算語(yǔ)義正則化（公式1）的中間

預(yù)訓(xùn)練語(yǔ)義編碼器選擇

本文比較了CLIP-B (DFN)、SigLIP-400和DINOv2-B作為S-B分詞器的語(yǔ)義正則化源。下表6顯示：

• 采用DINOv2-B作為語(yǔ)義編碼器時(shí)，分詞器在重建、下游類別條件生成和表征質(zhì)量上均表現(xiàn)最佳

語(yǔ)義正則化權(quán)重探索

結(jié)論

本文研究并解決了視覺(jué)分詞器擴(kuò)展過(guò)程中的重建與生成困境。發(fā)現(xiàn)該困境源于更大規(guī)模分詞器中不斷增加的隱空間復(fù)雜度。通過(guò)注入預(yù)訓(xùn)練表征并與分詞器特征對(duì)齊，提出語(yǔ)義正則化方法來(lái)有效約束分詞器隱空間。這種語(yǔ)義正則化結(jié)合我們探索的若干關(guān)鍵實(shí)踐，最終實(shí)現(xiàn)了首個(gè)30億參數(shù)的分詞器GigaTok，在重建質(zhì)量、下游AR生成性能和下游AR表征質(zhì)量上均達(dá)到SOTA水平。

本文轉(zhuǎn)自AI生成未來(lái) ，作者：AI生成未來(lái)

原文鏈接:??https://mp.weixin.qq.com/s/qRevutdSGTOBrdqYOmeAxQ??