圖片

字節(jié)推出的 BAGEL 是一個開源的統(tǒng)一多模態(tài)模型，他們直接開源了GPT-4o級別的圖像生成能力。（輕松拿捏“萬物皆可吉卜力”玩法~）。可以在任何地方對其進行微調(diào)、提煉和部署，它以開放的形式提供與 GPT-4o 和 Gemini 2.0 等專有系統(tǒng)相當?shù)墓δ埽ㄟ^能夠?qū)崿F(xiàn)精確、準確和逼真的輸出的原生多模態(tài)架構(gòu)解鎖有用且有價值的圖像生成。

效果展示

聊天

BAGEL 是一個統(tǒng)一的生成和理解模型，它基于大型語言模型進行初始化預(yù)訓練，從而為其提供了推理和對話的基礎(chǔ)能力。BAGEL 可以處理圖像和文本的混合格式輸入和輸出。

生成效果

BAGEL 已基于大規(guī)模交錯視頻和網(wǎng)頁數(shù)據(jù)進行預(yù)訓練，使其能夠生成高保真、逼真的圖像、視頻幀或交錯的圖文內(nèi)容。交錯數(shù)據(jù)經(jīng)過適當?shù)膶R，能夠構(gòu)建自然的多模態(tài)思維鏈，使模型能夠生成視覺輸出。

編輯

通過對交錯視頻片段進行預(yù)訓練，BAGEL 能夠自然地學習保留視覺特征和精細細節(jié)，同時還能捕捉視頻中復(fù)雜的視覺運動，從而高效地進行圖像編輯。憑借源自視覺語言模型的強大推理能力，BAGEL 的智能編輯能力輕松超越了基礎(chǔ)編輯任務(wù)。

風格轉(zhuǎn)換

憑借對視覺內(nèi)容和風格的深刻理解，BAGEL 可以輕松地將圖像從一種風格轉(zhuǎn)換為另一種風格，甚至可以將其轉(zhuǎn)換為完全不同的風格，只需使用最少的對齊數(shù)據(jù)即可。

作品

BAGEL 從視頻、網(wǎng)絡(luò)和語言數(shù)據(jù)中學習廣泛的知識和能力，使其能夠進行推理、建模物理動態(tài)、預(yù)測未來幀等等——所有這些都通過統(tǒng)一的多模態(tài)界面實現(xiàn)。憑借其組合能力，BAGEL 可以無縫地進行多輪對話。

相關(guān)鏈接

• 主頁：https://bagel-ai.org/
• 論文：https://arxiv.org/abs/2505.14683
• 模型：https://huggingface.co/ByteDance-Seed/BAGEL-7B-MoT

方法

BAGEL 采用混合 Transformer-專家 (MoT) 架構(gòu)，以最大限度地提升模型從豐富多樣的多模態(tài)信息中學習的能力。遵循同樣的容量最大化原則，它利用兩個獨立的編碼器來捕捉圖像的像素級和語義級特征。整體框架遵循“下一組標記預(yù)測”范式，其中模型被訓練為預(yù)測下一組語言或視覺標記作為壓縮目標。

BAGEL 通過對涵蓋語言、圖像、視頻和網(wǎng)絡(luò)數(shù)據(jù)的數(shù)萬億個交錯多模態(tài)標記進行預(yù)訓練、持續(xù)訓練和監(jiān)督微調(diào)來擴展 MoT 的容量。它在標準理解和生成基準上超越了開放模型，并展示了先進的上下文多模態(tài)能力，例如自由格式圖像編輯、未來幀預(yù)測、3D 操作、世界導航和序列推理。

隨著我們擴展 BAGEL 的預(yù)訓練，添加更多多模態(tài)標記，我們觀察到理解、生成和編輯任務(wù)的性能持續(xù)提升。不同的能力在不同的訓練階段顯現(xiàn)——多模態(tài)理解和生成能力出現(xiàn)較早，隨后是基礎(chǔ)編輯能力，而復(fù)雜的智能編輯能力則在后期顯現(xiàn)。這種階段性進展表明了一種新興模式，即高級多模態(tài)推理建立在完善的基礎(chǔ)技能之上。消融研究進一步表明，將 VAE 與 ViT 特征相結(jié)合可以顯著提升智能編輯能力，這凸顯了視覺語義語境在實現(xiàn)復(fù)雜多模態(tài)推理方面的重要性，并進一步支持了其在高級能力涌現(xiàn)中的作用。

基準

理解