ICML 2024｜復雜組合3D場景生成，LLMs對話式3D可控生成編輯框架來了

作者：機器之心 2024-07-31 15:30:05

最近，來自北京大學王選計算機研究所的 VDIG 研究團隊與其合作者公布了最新研究成果 GALA3D。

該論文的第一作者和通訊作者均來自北京大學王選計算機研究所的 VDIG (Visual Data Interpreting and Generation) 實驗室，第一作者為博士生周嘯宇，通訊作者為博士生導師王勇濤。VDIG 實驗室近年來在 IJCV、CVPR、AAAI、ICCV、ICML、ECCV 等頂會上有多項代表性成果發表，多次榮獲國內外 CV 領域重量級競賽的冠亞軍獎項，和國內外知名高校、科研機構廣泛開展合作。

近年來，針對單個物體的 Text-to-3D 方法取得了一系列突破性進展，但是從文本生成可控的、高質量的復雜多物體 3D 場景仍然面臨巨大挑戰。之前的方法在生成場景的復雜度、幾何質量、紋理一致性、多物體交互關系、可控性和編輯性等方面均存在較大缺陷。

最近，來自北京大學王選計算機研究所的 VDIG 研究團隊與其合作者公布了最新研究成果 GALA3D。針對多物體復雜 3D 場景生成，該工作提出了 LLM 引導的復雜三維場景可控生成框架 GALA3D，能夠生成高質量、高一致性、具有多物體和復雜交互關系的 3D 場景，支持對話式交互的可控編輯，論文已被 ICML 2024 錄用。

論文標題：GALA3D: Towards Text-to-3D Complex Scene Generation via Layout-guided Generative Gaussian Splatting
論文鏈接：https://arxiv.org/pdf/2402.07207
論文代碼：https://github.com/VDIGPKU/GALA3D
項目網站：https://gala3d.github.io/

GALA3D 是一個高質量的 Text-to-3D 復雜組合場景生成與可控編輯框架。用戶輸入一段描述文本，GALA3D 能夠 zero-shot 地生成相應的具有多物體和復雜交互關系的三維場景。GALA3D 在保證生成 3D 場景與文本高度對齊的同時，展現了其在生成場景質量、多物體復雜交互、場景幾何一致性等方面的卓越性能。此外，GALA3D 還支持用戶友好的端到端生成和可控編輯，使得普通用戶能夠在對話式的交談中輕松定制和編輯 3D 場景。在與用戶的交流中，GALA3D 可以精準地實現復雜三維場景對話式的可控編輯，并根據用戶的對話實現復雜三維場景的布局變換、數字資產嵌入、裝修風格改變等多樣化的可控編輯需求。

方法介紹

GALA3D 的整體架構如下圖所示：

GALA3D 利用大型語言模型（LLMs）生成初始布局，并提出布局引導的生成式 3D 高斯表示構建復雜 3D 場景。GALA3D 設計通過自適應幾何控制優化 3D 高斯的形狀和分布，以生成具有一致幾何、紋理、比例和精確交互的 3D 場景。此外，GALA3D 還提出了一種組合優化機制，結合條件擴散先驗和文生圖模型，協作生成具有一致風格的 3D 多物體場景，同時迭代優化從 LLMs 提取的初始布局先驗，以獲得更加逼真準確的真實場景空間布局。廣泛的定量實驗和定性研究表明 GALA3D 在文本到復雜三維場景生成方面取得了顯著效果，超越現有文生 3D 場景方法。

a、基于 LLMs 的場景布局先驗

大語言模型展現了優異的自然語言理解和推理能力，本文進一步探索了 LLMs 大語言模型在 3D 復雜場景的推理和布局生成能力。如何在沒有人工設計的情況下獲得相對合理的布局先驗有助于減少場景建模和生成的代價。對此，我們使用 LLMs (例如 GPT-3.5) 對文本輸入的實例及其空間關系進行抽取，并生成相應的 Layout 布局先驗。然而，通過 LLMs 解讀的場景 3D 空間布局和 Layout 先驗與實際場景存在一定差距，通常表現生成懸浮 / 穿模的物體，比例差異過大的物體組合等。進一步地，我們提出了 Layout Refinement 模塊，通過基于視覺的 Diffusion 先驗和 Layout 引導的生成式 3D 高斯對上述生成的粗糙布局先驗進行調整和優化。

b、Layout Refinement

GALA3D 使用基于 Diffusion 先驗的 Layout 布局優化模塊對上述 LLMs 生成的布局先驗進行優化。具體地，我們將 Layout 引導的 3D 高斯空間布局的梯度優化加入 3D 生成過程，通過 ControlNet 對 LLM-generated Layouts 進行空間位置、旋轉角度和尺寸比例的調整，如圖展示了優化前后 3D 場景和 Layout 的對應關系。經過優化的 Layout 具有更加準確的空間位置和比例尺度，并且使得 3D 場景中多物體的交互關系更加合理。

c、布局引導的生成式 3D 高斯表示

我們首次將 3D-Layout 約束引入 3D 高斯表示，提出了布局引導的生成式 3D 高斯，用于復雜文生 3D 場景。Layout-guided 3D 高斯表示包含多個語義抽取的實例物體，其中每個實例物體的 Layout 先驗可以參數化為：

其中，N 代表場景中實例物體的總數。具體地，每一個實例 3D 高斯通過自適應幾何控制進行優化，得到實例級的物體 3D 高斯表示。進一步地，我們將多個物體高斯根據相對位置關系組合到全場景中，生成布局引導的全局 3D 高斯并通過全局 Gaussian Splatting 渲染整個場景。

d、自適應幾何控制

為了更好地控制 3D 高斯在生成過程中的空間分布和幾何形狀，我們提出了針對生成式 3D 高斯的自適應幾何控制方法。首先給定一組初始高斯，為了將 3D 高斯約束在 Layout 范圍內，GALA3D 使用一組密度分布函數來約束高斯橢球的空間位置。我們接著對 Layout 表面附近的高斯進行采樣來擬合分布函數。之后，我們提出使用形狀正則化控制 3D 高斯的幾何形狀。在 3D 生成的過程中，自適應幾何控制不斷優化高斯的分布和幾何，從而生成更具紋理細節和規范幾何的 3D 多物體與場景。自適應幾何控制還保證了布局引導的生成式 3D 高斯具有更高的可控性和一致性。