今天,給大家介紹上大、騰訊等提出的3D服裝合成新方法ClotheDreamer,它以其革命性的能力,從簡單的文本提示直接生成高保真、可穿戴的3D服裝資產(chǎn),正在重塑電商與空間計算領域的未來。數(shù)字人也能實現(xiàn)穿、脫衣自由了!

相關鏈接

論文閱讀：https://arxiv.org/pdf/2406.16815

代碼地址：https://github.com/ggxxii/clothedreamer（即將開源）

項目地址：https://ggxxii.github.io/clothedreamer/

論文閱讀

clothedreaming:文本引導的3D高斯服裝生成

摘要

從文本合成高保真 3D 服裝對于數(shù)字化身創(chuàng)建來說既是理想的也是具有挑戰(zhàn)性的。最近基于擴散的分數(shù)蒸餾采樣 (SDS) 方法已經(jīng)實現(xiàn)了新的可能性，但要么與人體錯綜復雜地耦合，要么難以重復使用。

我們介紹了 ClotheDreamer，這是一種基于 3D 高斯的方法，用于從文本提示生成可穿戴、可用于生產(chǎn)的 3D 服裝資產(chǎn)。我們提出了一種新穎的表示解纏結(jié)服裝高斯濺射 (DCGS) 來實現(xiàn)單獨優(yōu)化。DCGS 將穿衣的化身表示為一個高斯模型，但凍結(jié)了身體高斯濺射。為了提高質(zhì)量和完整性，我們結(jié)合雙向 SDS 分別監(jiān)督穿衣的化身和服裝 RGBD 渲染和姿勢條件，并提出了一種針對寬松服裝的新修剪策略。

我們的方法還可以支持自定義服裝模板作為輸入。得益于我們的設計，合成的 3D 服裝可以輕松應用于虛擬試穿并支持物理精確的動畫。大量實驗證明了我們方法的卓越和競爭力。

方法

ClotheDreamer 概述。給定一個文本描述，我們首先利用 ChatGPT 確定衣服 ID 類型以進行初始化。我們引入了解纏衣服高斯濺射 (DCGS)，它將穿衣服的化身表示為單高斯模型，但凍結(jié)身體高斯濺射以實現(xiàn)單獨的監(jiān)督。借助解析高斯濺射 (GS) 渲染，我們使用 Bidreactional SDS 分別根據(jù)姿勢條件指導衣服和身體 RGBD 渲染。我們還支持模板網(wǎng)格輸入，用于多功能個性化 3D 服裝生成。

服裝類型。我們提供了六個常用組來初始化零拍攝服裝生成中的DCGS。

高斯初始化的重要性。用雙高斯模型渲染穿衣服的角色時可能會出現(xiàn)偽影。

實驗

動畫結(jié)果

###自動試穿 ClotheDreamer 生成的服裝可以適合不同的體形。

服裝文本生成的定性比較。我們比較了最新的最先進的3D生成基線在七種不同的服裝文字描述。請注意，紅色文本強調(diào)未完成的服裝生成，而橙色箭頭表示多余人體部位的幾何偽影。

模板引導服裝生成結(jié)果

雙向SDS制導的消融研究

松衣修剪策略的消融研究

適合不同體型的DCGS服裝

結(jié)論

本文介紹了 ClotheDreamer，這是一種從文本提示生成多樣且可穿戴的3D服裝的創(chuàng)新方法。本文提出了一種新穎的表示方法，名為Disentangled Clothe Gaussian Splatting (DCGS)，能夠有效地將衣服與身體解耦。本文還提出了雙向SDS指導，它分別監(jiān)督帶有姿態(tài)條件的服裝化身RGBD渲染，并引入了一種新的修剪策略，以增強寬松服裝的生成完整性。此外，本文展示了通過結(jié)合模板網(wǎng)格原語進行個性化生成的多樣性。本文的DCGS服裝可以通過模擬的網(wǎng)格先驗實現(xiàn)逼真的布料動畫。實驗和用戶研究表明，本文的方法在外觀和幾何質(zhì)量方面優(yōu)于最先進的方法。

局限性和未來工作。盡管 ClotheDreamer 展示了令人鼓舞的結(jié)果，但它仍然存在一些局限性。首先，本文的方法目前整合了上衣和下衣，更精細的解耦將適用于更復雜的試穿場景。其次，類似于其他基于SDS的方法，本文的方法在某些情況下也會出現(xiàn)顏色過飽和的問題。本文相信，探索改進SDS的方法可以幫助緩解這個問題。最后，探索為3D高斯表示disentangling lighting以增強逼真度也是一個有趣的未來方向。最后，disentangling lighting 增強真實感的 3D 高斯表示也是一個有趣的未來方向。