上科大、影眸聯合提出DressCode：從文本生成3D服裝板片
3D生成是生成式人工智能和計算機圖形學領域最引人注目的話題之一，符合影視、游戲標準的3D生成尤其受產業界關注。在生產流程中，一般品類的3D資產往往通過手工建模或者掃描的方式制作。但作為3D資產的一個重要類別，服裝資產的往往來源于平面板片與物理模擬等流程，而不是直接在3D上建模。
上海科技大學、影眸科技與賓夕法尼亞大學聯合提出DressCode，它是首個完全支持 CG 操作，能夠兼容到工業流程的 3D 服裝生成框架，并通過文本的引導，實現自動生成具有高質量渲染效果、可編輯、可驅動、可仿真的 3D 服裝。
Dresscode已經被計算機圖形領域國際頂級期刊 Transactions on Graphics 接收，并將在國際計算機圖形頂級會議 SIGGRAPH 2024 上展示。
- 項目鏈接：???https://sites.google.com/view/projectpage-dresscode???
- 論文鏈接：???https://arxiv.org/abs/2401.16465???
引言
服裝在人類外觀中扮演著重要角色，這突顯了服裝數字化對于數字人創造的重要性。近期在 3D 內容創造領域的巨大進展對于數字人的創造至關重要。
然而，對于服裝生成的工作仍有空缺，由于通用生成方法生成的網格或神經場與實際數字服裝生產流程不兼容，使這類方法直接應用于服裝類別并未能達到很好的效果。
為了解決這些問題，來自影眸科技與上海科技大學的研發團隊提出了一個文本驅動的 3D 服裝生成框架——DressCode，旨在為初學者設計數字服裝簡單化，并在時尚設計、虛擬試穿和數字人創造提供巨大潛力。
該框架可以通過自然語言交互生成對 CG 流程友好的服裝模型，并且還便于版片補全和紋理編輯， 通過用戶友好的交互簡化了設計過程。本文將對 DressCode 的主要功能進行詳細介紹，并探討其在實際設計場景中的應用前景。
SewingGPT 框架概述
對于版片生成模塊，該論文提出了 SewingGPT，這是一個基于 GPT 的自回歸模型，用于通過文本提示生縫紉版片。其首先將縫紉版片參數轉換為一系列量化的token，訓練了一個 Decoder-only Transformer。并通過在Transformer中融合使用文本提示詞的交叉關注力，來達到用文本來引導生成結果。
訓練完成后，該模型可以根據用戶條件自回歸地生成token序列，并將生成的序列經過反向量化來得到生成的縫紉版片參數。
DressCode 框架概述
借助 SewingGPT，該框架能夠直接從文本提示中生成多樣化的縫紉版片。由于材質貼圖在 CG 流程中非常關鍵，該框架為這些版片生成相應的基于物理的紋理，更緊密地與服裝設計工作流程相契合。
作者們提出的DressCode框架，通過利用 SewingGPT 和 PBR 紋理生成器來生成3D服裝的幾何部分與紋理部分，并且進一步利用大型語言模型通過自然語言交互為用戶創建定制服裝。
在實現通過文本提示生成縫紉版片和紋理之后，為了在實際場景中使設計師能夠使用自然語言與生成器交互，而不是依賴于數據集格式的提示，作者們采用 GPT-4 進行內容學習，以解釋用戶的自然語言輸入，生成幾何提示詞和紋理提示詞。
這些提示詞輸入到 SewingGPT 和 PBR 紋理生成器后，得到生成的縫紉版片與紋理，并經過仿真、渲染得到最終的結果。同時，生成的服裝以及 PBR 紋理可以被無縫整合到工業軟件中，可以與人體模型進行動畫驅動，并在各種照明下進行渲染，確保生動、逼真的效果。
版片補全能力
得益于自回歸模型，SewingGPT可以通過利用模型提供的概率預測，在接收到部分版片信息后補全整個縫紉版片。此外，輸入一個文本提示可以指導模型補全縫紉版片。如給定一個袖子后， 該模型能夠根據不同的提示補全完成各種縫紉版片。這使得用戶能夠手動設計部分版片，利用 SewingGPT 進行靈感激發并基于文本提示來補全服裝。
紋理編輯能力
在近期大多 3D 生成任務中，無法產生結構化的 UV 映射是對實際應用場景一個重大障礙，尤其是在生成服裝時，使其無法用于實際設計場景。本文提出的生成方法，利用縫紉版片表示，使得能夠創建每個版片獨特且結構化的 UV 映射。這也促使用戶可以在特定位置便捷得編輯紋理，支持對紋理貼圖進行高效的后處理。
應用和展望
DressCode 框架在與其他方法比較中取得了優異的成績，該框架作為第一個基于縫紉版片的服裝生成工作，能夠讓初學者和專業設計師都能通過簡單的文本提示生成高質量的縫紉版片和 PBR 紋理，使服裝設計流程大幅簡單化。
DressCode 的易用性和創新方法有望推動數字服裝的未來發展。這類以縫紉版片為基礎的生成任務，將推動虛擬試穿、時尚設計和數字人創造的數字服裝領域的發展，讓我們共同期待。
本文轉自 機器之心 ，作者：機器之心
