直觀即時繪制3D模型，可添加文本提示，VAST又開源了
3D生成明星玩家VAST，又又又又又開源了！
Tripo Doodle（內部代號TripoSG Scribble) ，能夠將簡單的2D草圖和文本提示（Text Prompt）實時轉化為精細的3D模型。
它改進了傳統3D建模學習曲線陡峭、耗時耗力的痛點，尤其是在初期“打形”階段。
現在，該項目的關鍵組件已經開源。
通過Tripo Doodle，用戶可以：
- 直觀繪制（Sketch Intuitively）：在畫布上隨手勾勒簡單的 2D 形狀和線條。
- 添加文本提示（Add Text Prompts）：通過文字輸入，賦予模型語義信息或特定屬性。
- 即時生成（Generate Instantly）：實時看到基于草圖和文本生成的 3D 模型，并隨著輸入的修改而動態更新。
在SIGGRAPH Asia 2024 Real-Time LIVE! 的首次亮相中，Tripo Doodle展示了一個“萬物皆可畫”的未來——3D 建模可以像2D涂鴉一樣流暢自然、觸手可及。
它讓創作者能從繁瑣的工具操作中解放出來，將精力完全聚焦于創意本身。
基于TripoSG的實時交互延伸
Tripo Doodle是一款旨在徹底簡化并加速3D創作流程的全新交互界面。
值得注意的是，Tripo Doodle并非從零構建，它巧妙地利用并擴展了VAST旗下TripoSG基礎模型的能力，并針對實時、多模態交互進行了創新：
首先來了解一下TripoSG基礎模型（TripoSG Base Model）。
TripoSG是它的底層引擎，它是一圖像到3D（Image-to-3D）形狀生成模型。
該模型開創性地采用了大規模整流流 Transformer（Large-Scale Rectified Flow Transformer）架構，能在精選數據集上進行訓練，直接從條件輸入（基礎模型通常是圖像）生成高保真3D網格。
其內部通過定制的VAE管理精確的符號距離函數（Signed Distance Function, SDF）表征。
其次是多模態條件注入（Multimodal Conditioning - Sketch + Text）。
Tripo Doodle的核心突破在于增強了TripoSG，使其能夠理解并同時融合草圖和文本兩種輸入模態。
其一，草圖引導（Sketch Guidance）。
2D繪圖提供了強幾何約束，定義了3D模型的核心形狀、結構和姿態。
其二，文本引導（Text Guidance）。
自然語言提示則負責引導語義理解，影響物體的類型、風格和具體特征（例如，演示中加入“dragon”文本提示，就能將一個基礎的怪獸草圖轉化為龍形態）。
再者還有實時性能優化（Real-Time Optimization - 例如蒸餾技術）。
為了實現“涂鴉”體驗所必需的近乎實時的生成速度，Tripo Doodle采用了CFG Distillation等優化技術。
通過訓練一個更快的“學生”模型來模擬（或“學習”）更大TripoSG 模型的輸出能力，從而實現能在用戶連續輸入時進行快速推理和實時更新。
從概念到初步3D可視化的時間縮短至秒級
SIGGRAPH Asia 2024 Real-Time LIVE! 現場，Tripo Doodle生動演示了自己的能力。
以下實例突顯了Tripo Doodle如何將從概念到初步3D可視化的時間縮短至秒級，讓3D創作變得前所未有的簡單和有趣。
輕松創建
無論是植物、桌子、戒指還是怪獸，簡單的幾筆草圖都能即時轉化為3D物體。
實時迭代
隨著用戶繪制、擦除、修改草圖，或添加/更改文本提示（如將普通怪獸變為“烏龜怪獸”或帶翅膀的“龍怪獸”），3D模型會動態、無縫地更新。
創意探索
“Randomize”（隨機化）功能允許用戶基于同一份草圖和文本輸入，快速瀏覽多種不同的、合理的3D解釋，極大地促進了創意發散。
易用性與效率
“Doodle 1v1” 環節中，觀眾成員在30秒內創作怪獸。
即使是初次使用者，也能快速上手并創造出如“番茄怪獸”、“毛毛蟲怪獸”等充滿趣味（有時甚至出人意料）的作品，充分證明了其直觀性和高效性。
一直以來，VAST致力于通過開放合作推動領域發展。
此次，TripoSG Scribble（即Tripo Doodle）與TripoSG的核心組件都將對外開放。
VAST誠邀全球的研究者、開發者和創作者們，深入探索TripoSG及Tripo Doodle背后的技術理念，在其基礎上構建應用。
TripoSG-Scribble抱抱臉：
https://huggingface.co/spaces/VAST-AI/TripoSG-scribble
TripoSG抱抱臉：
https://huggingface.co/spaces/VAST-AI/TripoSG
TripoSG GitHub：
https://github.com/VAST-AI-Research/TripoSG
TripoSG arXiv：
https://arxiv.org/abs/2502.06608
