設(shè)定一個(gè)3D場景，你便可以用文字編織你的劇情。

一句話，就能讓兩個(gè)人激烈爭吵。

吵完之后，又溫馨共舞起來~

想怎么排就怎么排，就像影視拍攝或舞臺(tái)劇的編排一樣，只需在劇本中設(shè)定角色的行動(dòng)、互動(dòng)和環(huán)境要素，就能自動(dòng)生成符合邏輯的3D角色動(dòng)畫，讓你的劇情真正“動(dòng)”起來。

來自北京航空航天大學(xué)、香港中文大學(xué)（深圳）、悉尼科技大學(xué)、中山大學(xué)等高校的研究者提出Sitcom-Crafter。成果已被ICLR 2025會(huì)議接收。

作為一項(xiàng)探索性研究，它重點(diǎn)解決基于場景的多人交互運(yùn)動(dòng)生成問題，嘗試如何整合多種動(dòng)作生成技術(shù)，為創(chuàng)意工作者提供更加高效的工具。

來看看是如何解決的吧。

助你打造3D劇情世界

你是否曾夢想，只需撰寫一個(gè)劇本，就能在3D場景中自動(dòng)呈現(xiàn)生動(dòng)的角色演出？現(xiàn)在，這一愿景正逐步成為現(xiàn)實(shí)！

在動(dòng)畫和游戲制作中，角色的動(dòng)作設(shè)計(jì)是一項(xiàng)關(guān)鍵任務(wù)，通常需要人工精細(xì)調(diào)節(jié)或依賴昂貴的動(dòng)作捕捉技術(shù)。

而現(xiàn)有的自動(dòng)化方案往往局限于單一類型的動(dòng)作，難以滿足復(fù)雜劇情中多人互動(dòng)和場景交互的需求。

Sitcom-Crafter的核心創(chuàng)新在于場景感知的多人交互運(yùn)動(dòng)生成。

在多人互動(dòng)的3D劇情動(dòng)畫中，角色之間的動(dòng)作協(xié)調(diào)和場景適應(yīng)性是決定動(dòng)畫質(zhì)量的關(guān)鍵。Sitcom-Crafter提出了場景感知的角色-角色交互生成模塊，專門解決多人交互中的碰撞、動(dòng)作同步以及場景適應(yīng)性等問題。

現(xiàn)有的多人交互運(yùn)動(dòng)生成方法未考慮3D場景信息，直接應(yīng)用到3D場景時(shí)，角色容易與環(huán)境物體發(fā)生嚴(yán)重碰撞。

Sitcom-Crafter采用自監(jiān)督SDF（Signed Distance Function）策略，在訓(xùn)練過程中自動(dòng)生成環(huán)境3D體素點(diǎn)信息，自動(dòng)標(biāo)注哪些區(qū)域可行走，哪些為障礙物：

• 提取角色運(yùn)動(dòng)軌跡，生成3D網(wǎng)格模型
• 計(jì)算步行區(qū)域的凸包，標(biāo)記角色可活動(dòng)的地面范圍
• 合成3D障礙物，通過二值SDF計(jì)算物體分布
• 將SDF作為模型條件輸入，在生成過程中主動(dòng)規(guī)避場景碰撞

基于此，Sitcom-Crafter在無需額外數(shù)據(jù)采集的情況下，利用已有的人體標(biāo)記點(diǎn)數(shù)據(jù)智能推測場景信息，自動(dòng)生成物理合理的互動(dòng)，使角色動(dòng)作更加自然。這一創(chuàng)新降低了數(shù)據(jù)成本，提高了創(chuàng)作效率，為動(dòng)畫和游戲行業(yè)提供了一種新的探索方向。

數(shù)據(jù)規(guī)范化策略，優(yōu)化角色交互建模

傳統(tǒng)方法在多人交互數(shù)據(jù)處理時(shí)，采用單角色歸一化，即將一個(gè)角色固定在原點(diǎn)，另一角色相對(duì)其位置進(jìn)行建模。然而，這種方式導(dǎo)致模型難以同時(shí)學(xué)習(xí)兩位角色的動(dòng)態(tài)特性。

Sitcom-Crafter提出了雙角色局部歸一化策略：

• 每個(gè)角色的骨盆位置，作為局部坐標(biāo)原點(diǎn)
• 所有骨架標(biāo)記點(diǎn)，相對(duì)于角色自身骨盆位置計(jì)算
• 僅對(duì)骨盆的全局位移建模，簡化數(shù)據(jù)分布

通過這一策略，Sitcom-Crafter使兩位角色的運(yùn)動(dòng)分布更加一致，避免了傳統(tǒng)方法中一方角色較易學(xué)習(xí)，而另一方角色較難學(xué)習(xí)的問題。

多模塊協(xié)同，讓角色動(dòng)作更加自然

Sitcom-Crafter采用“核心動(dòng)作生成”+“增強(qiáng)優(yōu)化”的雙類型模塊架構(gòu)，以確保動(dòng)作的多樣性、流暢性與一致性。

三大核心生成模塊——支撐劇情中最重要的角色動(dòng)作

角色移動(dòng) （Locomotion）：基于前沿技術(shù)，角色可在3D場景中自然行走。
角色-場景交互 （Human-Scene Interaction）：角色可感知環(huán)境，與物體進(jìn)行符合物理邏輯的交互。
角色-角色互動(dòng) （Human-Human Interaction）：采用創(chuàng)新的3D場景感知方法，減少角色之間及角色與場景的碰撞，使動(dòng)作更加協(xié)調(diào)。

五大增強(qiáng)模塊——讓生成的動(dòng)畫更具沉浸感

• 劇情解析：AI自動(dòng)拆解劇本，轉(zhuǎn)化為具體的角色動(dòng)作指令。
• 動(dòng)作同步：確保多個(gè)角色在互動(dòng)時(shí)節(jié)奏匹配，避免生硬的動(dòng)作銜接。
• 手勢優(yōu)化：智能匹配手部動(dòng)作，使角色的表現(xiàn)更加生動(dòng)自然。
• 碰撞修正：檢測并修復(fù)角色之間的潛在碰撞問題，提升動(dòng)畫流暢度。
• 3D角色重定向：將動(dòng)作適配至不同風(fēng)格的3D角色模型，保證最終視覺效果。

Sitcom-Crafter充分展現(xiàn)了其在智能化角色動(dòng)畫生成方面的強(qiáng)大潛力。實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)能夠在多個(gè)開源3D場景中生成多樣化且符合物理約束的角色動(dòng)作。下圖摘錄的部分實(shí)驗(yàn)數(shù)據(jù)進(jìn)一步驗(yàn)證了Sitcom-Crafter在物理一致性和約束生成能力方面的卓越表現(xiàn)。

（FS：足部滑動(dòng)檢測、FP：足部穿透檢測、HSP：角色與場景碰撞檢測、HHP：角色間干擾檢測）

Sitcom-Crafter在3D劇情動(dòng)畫和游戲制作領(lǐng)域展現(xiàn)出廣闊的應(yīng)用前景，為多角色動(dòng)作生成提供了創(chuàng)新性的解決方案，進(jìn)一步推動(dòng)了角色動(dòng)畫創(chuàng)作的智能化進(jìn)程。

項(xiàng)目主頁：
https://windvchen.github.io/Sitcom-Crafter/

論文鏈接：https://arxiv.org/abs/2410.10790