本文經AI新媒體量子位（公眾號ID:QbitAI）授權轉載，轉載請聯系出處。

 我們在打游戲、看動漫的時候，遇到過不少這樣的情況：

感覺哪里不太對……

現在，這些3D人體模型可以得到改進了~體態更逼真、褶皺更自然、肌肉更飽滿：

連情緒都顯得更投入了……

甚至肌肉顫動也清晰可見：

這么一對比，差距很明顯了~

不僅動畫質量更高，這種新方法還大量減少了人工參與，制作速度更快了。

要知道，以前的動畫需要繁瑣的步驟，比如：搭建骨骼、蒙皮、刷權重等等……動畫師往往要為此修煉數年，效果還常常不盡人意。

現在，只需一個神經網絡就能搞定。

不僅如此，它還可以從形象中預測骨骼，并綁定權重，更容易地用運動捕捉來制作動畫。

這一研究成果，由北京大學、北京電影學院等高校和機構合作完成。

相關論文《Learning Skeletal Articulations with Neural Blend Shapes》在SIGGRAPH 2021上發表，代碼現已開源。

提出神經融合形狀技術

團隊開發了一套神經網絡，用來生成具有指定結構的骨骼，并且精準綁定骨骼的蒙皮權重。

它由兩個部分組成：包裹變形分支（envelope deformation branch）和補償變形分支（residual deformation branch）。

其中，包裹變形分支通過間接監督，學習由偏移量組成的特定骨架層次的裝配參數，最后從輸入角色中預測出骨架、蒙皮和權重綁定。

你可能會說，常用的動畫制作工具Mixamo中，也有綁定和蒙皮。

但是新方法能做的不只這些，它還可以準確預測與模型高度匹配的骨骼，并綁定權重。

從而更容易進行動作捕捉，制作動畫：

并且，利用一種神經融合形狀（neural blend shapes）技術，補償變形分支可以根據輸入的網格連接，來預測對應的融合形狀（blend shapes）。

與此同時，根據關節旋轉預測融合系數，然后基于此插值得到補償變形。

比如，神經混合形狀會糾正肌肉的形狀，準確保留鼓起的肌肉：

與LBS（線性混合蒙皮）算法的效果相比，細節處理得更好：

與三維動畫制作軟件Blender的效果對比：（小肚腩被完美保留了）

除此之外，研究團隊還對神經混合形狀系數進行了可視化，可以看到左側輸出的形象，與右側相應的姿勢綁定。

并且，通過顏色變化，表現各關節的混合形狀系數激活程度。

利用這一方法，神經網絡只需觀察變形后的人物模型進行間接學習，而不需要對訓練數據集的變形方法有任何限制，極大擴大了適用范圍。

最終實現了，實時、高質量的三維人物模型動畫端到端自動生成。

一作來自北大圖靈班

團隊由來自北京大學陳寶權教授研究團隊、北京電影學院未來影像高精尖創新中心、Google Research、特拉維夫大學，以及蘇黎世聯邦理工學院的研究人員組成。

論文一作，是來自北大圖靈班的一名本科生——李沛卓。

他畢業于重慶一中，曾入選信息學競賽省隊，2017年高考以687分考入北大。

目前，李沛卓師從陳寶權教授，研究方向是深度學習和計算機圖形學，正在北京大學視覺計算與學習實驗室和北京電影學院未來影像高精尖創新中心（AICFVE）實習。

此前，他已有論文登上SIGGRAPH。在與量子位交流時，他曾表示對圖形學特別感興趣。

論文的更多細節，感興趣的小伙伴，可以戳鏈接了解詳情。

項目主頁：
https://peizhuoli.github.io/neural-blend-shapes/
論文地址：
https://peizhuoli.github.io/neural-blend-shapes/papers/neural-blend-shapes-camera-ready.pdf