在AR/VR社交、娛樂等應用中，你常常需要先創建個性化的3D形象來代表自己，那么如果未來AR/VR發展到頭號玩家電影中那樣沉浸的樣子，那么創建一個外觀接近人類的3D虛擬形象則越來越關鍵。就目前來講，并沒有一個通用的3D人像掃描方案，大多數AR/VR場景可能需要你去容積捕捉工作室去創建自己的3D形象，成本較高因而難以普及。

為了解決這一問題，德國比勒費爾德大學、維爾茨堡大學和多特蒙德大學的科研人員研發了一種利用中端智能手機就能生成3D虛擬形象的技術，其特點是只需要約20分鐘即可完成掃描，可捕捉到鞋的細節、服裝的紋理、亮度、陰影。掃描出的虛擬形象支持骨骼綁定，面部也可以設置表情變化。

科研人員表示：AR/VR娛樂、社交、互動式場景對于虛擬人像的逼真度要求越來越高，包括外在細節、動作、行為，通常只能通過幾十顆攝像頭完成的人像捕捉任務，現在通過基于手機的低成本方案即可完成，效果也足夠優秀。

據青亭網了解，該方案由兩部分組成，分別拍攝身體和頭部，拍攝一個人只需要12分鐘左右。通常，用手機進行3D建模的時候，會一次性對同一物體進行完整掃描和捕捉，德國科研人員的方案的不同之處在于，將頭部和身體分為兩個部分去拍攝，可捕捉到更多細節。

在捕捉頭部的過程中，拍攝者只需要用手機圍繞被拍攝者的頭部轉一圈拍攝，在捕捉身體的過程中，首先對包括頭部在內的上半身轉一圈拍攝，接著對下半身再拍攝一圈。

經過對比實驗顯示，基于智能手機的方案3D捕捉接近48顆攝像頭容積捕捉的效果。此外，效果也比目前低成本的單目掃描方案更好。

細節方面，這組科研人員利用Google Pixel 3的4K分辨率/30Hz攝影模式來進行拍攝，該機型定價400美元，據稱市面上同樣支持4K拍攝的手機也能得到相似的效果。整個拍攝過程持續110秒，其中全身視頻捕捉需要80秒，頭部捕捉30秒。

在用手機拍攝后，算法可從拍攝的視頻中捕捉135個關鍵節點，包括25個全身節點（用來合成2D骨骼）、42個雙手勢節點、68個面部節點。通過多視角3D重建，以及從每一幀圖像實時分析光流、預測實時生成兩組密集的點云數據。通過攝影測量軟件Agisoft Metashape來處理并生成點云數據，然后結合bounding box，來優化數據和算法。

由于通過手機攝像頭捕捉到的虛擬人像網格存在噪點、異常值、數據缺失等問題，于是科研人員將捕捉到的人體節點與預設的模板進行匹配，包括對其位置、方向、比例等參數，模板網格對識別到的網格進行調整，填補缺失的數據，以此來完成3D幾何網格的重建。

接著，科研人員對重建的3D網格進行紋理渲染，通過圖像分割和拼接方式來優化紋理渲染的過程。據悉，圖像分割優化減少紋理的數量，用大塊紋理去替代細碎的紋理。效果比Agisoft Metashape直接生成的紋理更清晰，細節更多。

整個過程耗時20分鐘，其中4分鐘進行3D捕捉，7分鐘處理和生成點云數據，2分鐘節點識別與模板匹配，7分鐘生成紋理。通過Faceware Studio（無標記3D面部動捕方案）和Unity Live插件，可以實時控制表情。也就是說，掃描出的3D人像可直接通過實時姿態和表情捕捉軟件來控制，應用在AR/VR社交場景中足夠方便。

在對比實驗中，科研人員對33人進行掃描，結果發現發現基于智能手機的方案3D捕捉接近48顆攝像頭容積捕捉的效。不過深色服裝難以被掃描，被掃描的人需要保持靜止，任何明顯的動作可能會影響掃描數據準確性，而且掃描眼鏡、頭發、飾品等物品也具有挑戰。

總之，在這個實驗中科研人員發現，對頭部的二次掃描可大幅提升面部建模的效果和細節，未來，還可以對手臂等其他部位單獨二次掃描，以提升掃描效果和準確性。

同時，3D重建的虛擬人輪廓需要匹配細致的紋理，以及適合的骨骼。市面上的方案成本較高，而本文中的這個3D掃描方案足夠低成本，使用方面，有望為虛擬形象和交互式媒體帶來更多應用。