最近，高斯濺射（Gaussian Splatting）在新視角合成領域掀起了一輪革命性浪潮，取代上一代技術神經輻射場（NeRF）成為學界業界頂流。而真實場景往往是動態的，如何合成動態場景的新視角是更具價值與挑戰的領域。

?

隨著圖形學與AI的發展，數字資產的創造日益引起人們的重視。對于重建的真實場景進行編輯也是AIGC領域業內關注的熱門方向，其為制作數字資產提供了高效與便捷。

香港大學CVMI實驗室攜手3D大模型公司VAST與浙江大學，提出了目前SOTA的動態高斯濺射模型SC-GS，并支持用戶交互式實時編輯重建的場景。

△面向可編輯動態場景的稀疏控制高斯濺射

SC-GS支持用戶對重建的動態高斯進行實時交互編輯，制作新的場景運動或形狀：

使用鼠標的拖拽與鍵盤組合按鍵就能夠方便的操作。

△實時交互編輯

怎么做到的？

SC-GS的靈感來源于對自然世界大多數動態過程的觀察，由于物質大多數都是剛性或連續的，因此物體的移動往往可以由稀疏的變形基底表示，并不需要稠密的變形場進行建模。

摒棄了大多數現有方法對動態場景的變形場進行稠密建模的方案，SC-GS突破性地引入稀疏的控制點對動態場景的變形進行表示與建模，并由一個神經網絡預測每個控制點在不同時刻的運動狀態，從而驅動整個場景中的動態高斯進行變形。

SC-GS首先初始化少數各向同性的球狀高斯結合神經網絡預測的運動進行渲染，使用渲染結果擬合動態場景的多視角圖片，得到粗糙但不過擬合的變形場建模。

通過對這些球狀高斯進行降采樣，得到預設數量的稀疏控制點，并通過徑向基函數插值得到標準空間中各個高斯在不同時刻的變形參數進行驅動變形。

訓練過程中，稀疏控制點，神經網絡還有高斯共同訓練優化，實現動態場景的建模。

研究團隊發現稀疏控制點雖然能夠完美解決變形場過擬合到訓練視角的問題，但其重建的變形也會出現不符合真實物理的現象。這是由于控制點的運動缺乏物理約束，容易出現交錯與碰撞。

因此研究團隊引入了局部剛性約束，限制控制點與鄰接點形成的邊在運動過程發生非剛性變形，以讓控制點的運動規律盡可能地符合真實物理。

這一約束進一步提升了動態新視角合成的性能。

基于訓練完成的模型，通過分析控制點的軌跡，能夠得到控制點連接形成的圖結構與各個邊上的剛性權重。通過對該圖進行“盡可能剛性”（ARAP）的變形，能夠以符合物理的條件對建模場景進行編輯。

由于變形的對象是稀疏的控制點，因此變形過程能夠實時進行，這也為交互式編輯提供了可能，讓用戶能夠更高效，更便捷的創建屬于自己的數字資產。

△基于稀疏控制點驅動稠密高斯的方法框架

實驗結果

SC-GS能夠對建模場景進行交互式編輯，制作新的場景運動或形狀。

△動作形狀編輯結果

SC-GS提供了方便快捷的編輯方案，在可視化窗口界面利用鼠標拖拽與鍵盤按鍵即可實現。

此外，SC-GS能夠以SOTA的性能合成動態場景的新視角圖片，對于精細的幾何紋理細節都有著最高的保真度。對于人體手指，恐龍骨骼等精細部位的渲染都有著精準的復現。

△DNeRF數據集定性對比，SC-GS超過現有方法達到最佳視覺質量

定量實驗同樣表明，SC-GS遠超現有方法，在DNeRF數據集上實現了均值超過40的PSNR指標。

△SC-GS全面大幅度超越現有的動態場景新視角合成方法

最后研究人員表示：

SC-GS讓我們看到了高斯濺射在動態場景與交互式編輯方面的潛力，我們期待2024年會有更精彩的工作與探索。

項目主頁：https://yihua7.github.io/SC-GS-web/
論文鏈接：https://arxiv.org/pdf/2312.14937.pdf
代碼倉庫：https://github.com/yihua7/SC-GS

本文轉自 量子位 ，作者：量子位

原文鏈接:??https://mp.weixin.qq.com/s/6jqZ6Ef3SNbx9TW9zxow1A??