本文經(jīng)自動(dòng)駕駛之心公眾號(hào)授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

近年來(lái)，新視角合成取得了重大進(jìn)展，3D Gaussian splatting提供了出色的視覺(jué)質(zhì)量、快速訓(xùn)練和實(shí)時(shí)渲染。然而，訓(xùn)練和渲染所需的資源不可避免地限制了可以以良好視覺(jué)質(zhì)量表示的場(chǎng)景大小。本文引入了一種3D高斯層次結(jié)構(gòu)，該結(jié)構(gòu)在保留大場(chǎng)景視覺(jué)質(zhì)量的同時(shí)，為有效渲染遠(yuǎn)處內(nèi)容提供了高效的細(xì)節(jié)級(jí)別（LOD）解決方案，實(shí)現(xiàn)了有效的級(jí)別選擇和級(jí)別之間的平滑過(guò)渡。方法采用了一種分而治之的方法，使我們能夠在大場(chǎng)景中獨(dú)立地訓(xùn)練多個(gè)block。將這些塊整合成一個(gè)層次結(jié)構(gòu)，該層次結(jié)構(gòu)可以?xún)?yōu)化以進(jìn)一步改善合并到中間節(jié)點(diǎn)的高斯函數(shù)的視覺(jué)質(zhì)量。非常大的捕獲通常具有稀疏的場(chǎng)景覆蓋，給原始的3D高斯平鋪訓(xùn)練方法帶來(lái)了許多挑戰(zhàn)；我們調(diào)整和規(guī)范了訓(xùn)練以解決這些問(wèn)題。我們提出了一個(gè)完整的解決方案，該方案能夠?qū)崟r(shí)渲染非常大的場(chǎng)景，并可以通過(guò)LOD方法適應(yīng)可用資源。我們展示了使用簡(jiǎn)單且負(fù)擔(dān)得起的設(shè)備捕獲的場(chǎng)景的結(jié)果，這些場(chǎng)景包含多達(dá)數(shù)萬(wàn)張圖像，涵蓋了長(zhǎng)達(dá)數(shù)公里、持續(xù)時(shí)間長(zhǎng)達(dá)一小時(shí)的軌跡。

針對(duì)3D高斯Splatting的分層細(xì)節(jié)級(jí)別

在處理大型場(chǎng)景時(shí)，細(xì)節(jié)級(jí)別（LOD）解決方案至關(guān)重要，它們?cè)试S有效地渲染大量?jī)?nèi)容；因此，我們的目標(biāo)是創(chuàng)建一個(gè)層次結(jié)構(gòu)，以表示通過(guò)原始3DGS優(yōu)化生成的圖元。遵循圖形中的傳統(tǒng)LOD方法，我們需要：

1）找到候選的3DGS圖元并定義如何將它們合并到中間節(jié)點(diǎn)中；

2）提供一種有效的方式來(lái)確定層次結(jié)構(gòu)中的切割點(diǎn)，以在質(zhì)量和速度之間取得良好的平衡；

3）在層次級(jí)別之間提供平滑的過(guò)渡策略。

1）層次生成

為每個(gè)block創(chuàng)建一個(gè)基于樹(shù)的層次結(jié)構(gòu)，包括內(nèi)部節(jié)點(diǎn)和葉子節(jié)點(diǎn)。每個(gè)節(jié)點(diǎn)都與一個(gè)3D高斯分布相關(guān)聯(lián)，這個(gè)3D高斯分布要么是來(lái)自原始優(yōu)化的葉子節(jié)點(diǎn)，要么是合并的內(nèi)部節(jié)點(diǎn)。對(duì)中間節(jié)點(diǎn)的要求是：1) 保持與葉子節(jié)點(diǎn)相同的快速光柵化程序；2) 盡可能準(zhǔn)確地表示其子節(jié)點(diǎn)的外觀。因此需要定義中間節(jié)點(diǎn)，這些節(jié)點(diǎn)是3D高斯分布，具有3DGS圖元的所有屬性，即均值??（位置）、協(xié)方差Σ、SH系數(shù)和不透明度。

2）層次切割選擇和級(jí)別切換

給定一個(gè)3DGS模型的層次樹(shù)結(jié)構(gòu)和視圖??，選擇一種通過(guò)樹(shù)的切割方式，以在保持視覺(jué)質(zhì)量的同時(shí)最大化渲染性能。首先定義給定層次節(jié)點(diǎn)??的粒度?? (??)，這是給定視圖下在屏幕上的投影大?。ㄈ鐖D3(a)所示）。具體來(lái)說(shuō)，使用包含在節(jié)點(diǎn)中的葉高斯的邊界框，然后取邊界框的最大維度，并據(jù)此計(jì)算投影大小。通過(guò)識(shí)別投影邊界框小于給定目標(biāo)粒度????（例如，1像素）的節(jié)點(diǎn)來(lái)找到切割點(diǎn)。基于層次節(jié)點(diǎn)的生成及其邊界，父節(jié)點(diǎn)的AABB（軸對(duì)齊邊界框）永遠(yuǎn)不會(huì)小于其任何子節(jié)點(diǎn)。這使得我們能夠在線(xiàn)性時(shí)間內(nèi)找到適當(dāng)?shù)那懈铧c(diǎn)，或者在大規(guī)模并行設(shè)置中，每個(gè)節(jié)點(diǎn)在常數(shù)時(shí)間內(nèi)找到：如果節(jié)點(diǎn)??的邊界滿(mǎn)足粒度條件，但其父節(jié)點(diǎn)的邊界不滿(mǎn)足，則對(duì)于給定設(shè)置，選擇節(jié)點(diǎn)??并將其包含在切割中（如圖3(b)中的綠色曲線(xiàn)所示）。

優(yōu)化和壓縮層次結(jié)構(gòu)

層次結(jié)構(gòu)是通過(guò)聚合幾何圖元來(lái)構(gòu)建的；最終需要更明確地考慮外觀。由于層次結(jié)構(gòu)的每個(gè)中間節(jié)點(diǎn)本身都是一個(gè)3D高斯圖元，因此可以進(jìn)一步優(yōu)化以提高視覺(jué)質(zhì)量。為此，需要通過(guò)中間節(jié)點(diǎn)傳播梯度，引入一個(gè)具有可優(yōu)化中間節(jié)點(diǎn)的層次結(jié)構(gòu)。接下來(lái)將解釋如何實(shí)現(xiàn)這一點(diǎn)，以及一個(gè)額外的步驟來(lái)壓縮層次結(jié)構(gòu)。

傳統(tǒng)上，圖形中的LOD（細(xì)節(jié)級(jí)別）方法用于在從遠(yuǎn)處查看場(chǎng)景時(shí)表示其簡(jiǎn)化版本；這在圖6中有所說(shuō)明。我們的目標(biāo)粒度通過(guò)考慮投影到屏幕上的面積來(lái)實(shí)現(xiàn)這一效果，該面積用先前定義的節(jié)點(diǎn)??的粒度?? (??) 來(lái)表示。

1）優(yōu)化分層

這里自上而下的層次結(jié)構(gòu)構(gòu)建產(chǎn)生了一個(gè)效果良好的數(shù)據(jù)結(jié)構(gòu)（見(jiàn)表2）。然而，一旦構(gòu)建完成，中間節(jié)點(diǎn)可以像葉子3DGS圖元一樣進(jìn)行渲染，因此也可以以同樣的方式進(jìn)行優(yōu)化。可以?xún)?yōu)化層次結(jié)構(gòu)的中間節(jié)點(diǎn)，以提高它們可以表示的視覺(jué)質(zhì)量。這就引出了如何在不同尺度之間執(zhí)行這種優(yōu)化的問(wèn)題。一種解決方案是通過(guò)隨機(jī)選擇一個(gè)輸入視圖和一個(gè)下采樣因子來(lái)優(yōu)化層次結(jié)構(gòu)；較低的分辨率直接意味著不同的目標(biāo)粒度，以及相應(yīng)的層次結(jié)構(gòu)切割。然而，這種方法存在缺點(diǎn)，在圖5和圖7中進(jìn)行了說(shuō)明：當(dāng)降低分辨率時(shí)，無(wú)法表示高頻細(xì)節(jié)。

在優(yōu)化過(guò)程中，我們始終在全分辨率下進(jìn)行渲染，并簡(jiǎn)單地選擇隨機(jī)的目標(biāo)粒度。這種方法具有優(yōu)化許多不同切割節(jié)點(diǎn)的期望效果，同時(shí)保留了視覺(jué)細(xì)節(jié)。當(dāng)資源有限時(shí)，這可以特別有用，因?yàn)榭梢圆捎酶みM(jìn)的LOD策略，同時(shí)保持更好的視覺(jué)質(zhì)量。

2）壓縮層次結(jié)構(gòu)

層次結(jié)構(gòu)在內(nèi)存方面增加了一些開(kāi)銷(xiāo)。更重要的是，對(duì)于層次結(jié)構(gòu)本身的優(yōu)化，我們希望避免父節(jié)點(diǎn)大小僅比子節(jié)點(diǎn)稍大的父子設(shè)置。否則，這樣的節(jié)點(diǎn)在訓(xùn)練過(guò)程中可能很少被選擇，也得不到適當(dāng)?shù)膬?yōu)化。為了避免這種情況，我們稀疏化了生成的樹(shù)結(jié)構(gòu)。

首先將所有葉子節(jié)點(diǎn)（即3DGS優(yōu)化的輸出）標(biāo)記為相關(guān)節(jié)點(diǎn)，即它們不應(yīng)該從樹(shù)中被移除。接下來(lái)，在所有訓(xùn)練視圖上找到樹(shù)中最小目標(biāo)粒度???????? = 3像素（由于低通濾波，原始3DGS圖元的最小范圍）的切割的并集。在這個(gè)并集中找到最底部的節(jié)點(diǎn)，這再次產(chǎn)生了一個(gè)切割。這些節(jié)點(diǎn)被認(rèn)為是所選粒度下的最高細(xì)節(jié)的相關(guān)節(jié)點(diǎn)。它們與已標(biāo)記節(jié)點(diǎn)之間的所有節(jié)點(diǎn)都將從樹(shù)中移除。然后將目標(biāo)粒度提高2倍，并重復(fù)此過(guò)程，直到達(dá)到????????，即圖像分辨率的一半。

大場(chǎng)景訓(xùn)練

現(xiàn)在可以構(gòu)建高效的3D高斯層次結(jié)構(gòu)；這對(duì)于處理非常大的場(chǎng)景是不可或缺的，因?yàn)閺倪h(yuǎn)處可見(jiàn)的場(chǎng)景部分可以在層次結(jié)構(gòu)的較粗級(jí)別上進(jìn)行渲染。為了訓(xùn)練大場(chǎng)景，本文方法建立在實(shí)時(shí)渲染大數(shù)據(jù)的常見(jiàn)計(jì)算機(jī)圖形學(xué)方法之上。特別是，引入了一種分而治之的方法，通過(guò)將大場(chǎng)景分割成塊（圖8）來(lái)進(jìn)行處理。

將塊大小定義為50×50米，適用于步行捕獲的場(chǎng)景，以及100×100米，適用于使用車(chē)輛捕獲的場(chǎng)景。雖然這些塊的大小有限，但它們?nèi)匀槐仍?DGS方法處理的塊大。此外，這種場(chǎng)景的捕獲方式必然比大多數(shù)輻射場(chǎng)解決方案所期望的要稀疏得多。因此，我們調(diào)整3D高斯的優(yōu)化以適應(yīng)這些差異。

目標(biāo)是允許對(duì)各個(gè)塊進(jìn)行并行處理，以便在給定足夠計(jì)算資源的情況下，在合理的掛鐘時(shí)間內(nèi)處理大場(chǎng)景。一旦各個(gè)塊被處理完畢，我們需要一個(gè)整合步驟來(lái)處理各個(gè)塊之間可能存在的不一致性。

具體實(shí)現(xiàn)和預(yù)處理

在C++和Python/PyTorch的原始3DGS實(shí)現(xiàn)基礎(chǔ)上實(shí)現(xiàn)了本文的方法，并修改了SIBR渲染器以實(shí)現(xiàn)快速渲染。在論文發(fā)表時(shí)，將提供所有源代碼和數(shù)據(jù)，包括數(shù)據(jù)集預(yù)處理的所有腳本（請(qǐng)參見(jiàn)項(xiàng)目頁(yè)面）。使用PyTorch中的自動(dòng)微分進(jìn)行層次結(jié)構(gòu)優(yōu)化。此外，在層次結(jié)構(gòu)優(yōu)化過(guò)程中，通過(guò)在層次結(jié)構(gòu)中對(duì)應(yīng)于葉子節(jié)點(diǎn)的所有高斯分布上使用停止梯度操作符來(lái)避免優(yōu)化葉子節(jié)點(diǎn)，從而有效地凍結(jié)它們的屬性。

論文捕獲了三個(gè)戶(hù)外場(chǎng)景：SmallCity、BigCity和Campus。在表1中列出了每個(gè)場(chǎng)景的統(tǒng)計(jì)數(shù)據(jù)，以及Wayve提供的另一個(gè)場(chǎng)景的統(tǒng)計(jì)數(shù)據(jù)。

捕獲：在捕獲過(guò)程中，使用了一個(gè)自行車(chē)頭盔，上面安裝了6個(gè)相機(jī)（Campus數(shù)據(jù)集使用5個(gè)）。使用了GoPro HERO6 Black相機(jī)（見(jiàn)圖9），設(shè)置為線(xiàn)性視野（Linear FoV）和1444×1080分辨率的延時(shí)模式，每0.5秒拍攝一次。騎著自行車(chē)以大約6-7公里/小時(shí)的速度拍攝了SmallCity和BigCity場(chǎng)景，而Campus場(chǎng)景則是戴著頭盔步行時(shí)拍攝的。

姿態(tài)估計(jì)：姿態(tài)估計(jì)是處理的相機(jī)數(shù)量所帶來(lái)的一個(gè)主要挑戰(zhàn)。數(shù)據(jù)集包含5800到40000張照片。使用COLMAP，結(jié)合自定義參數(shù)設(shè)置、層次映射器和每個(gè)塊的附加捆綁調(diào)整，以實(shí)現(xiàn)合理的處理時(shí)間。在附錄B中提供了詳細(xì)信息。

數(shù)據(jù)集處理：以類(lèi)似的方式對(duì)曝光進(jìn)行校正，就像其他人所做的那樣，通過(guò)優(yōu)化每幅圖像的曝光校正。最后，通過(guò)基于CNN的分割算法來(lái)檢測(cè)汽車(chē)、自行車(chē)等移動(dòng)物體，并確定它們是否有對(duì)應(yīng)的SfM點(diǎn)，從而移除這些移動(dòng)物體。還移除了所有人和車(chē)牌。所有步驟的詳細(xì)信息都在附錄中進(jìn)行了介紹。

實(shí)驗(yàn)結(jié)果對(duì)比