機(jī)器學(xué)習(xí)讓計(jì)算機(jī)圖形學(xué)（CG）仿真更真實(shí)了！

方法名為神經(jīng)流向圖（Neural Flow Maps，NFM），四個(gè)渦旋的煙霧也能精確模擬的那種：

更為復(fù)雜的也能輕松實(shí)現(xiàn)：

要知道，在這個(gè)AI應(yīng)用滿天飛的時(shí)代，CG物理仿真仍然是傳統(tǒng)數(shù)值算法的天下。

△NFM模擬“蛙跳”

盡管神經(jīng)網(wǎng)絡(luò)應(yīng)用在CG能創(chuàng)造目眩神迷的視覺(jué)效果，它卻無(wú)法嚴(yán)格、魯棒地描述物理性質(zhì)。

△NFM模擬“墨滴”

也正是因此，基于神經(jīng)網(wǎng)絡(luò)的物理仿真至今還處于概念驗(yàn)證（proof of concept）的階段，所生成的效果也遠(yuǎn)非SOTA。

基于這個(gè)難題，來(lái)自達(dá)特茅斯學(xué)院、佐治亞理工學(xué)院以及斯坦福大學(xué)的研究團(tuán)隊(duì)提出了神經(jīng)流向圖這一新方法，通過(guò)將神經(jīng)網(wǎng)絡(luò)的優(yōu)異性質(zhì)與先進(jìn)的物理模型相結(jié)合，同時(shí)達(dá)到了前所未有的視覺(jué)效果和物理精確性。

該論文發(fā)表于圖形學(xué)頂刊ACM Transactions on Graphics（TOG），并獲SIGGRAPH Asia 2023最佳論文。

NFM長(zhǎng)啥樣？

研究團(tuán)隊(duì)的核心觀點(diǎn)是：想利用AI去更好地解決物理問(wèn)題，就不能局限地將可學(xué)習(xí)模塊（learnable modules）嵌入已有的方法框架（例如SPH，stable fluids）中。

現(xiàn)有方法是針對(duì)傳統(tǒng)數(shù)值方法的能力范疇量身定制的，也正因?yàn)槿绱耍瑱C(jī)器學(xué)習(xí)的發(fā)展所提出的一系列的全新的能力（例如NeRF對(duì)時(shí)空信號(hào)的緊湊表達(dá)），往往在已有的框架中找不到用武之地。

因此，研究人員認(rèn)為與其套用AI在現(xiàn)有的框架中，不如基于AI提出的新能力，來(lái)設(shè)計(jì)數(shù)學(xué)和數(shù)值的新框架，從而最大化這些能力的價(jià)值。

物理模型

基于上述思路，研究人員通過(guò)對(duì)物理和AI進(jìn)行協(xié)同設(shè)計(jì)（co-design），構(gòu)建一個(gè)超越SOTA的流體模擬器。

物理部分，NFM首先使用了一套基于沖量的（impulse-based）流體方程，通過(guò)對(duì)常見(jiàn)的歐拉方程進(jìn)行度規(guī)變換（gauge transformation），確立了速度場(chǎng)與流向圖（flow map）以及其空間導(dǎo)數(shù)的關(guān)系。

換言之，只要可以得到精確的flow map數(shù)值解，那么演化的速度場(chǎng)就可以被精確的重構(gòu)出來(lái)。

為了最精確地計(jì)算flow map，NFM提出了一個(gè)精心設(shè)計(jì)的“雙向行進(jìn)”（bidirectional marching）數(shù)值算法。

該算法比已有算法的精度高出3至5個(gè)數(shù)量級(jí)，但它同時(shí)也要求存儲(chǔ)長(zhǎng)期的時(shí)空（spatiotemporal）速度場(chǎng)。

對(duì)大規(guī)模3D模擬來(lái)說(shuō)，存儲(chǔ)單幀的速度場(chǎng)尚且存在挑戰(zhàn)，存儲(chǔ)數(shù)十上百幀的速度場(chǎng)則全然不可行。因此“雙向行進(jìn)”的算法盡管精準(zhǔn)，但用傳統(tǒng)的手段卻無(wú)法實(shí)現(xiàn)。

神經(jīng)網(wǎng)絡(luò)存儲(chǔ)

NFM巧妙地結(jié)合了基于流向圖的物理模型對(duì)于存儲(chǔ)高精度速度場(chǎng)的需求，和隱式神經(jīng)表示（implicit neural representation，或INR）進(jìn)行高質(zhì)量時(shí)空信號(hào)壓縮的能力，讓上述高度精確但無(wú)法實(shí)現(xiàn)的模擬方法變得可行。

INR通常對(duì)每個(gè)場(chǎng)景只需訓(xùn)練一次，但NFM卻把它用作一個(gè)中間變量在模擬的過(guò)程中不斷的進(jìn)行更新，這也對(duì)INR的性能提出了更苛刻的要求。

針對(duì)這點(diǎn)，NFM提出了一種稱作SSNF的新型高性能INR。

通過(guò)自動(dòng)規(guī)劃空間稀疏存儲(chǔ)中每個(gè)格點(diǎn)的開(kāi)啟狀態(tài)，以及一個(gè)基于Lagrange多項(xiàng)式的時(shí)間處理方案，SSNF達(dá)到了比Instant-NGP、KPlanes等方法更快的收斂速度，更高的壓縮比，以及更高的存儲(chǔ)精度。

拿下最新SOTA

實(shí)驗(yàn)結(jié)果表明，作為一個(gè)基于AI的模擬器，NFM顯著地超越了SOTA方法：bimocq、covector fluids以及MC+R。

在2D點(diǎn)渦（point vortex）保持的實(shí)驗(yàn)中，NFM的平均絕對(duì)誤差對(duì)比其余三者減少了最少14，最多308倍。

在3D蛙跳（leapfrogging vortices）實(shí)驗(yàn)中，NFM也顯著提升了能量守恒的能力。

同時(shí)，這種數(shù)值能力體現(xiàn)為對(duì)自然現(xiàn)象的更好模擬：根據(jù)物理定律，蛙跳中的兩對(duì)渦管將永不融和，而NFM的兩個(gè)渦管在完成5次蛙跳后仍然保持分離，對(duì)比的方法至多在3次之后就完全融和。

最后，文章還通過(guò)一系列算例（如固體交互，瑞利泰勒不穩(wěn)定性，渦管重連等）展示了NFM在創(chuàng)作復(fù)雜視覺(jué)效果上的優(yōu)越性。

在這個(gè)層面上值得注意的是，盡管都是利用AI賦予流體更多的細(xì)節(jié)，現(xiàn)有的AI超分辨率算法只能提升畫面細(xì)節(jié)，但NFM卻突破性地以物理的方式提升了動(dòng)力學(xué)細(xì)節(jié)，從而根本性地提高了流體模擬的真實(shí)度。

項(xiàng)目鏈接：https://yitongdeng-projects.github.io/neural_flow_maps_webpage/