機器學習讓計算機圖形學（CG）仿真更真實了！

方法名為神經流向圖（Neural Flow Maps，NFM），四個渦旋的煙霧也能精確模擬的那種：

更為復雜的也能輕松實現：

要知道，在這個AI應用滿天飛的時代，CG物理仿真仍然是傳統數值算法的天下。

△NFM模擬“蛙跳”

盡管神經網絡應用在CG能創造目眩神迷的視覺效果，它卻無法嚴格、魯棒地描述物理性質。

△NFM模擬“墨滴”

也正是因此，基于神經網絡的物理仿真至今還處于概念驗證（proof of concept）的階段，所生成的效果也遠非SOTA。

基于這個難題，來自達特茅斯學院、佐治亞理工學院以及斯坦福大學的研究團隊提出了神經流向圖這一新方法，通過將神經網絡的優異性質與先進的物理模型相結合，同時達到了前所未有的視覺效果和物理精確性。

該論文發表于圖形學頂刊ACM Transactions on Graphics（TOG），并獲SIGGRAPH Asia 2023最佳論文。

NFM長啥樣？

研究團隊的核心觀點是：想利用AI去更好地解決物理問題，就不能局限地將可學習模塊（learnable modules）嵌入已有的方法框架（例如SPH，stable fluids）中。

現有方法是針對傳統數值方法的能力范疇量身定制的，也正因為如此，機器學習的發展所提出的一系列的全新的能力（例如NeRF對時空信號的緊湊表達），往往在已有的框架中找不到用武之地。

因此，研究人員認為與其套用AI在現有的框架中，不如基于AI提出的新能力，來設計數學和數值的新框架，從而最大化這些能力的價值。

物理模型

基于上述思路，研究人員通過對物理和AI進行協同設計（co-design），構建一個超越SOTA的流體模擬器。

物理部分，NFM首先使用了一套基于沖量的（impulse-based）流體方程，通過對常見的歐拉方程進行度規變換（gauge transformation），確立了速度場與流向圖（flow map）以及其空間導數的關系。

換言之，只要可以得到精確的flow map數值解，那么演化的速度場就可以被精確的重構出來。

為了最精確地計算flow map，NFM提出了一個精心設計的“雙向行進”（bidirectional marching）數值算法。

該算法比已有算法的精度高出3至5個數量級，但它同時也要求存儲長期的時空（spatiotemporal）速度場。

對大規模3D模擬來說，存儲單幀的速度場尚且存在挑戰，存儲數十上百幀的速度場則全然不可行。因此“雙向行進”的算法盡管精準，但用傳統的手段卻無法實現。

神經網絡存儲

NFM巧妙地結合了基于流向圖的物理模型對于存儲高精度速度場的需求，和隱式神經表示（implicit neural representation，或INR）進行高質量時空信號壓縮的能力，讓上述高度精確但無法實現的模擬方法變得可行。

INR通常對每個場景只需訓練一次，但NFM卻把它用作一個中間變量在模擬的過程中不斷的進行更新，這也對INR的性能提出了更苛刻的要求。

針對這點，NFM提出了一種稱作SSNF的新型高性能INR。

通過自動規劃空間稀疏存儲中每個格點的開啟狀態，以及一個基于Lagrange多項式的時間處理方案，SSNF達到了比Instant-NGP、KPlanes等方法更快的收斂速度，更高的壓縮比，以及更高的存儲精度。

拿下最新SOTA

實驗結果表明，作為一個基于AI的模擬器，NFM顯著地超越了SOTA方法：bimocq、covector fluids以及MC+R。

在2D點渦（point vortex）保持的實驗中，NFM的平均絕對誤差對比其余三者減少了最少14，最多308倍。

在3D蛙跳（leapfrogging vortices）實驗中，NFM也顯著提升了能量守恒的能力。

同時，這種數值能力體現為對自然現象的更好模擬：根據物理定律，蛙跳中的兩對渦管將永不融和，而NFM的兩個渦管在完成5次蛙跳后仍然保持分離，對比的方法至多在3次之后就完全融和。

最后，文章還通過一系列算例（如固體交互，瑞利泰勒不穩定性，渦管重連等）展示了NFM在創作復雜視覺效果上的優越性。

在這個層面上值得注意的是，盡管都是利用AI賦予流體更多的細節，現有的AI超分辨率算法只能提升畫面細節，但NFM卻突破性地以物理的方式提升了動力學細節，從而根本性地提高了流體模擬的真實度。

項目鏈接：https://yitongdeng-projects.github.io/neural_flow_maps_webpage/