ICLR 2025 Oral｜突破深度學習求解PDE的瓶頸，清華提出空間調控新范式GridMix
近年來，深度學習在偏微分方程（PDEs）求解中展現出前所未有的潛力。從氣象模擬到材料科學，基于數據驅動的神經網絡模型正不斷重塑科學計算的邊界。尤其是神經場（Implicit Neural Representations，INRs），憑借其連續參數化的特性，能夠實現跨幾何形態的高分辨率建模，在復雜場景下展現出卓越的精度和靈活性。
然而，當面對具有劇烈空間變化的場景時，現有 INR 方法暴露出明顯的瓶頸。傳統的全局調控機制要求模型在所有空間位置共享同一組調控參數，這種方式在捕捉局部細節特征時顯得力不從心。隨著場景復雜度的提升，全局調控不僅限制了模型精度，還導致泛化能力下降。
為了解決這一難題，清華大學研究團隊提出了一種創新的空間調控方法 ——GridMix。靈感來源于譜方法的思想，GridMix 將空間調控參數表示為一組網格基函數的線性組合。GridMix 具備以下特點：
- 保留了空間調控的細粒度局部性，確保建模精度；
- 同時通過共享基函數提取全局結構信息，有效緩解了過擬合風險。
在一系列挑戰性的 PDE 建模任務中，GridMix 展現出了顯著的性能提升。特別是在稀疏空間域和時間外推場景下，其魯棒性表現尤為突出。該研究已被 ICLR 2025 接收，并獲選為 Oral 論文（入選比例 1.8%）。
- 論文標題：GridMix: Exploring Spatial Modulation for Neural Fields in PDE Modeling
- 論文地址：https://openreview.net/forum?id=Fur0DtynPX
- 項目主頁：https://github.com/LeapLabTHU/GridMix.git
方法
本文研究聚焦于偏微分方程（PDE）建模任務，其核心是近似算子
。該算子根據底層 PDE，將輸入空間
中的函數映射到輸出空間
。此處
表示定義域為且值域為
的平方可積函數構成的無限維空間。我們重點研究以下兩類典型任務：
- 動態系統建模：旨在捕捉物理系統在預測時間范圍內的動態演化過程。具體表現為建模系統從狀態
到狀態
的轉移過程，其中
表示時間步長。 - 幾何感知預測：根據系統的幾何構型預測其狀態。
在幾何預測中，每個數據樣本分布于不同的空間域
上；而對于動力學建模，所有樣本使用相同的訓練空間域
，測試時則采用與訓練域不同的空間域來評估模型性能。需特別說明的是，
和
均為完整域
的子集。
基于 INR 的 PDE 建模方法
CORAL 是最具創新性的 INR 方法之一，它通過兩階段訓練策略解決偏微分方程建模問題。在第一階段（重構階段），該框架采用兩個神經調控場
和
分別對輸入和輸出函數進行參數化建模。這些神經調控場作為基礎模型，通過不同調制參數實現對不同函數的重構。具體而言，INR 參數
和
在各自函數空間中共享，而調制參數和則是每個函數特有的。這些調制參數通過超網絡
和
從低維調控向量
和
中生成：
，
。經訓練后，每個函數可由低維調控向量經過共享 INR 重構，其重構誤差代表了表示質量。在第二階段（預測階段），CORAL 通過處理網絡
學習調控編碼
與
之間的映射關系。
圖 1. 基于 INR 的 PDE 建?？蚣?/span>
CORAL 的全局調控
CORAL 利用 SIRENs 作為其 INR 的骨干網絡。SIRENs 是具有正弦激活函數的多層感知機，可以表示為：
其中，
是網絡權重和偏置，
為固定的放縮因子，
，
是空間坐標
下的第層中間表示結果。
CORAL 通過平移調控（Shift Modulation）對 SIRENs 進行擴展，將單個函數表示為：
其中
表示第 i 層的調制參數。需要注意的是，這種全局調控參數
在不同空間坐標之間是共享的。這一特性限制了神經調控場表示復雜函數空間的能力。正如先前的研究所展示的，全局調控無法捕捉局部細節，因為調控參數的任何變化都會導致重構函數的全局擾動。
圖 2. 不同調控方式
GridMix
基于網格表征的空間調控方法在提升 INR 學習能力方面展現出顯著優勢，特別是在三維重建領域，其有效性已被廣泛驗證。受此啟發，本文旨在探索空間調控在 PDE 建模中的的應用及其潛在優勢。具體而言，空間調控引入了一個基于網格的單通道特征
，其中H和W分別表示網格的空間分辨率（以二維空間為例）。我們可以從該網格特征中提取位置相關的調控參數
。具體步驟如下：給定空間位置
，首先提取圍繞該位置的相鄰網格點（在二維情況下為四個點）上的特征，其次通過雙線性插值計算
?？臻g調控對應的平移調控方法可表示為：
空間調控引入的位置相關的調控參數雖擅長捕捉局部信息，卻難以在稀疏 / 不規則的空間域中建模全局結構，導致未知區域重建質量驟降（如圖 3 所示），從而嚴重制約跨空間域的泛化能力 —— 而這正是魯棒 PDE 建模的關鍵要求
圖 3. 重建效果對比：觀測數據的空間域在訓練集之外
為了緩解空間調控在訓練空間域上的過擬合問題，GridMix 將空間調控參數表示為一組網格表征的線性組合，如圖 2 (c) 所示。首先，GridMix 定義一組網格表征作為基函數，再通過這些基函數的線性組合生成空間調控參數。具體而言，每一隱藏層的網格混合表示為
其中
。這里
表示 M 個網格基函數，
為第 i 層的線性組合系數。這些系數通過超網絡 h 從低維調控向量 z 中估計得到。網格基函數在不同的函數實例中共享，并與神經調控場一同優化。GridMix 具有以下特點：
- 局部細節捕捉：GridMix 保留了網格調控的局部特性，通過引入額外的可學習參數增強了模型在局部細節重建的表達能力；
- 全局結構建模：GridMix 通過共享基函數對調控空間起到正則化作用。相比一般空間調控需要為每個函數額外學習個
獨立參數，GridMix 將參數維度降低至基函數的個數。這種維度壓縮有效減少了過擬合的風險，提升了模型對全局結構的重建能力，以及在不同空間域上的泛化能力。
實驗
動態系統建模
在 Naviers-Stokes 和 Shallow-Water 兩個動態系統建模任務上，GridMix 相比神經算子方法（DeepONet 和 FNO）、圖網絡方法（MP-PDE）以及基于全局調控的 INR 方法（CORAL）均取得了顯著的性能提升。同時，GridMix 在稀疏空間域的重建和時間外推任務中表現出優越的魯棒性，進一步驗證了其廣泛的適用性。
圖 4. 動態系統建模任務
圖 5. 稀疏空間域下的 Shallow-Water 可視化結果
幾何感知推理
在幾何感知推理中，模型根據給定的幾何結構（例如翼型（NACA-Euler）、水管（Pipe）和彈性材料（Elasticity））預測系統的狀態。相較于全局調控方法，GridMix 在所有任務中均實現了性能提升。
圖 6. 幾何感知推理任務
總結
本文的貢獻主要在兩個方面：
- 提出了一種新穎的空間調控方式 ——GridMix，它自然地融合了全局調控的全局結構建模和空間調控的局部細節捕捉能力；
- 在動態系統建模和幾何感知推理等任務中充分驗證了 GridMix 的卓越性能，特別是在稀疏空間域和時間外推場景下優勢顯著。
