最近，來自 Waabi AI、多倫多大學、滑鐵盧大學和麻省理工的研究者們在 NeurIPS 2023 上提出了一種全新的自動駕駛光照仿真平臺 LightSim。研究者們提出了從真實數據中生成配對的光照訓練數據的方法，解決了數據缺失和模型遷移損失的問題。LightSim 利用神經輻射場（NeRF）和基于物理的深度網絡渲染車輛駕駛視頻，首次在大規模真實數據上實現了動態場景的光照仿真。

• 項目網站：https://waabi.ai/lightsim
• 論文鏈接：https://openreview.net/pdf?id=mcx8IGneYw

為什么需要自動駕駛光照仿真？

相機仿真在機器人技術中，尤其對于自動駕駛車輛感知室外的場景非常重要。然而，現有的相機的感知系統一旦遇到訓練時未學習過的室外照明條件，就表現欠佳。通過相機模擬生成豐富的室外照明變化數據集，可以提高自動駕駛系統的魯棒性。

常見的相機仿真方法一般基于物理引擎。這種方法通過設定 3D 模型和照明條件來渲染場景。但往往仿真效果缺乏多樣性且不夠逼真。此外，由于高質量的 3D 模型數量有限，并且物理渲染結果與真實世界場景不完全匹配。這導致訓練模型在真實數據上的泛化能力較差。

另一種是基于數據驅動的（data-driven）仿真方法。它利用神經渲染重構真實世界的數字孿生（digital twins），以復制傳感器觀測到的數據。這種方法可以更具擴展性地創建場景并提高現實感，但現有技術往往將場景照明烘焙（bake）到 3D 模型中，這阻礙了對數字孿生進行編輯，如改變照明條件或增刪新的物體等。

在 NeurIPS 2023 的一篇工作中，來自 Waabi AI 的研究者們展示了一個基于物理引擎和神經網絡的光照仿真系統 LightSim: Neural Lighting Simulation for Urban Scenes.

不同于以往工作，LightSim 同時做到了:

1. 真實（realistic）: 首次做到對大規模室外動態場景進行光照仿真，并且可以較為準確地模擬陰影、物體間的光照效果等。

2. 可控（controllable）：支持動態駕駛場景的編輯（增添、刪除物體、相機位置和參數、改變光照、生成安全關鍵場景等），從而生成更逼真且一致性更強的視頻來提升系統對于光照和邊緣情況的魯棒性。

3. 可擴展 (scalable): 方便擴展到更多的場景和不同數據集中，只需要采集一次數據（single pass), 就能重新建構并進行真實可控的仿真測試。

仿真系統的搭建

第一步：構建真實世界的可重新照明數字孿生體

為了在數字世界中重建自動駕駛場景，LightSim 首先從采集的數據中劃分動態物體和靜態場景。這一步使用了 UniSim 來重建場景，并在網絡中移除了相機視角依賴。再使用 marching cube 得到 geometry, 并進一步轉換為帶有基本材料的 mesh。

除了材料和幾何，LightSim 還能夠根據室外白天場景的主要光源太陽和天空，估算室外照明，得到高動態范圍的環境圖（HDR Sky dome）。借助傳感器數據和提取的幾何體，LightSim 可以估算出一個不完整的全景圖像，然后補全它，獲得一個全方位 360° 的天空視圖。從而利用這個全景圖像和 GPS 信息生成 HDR 環境圖，準確估算出太陽強度、太陽方向和天空外觀。

第二步：動態城市場景的神經照明仿真

在得到數字孿生體后，可以進一步對其進行修改，例如增加或移除物體，改變車輛軌跡或更改照明等，以生成增強現實的表征。LightSim 將執行基于物理的渲染，生成有關修改場景的照明相關數據，如基本色彩、深度、法向量和陰影。利用這些與照明相關的數據以及對場景源和目標照明條件的估算，LightSim 的工作流程如下所示。

雖然基于物理的渲染圖像很好地重構了場景中的照明效果，但由于幾何形狀的不完美以及材料 / 照明分解中的誤差，渲染結果往往缺乏真實感，例如模糊、不真實的表面反射和邊界偽影。因此，研究者們提出了增強真實感的神經延遲渲染。他們引入了一個圖像合成網絡，該網絡采用源圖像和渲染引擎生成的照明相關數據的預計算緩沖區，生成最終的圖像。同時，論文中的方法還為網絡提供了環境圖，以增強照明上下文，并通過數字孿生體生成了成對圖像，提供了一種新穎的成對仿真和真實數據訓練方案。

仿真能力展示

改變場景的光照 (Scene Relighting)

LightSim 可以在新的光照條件下以時間一致的方式渲染同一場景。如視頻所示，新的太陽位置和天空外觀會導致場景的陰影和外觀發生變化。

LightSim 可以批量地進行場景重新照明，從估計的和真實的 HDR 環境圖中生成同一場景的新的時間一致的和可 3D 感知的照明變化。

陰影編輯 (Shadow Editing)

LightSim 的照明表示是可編輯的，可以改變太陽的方向，從而更新與太陽光方向相關的照明變化和陰影。LightSim 通過旋轉 HDR 環境圖并將其傳遞給神經延遲渲染模塊以生成以下視頻。

LightSim 也可以批量地進行陰影編輯。

可感知光照的物體添加 (Lighting-Aware Actor Insertion)

除了修改照明之外，LightSim 還可以對不常見的對象（例如建筑障礙物）執行照明感知的添加。這些添加的對象可以更新物體的照明陰影、做到準確遮擋物體以及與整個相機配置的空間適配。

仿真遷移 (Generalization to nuScenes)

由于 LightSim 的神經延遲渲染網絡是在多個駕駛視頻上進行訓練的，因此 LightSim 可以推廣到新場景中。以下視頻展示了 LightSim 泛化到 nuScenes 中的駕駛場景的能力。LightSim 可以為每個場景構建照明感知數字孿生，然后應用于在 PandaSet 上預訓練的神經延遲渲染模型。LightSim 遷移性能良好，并且可以較為魯棒地為場景重新照明。

真實可控的相機仿真

綜合以上展示的所有功能，LightSim 實現了可控、多樣化且逼真的相機模擬。以下視頻展示了 LightSim 的場景仿真性能。在視頻中，一輛白色的車緊急變道至 SDV 車道，引入了新的路障，這使得白色車輛進入了產生一個全新的場景，在新場景的多種照明條件下 LightSim 生成的效果如下所示。

以下視頻中展示了另一個實例，插入了新的道路障礙后，又添加了一組新的車輛。使用 LightSim 搭建的仿真光照，讓新加入的車輛能夠無縫地融入到場景中。

總結和展望

LightSim 是一個可感知光照的相機仿真平臺，為處理大規模動態駕駛場景服務。它可以根據現實世界的數據構建可感知照明的數字孿生體，并對其進行修改，以創建具有不同物體布局、SDV 視角的新場景。LightSim 能夠對場景模擬新的照明條件以實現多樣化、真實且可控的相機仿真，從而生成時間 / 空間一致的視頻。值得注意的是，LightSim 還可以結合逆向渲染、天氣模擬等技術來進一步提升仿真性能。