本文經自動駕駛之心公眾號授權轉載，轉載請聯系出處。

寫在前面

純視覺端到端自動駕駛不僅比激光雷達與視覺融合的方法更具成本效益，而且比傳統方法更可靠。為了實現經濟且魯棒的純視覺自動駕駛系統，這里提出了RenderWorld，一個僅基于視覺的端到端自動駕駛框架，它使用自監督的高斯-based Img2Occ模塊生成3D占用標簽，然后通過AM-VAE對標簽進行編碼，并利用世界模型進行預測和規劃。RenderWorld采用高斯濺射（Gaussian Splatting）來表示3D場景，并渲染2D圖像，與基于NeRF的方法相比，這大大提高了分割精度并降低了GPU內存消耗。通過將AM-VAE應用于分別編碼空氣和非空氣部分，RenderWorld實現了更細粒度的場景元素表示，從而在基于自回歸世界模型的4D占用預測和運動規劃方面達到了最先進的性能。

行業背景介紹

隨著自動駕駛技術的廣泛應用，研究人員逐漸將重點放在了更好的感知和預測方法上，這些方法與系統的決策能力和魯棒性密切相關。目前大多數框架都是將感知、預測和規劃分開進行的。最常用的感知方法是使用視覺和激光雷達融合進行3D目標檢測，這使得模型能夠更好地預測未來場景并進行運動規劃。然而，由于大多數3D目標檢測方法無法獲得環境中的細粒度信息，它們在后續模型中的規劃中表現出非魯棒性，這影響了系統的安全性。當前的感知方法主要依賴于激光雷達和camera，但激光雷達的高成本和多模態融合的計算需求對自動駕駛系統的實時性能和魯棒性提出了挑戰。

這里介紹了RenderWorld，這是一個用于預測和運動規劃的自動駕駛框架，它基于高斯-based Img2Occ模塊生成的3D占用標簽進行訓練。RenderWorld提出了一個自監督的gaussian splatting Img2Occ模塊，該模塊通過訓練2D多視圖深度圖和語義圖像來生成世界模型所需的3D占用標簽。為了使世界模型更好地理解由3D占用表示的場景，在向量量化變分自編碼器（VQ-VAE）的基礎上提出了空氣掩碼變分自編碼器（AM-VAE）。這通過增強場景表示的粒度來提高了我們世界模型的推理能力。

為了驗證RenderWorld的有效性和可靠性，分別在NuScenes數據集上對3D占用生成和運動規劃進行了評估。綜上所述，主要貢獻如下：

1）提出了RenderWorld，這是一個純2D自動駕駛框架，它使用tokens 的2D圖像來訓練基于高斯的占用預測模塊（Img2Occ），以生成世界模型所需的3D標簽。2）為了提高空間表示能力，引入了AM-VAE，它通過分別編碼空氣體素和非空氣體素來改進世界模型中的預測和規劃，同時減少內存消耗。

相關工作介紹

3D占用率正在成為激光雷達感知的一種可行替代方案。大多數先前的工作都利用3D占用率真實值進行監督，但這在標注上是一個挑戰。隨著神經輻射場（NeRF）的廣泛采用，一些方法試圖使用2D深度和語義標簽進行訓練。然而，使用連續的隱式神經場來預測占用概率和語義信息往往會導致高昂的內存成本。最近，GaussianFormer利用稀疏高斯點作為減少GPU消耗的手段來描述3D場景，而GaussianOcc則利用一個6D姿態網絡來消除對真實姿態的依賴，但兩者都存在整體分割精度大幅下降的問題。在提出的工作中，采用了一種基于錨點的高斯初始化方法來對體素特征進行高斯化，并使用更密集的高斯點來表示3D場景，從而在避免NeRF基方法中光線采樣導致的過度內存消耗的同時，實現了更高的分割精度。

世界模型常用于未來幀預測并輔助機器人做出決策。隨著端到端自動駕駛的逐漸發展，世界模型也被應用于預測未來場景和制定決策。與傳統自動駕駛方法不同，世界模型方法集成了感知、預測和決策制定。許多當前的方法將相機-激光雷達數據進行融合，并將其輸入到世界模型中，用于預測和制定運動規劃。其中，OccWorld提出利用3D占用率作為世界模型的輸入。然而，OccWorld在利用純2D輸入方面效率較低，且在編碼過程中由于信息丟失而難以準確預測未來場景。因此，我們設計了一個Img2Occ模塊，將2D標簽轉換為3D占用標簽，以增強世界建模能力。

RenderWorld方法介紹

本節中將描述RenderWorld的總體實現。首先，提出了一個Img2Occ模塊，用于占用率預測和3D占用標簽的生成。隨后，介紹了一個基于空氣mask變分自編碼器（AM-VAE）的模塊，以優化占用率表示并增強數據壓縮效率。最后，詳細闡述了如何集成世界模型以準確預測4D場景演變。

1）使用多幀2D標簽進行3D占用率預測

直接優化Σ可能會導致不可行的矩陣，因為它必須是正半定的。為了確保Σ的有效性，我們將其分解為縮放矩陣S和旋轉矩陣R，以表征3D高斯橢球體的幾何形狀：

然后，通過計算相機空間協方差矩陣Σ'，將3D高斯體投影到2D以進行渲染：

其中J是投影變換的仿射近似的雅可比矩陣，W是視圖變換。然后，可以通過對排序后的高斯體應用alpha混合來計算每個像素的語義/深度：

為了計算真實深度與渲染深度之間的差異，利用皮爾遜相關系數，它可以測量兩個2D深度圖之間的分布差異，遵循以下函數：

2）空氣mask變分自編碼器（AM-VAE）

傳統的變分自編碼器（VAEs）無法對非空氣體素的獨特特征進行編碼，這阻礙了模型以細粒度級別表示場景元素。為了解決這個問題，這里引入了空氣掩碼變分自編碼器（AM-VAE），這是一種新穎的VAE，它涉及訓練兩個獨立的向量量化變分自編碼器（VQVAE），以分別編碼和解碼空氣和非空氣占用體素。假設o代表輸入占用表示，而和分別代表空氣和非空氣體素。

首先利用一個3D卷積神經網絡對占用數據進行編碼，輸出是一個連續的潛在空間表示，記為f。編碼器q?(s|o)將輸入f映射到潛在空間s。然后使用兩個潛在變量和來分別表示空氣和非空氣體素：

每個編碼后的潛在變量或使用可學習的碼本或來獲得離散tokens ，然后在輸入到解碼器之前，用與該tokens 最相似的codebook替換它。這個過程可以表示為：

然后，解碼器pθ(o|s)從量化的潛在變量和中重建輸入占用：

為了促進占用表示中空氣和非空氣元素的分離，用M表示非空氣類別的集合。然后，在修改后的占用中，空氣和非空氣的指示函數可以定義如下：

修改后的空氣占用和非空氣占用由以下等式給出：

然后，為訓練AM-VAE構建了損失函數，它包含重建損失和commitment損失LReg：

AM-VAE在統一的編碼器-解碼器設置中，為空氣和非空氣體素分別使用了不同的碼本。這種方法有效地捕獲了每種體素類型的獨特特征，從而提高了重建準確性和泛化潛力。

3）世界模型

通過在自動駕駛中應用世界模型，將3D場景編碼為高級tokens ，我們的框架可以有效地捕獲環境的復雜性，從而實現對未來場景和車輛決策的準確自回歸預測。

受OccWorld的啟發，使用3D占用率來表示場景，并采用自監督的分詞器來推導高級場景tokens T，并通過聚合車輛tokens z0來編碼車輛的空間位置。世界模型w是根據當前時間戳T和歷史幀數t來定義的，然后使用以下公式建立預測：

同時，采用了一種時間生成式Transformer架構來有效預測未來場景。它首先通過空間聚合和下采樣處理場景tokens ，然后生成一個分層的tokens 集合{T0, · · · , TK}。為了在不同空間尺度上預測未來，采用多個子世界模型w = {w0, · · · , wK}來實現，并且每個子模型wi使用以下公式對每個位置j的tokens 應用時間注意力：

在預測模塊中，首先利用自監督的分詞器e將3D場景轉換為高級場景tokens T，并使用車輛tokens z0來編碼車輛的空間位置。在預測了未來的場景tokens后，應用一個場景解碼器d來解碼預測的3D占用率，并學習一個車輛解碼器，用于生成相對于當前幀的車輛位移。預測模塊通過生成未來車輛位移和場景變化的連續預測，為自動駕駛系統的軌跡優化提供決策支持，確保安全和自適應的路徑規劃。

這里實現了一個兩階段訓練策略來有效地訓練預測模塊。在第一階段，使用3D占用率損失來訓練場景分詞器e和解碼器d：

然后，使用學習到的場景分詞器e來獲取所有幀的場景tokens z，對于車輛tokens ，同時學習車輛解碼器，并在預測的位移和真實位移p上應用L2損失。第二階段的總體損失可以表示為：

實驗對比