本文經自動駕駛之心公眾號授權轉載，轉載請聯系出處。

寫在前面&個人理解

最近這幾年以視覺為中心的3D感知在自動駕駛中得到了快速發展。盡管3D感知模型在結構和概念上有許多相似之處，但在特征表示、數據格式和目標方面仍存在差距，這對統一高效的3D感知框架設計提出了挑戰。

特別是BEV下的檢測任務和Occupancy任務，想做好聯合訓練，還是很難的，不穩定和效果不可控讓很多應用頭大。UniVision是一個簡單高效的框架，它統一了以視覺為中心的3D感知中的兩個主要任務，即占用預測和目標檢測。核心點是一個用于互補2D-3D feature transformation的顯式-隱式視圖變換模塊，UniVision提出了一個局部全局特征提取和融合模塊，用于高效和自適應的體素和BEV特征提取、增強和交互。

在數據增強部分，UniVision還提出了一種聯合占用檢測數據增強策略和漸進式loss weight調整策略，以提高多任務框架訓練的效率和穩定性。在四個公共基準上對不同的感知任務進行了廣泛的實驗，包括無場景激光雷達分割、無場景檢測、OpenOccupancy和Occ3D。UniVision在每個基準上分別以+1.5 mIoU、+1.8 NDS、+1.5 mIoU和+1.8 mIoU的增益實現了SOTA。UniVision框架可以作為統一的以視覺為中心的3D感知任務的高性能基線。

如果對BEV和Occupancy任務不熟悉的同學，也歡迎大家進一步學習我們的BEV感知教程和Occupancy占用網絡教程，了解更多技術細節！

當前3D感知領域的狀態

3D感知是自動駕駛系統的首要任務，其目的是利用一系列傳感器（如激光雷達、雷達和相機）獲得的數據來全面了解駕駛場景，用于后續的規劃和決策。過去，由于來自點云數據的精確3D信息，3D感知領域一直由基于激光雷達的模型主導。然而，基于激光雷達的系統成本高昂，容易受到惡劣天氣的影響，而且部署起來不方便。相比之下，基于視覺的系統具有許多優點，如低成本、易于部署和良好的可擴展性。因此，以視覺為中心的三維感知引起了研究者的廣泛關注。

最近，通過特征表示變換、時間融合和監督信號設計，基于視覺的3D檢測得到了顯著改進，不斷縮小了與基于激光雷達的模型的差距。除此之外，近年來基于視覺的占用任務得到了快速發展。與使用3D box來表示一些目標不同，占用率可以更全面地描述駕駛場景的幾何和語義，并且不太局限于目標的形狀和類別。

盡管檢測方法和占用方法在結構和概念上有很多相似之處，但同時處理這兩項任務并探索它們之間的相互關系并沒有得到很好的研究。占用模型和檢測模型通常提取不同的特征表示。占用預測任務需要在不同的空間位置上進行詳盡的語義和幾何判斷，因此體素表示被廣泛用于保存細粒度的3D信息。在檢測任務中，BEV表示是優選的，因為大多數對象處于相同的水平水平面上，具有較小的重疊。

與BEV表示相比，體素表示是精細的，但效率較低。此外，許多高級算子主要針對2D特征進行設計和優化，使其與3D體素表示的集成不那么簡單。BEV表示更具時間效率和內存效率，但對于密集空間預測來說，它是次優的，因為它在高度維度上丟失了結構信息。除了特征表示，不同的感知任務在數據格式和目標方面也有所不同。因此，確保訓練多任務3D感知框架的統一性和效率是一個巨大的挑戰。

UniVision網絡結構

圖1顯示了UniVision框架的總體架構。給定來自周圍N個相機的多視角圖像作為輸入，首先利用圖像特征提取網絡從中提取圖像特征。然后，使用Ex-Im視圖變換模塊將2D圖像特征提升為3D體素特征，該模塊結合了深度引導的顯式特征提升和查詢引導的隱式特征采樣。體素特征被發送到局部全局特征提取和融合block，以分別提取局部上下文感知體素特征和全局上下文感知BEV特征。然后使用交叉表示特征交互模塊對用于不同下游感知任務的體素特征和BEV特征進行信息交換。在訓練過程中，聯合Occ-Det數據增強和漸進loss weight調整策略用于UniVision框架的有效訓練。

1）Ex-Im View Transform

深度導向顯式特征提升。這里遵循LSS方法：

2）查詢引導的隱式特征采樣。然而，在表示3D信息方面存在一些缺陷。的精度與估計的深度分布的精度高度相關。此外，LSS生成的點分布不均勻。點在相機附近密集，在距離上稀疏。因此，我們進一步使用查詢引導的特征采樣來補償的上述缺點。

與從LSS生成的點相比，體素查詢在3D空間中均勻分布，并且它們是從所有訓練樣本的統計特性中學習的，這與LSS中使用的深度先驗信息無關。因此，和相互補充，將它們連接起來作為視圖變換模塊的輸出特征：

2）局部全局特征提取與融合

給定輸入體素特征，首先將特征疊加在Z軸上，并使用卷積層來減少通道，以獲得BEV特征：

然后，模型分成兩個平行的分支進行特征提取和增強。局部特征提取+全局特征提取，以及最后的交叉表示特征交互！如圖1（b）中所示。

3）損失函數與檢測頭

漸進式loss weight調整策略。在實踐中，發現直接結合上述損失往往會導致訓練過程失敗，網絡無法收斂。在訓練的早期階段，體素特征Fvoxel是隨機分布的，并且占用頭和檢測頭中的監督比收斂中的其他損失貢獻更小。同時，檢測任務中的分類損失Lcls等損失項目非常大，并且在訓練過程中占主導地位，使得模型難以優化。為了克服這一問題，提出了漸進式損失權重調整策略來動態調整損失權重。具體而言，將控制參數δ添加到非圖像級損失（即占用損失和檢測損失）中，以調整不同訓練周期中的損失權重。控制權重δ在開始時被設置為較小的值Vmin，并在N個訓練時期中逐漸增加到Vmax：

4）聯合Occ-Det空間數據增強

在3D檢測任務中，除了常見的圖像級數據增強之外，空間級數據增強在提高模型性能方面也是有效的。然而，在占用任務中應用空間級別增強并不簡單。當我們將數據擴充（如隨機縮放和旋轉）應用于離散占用標簽時，很難確定生成的體素語義。因此，現有的方法只應用簡單的空間擴充，如占用任務中的隨機翻轉。

為了解決這個問題，UniVision提出了一種聯合Occ-Det空間數據增強，以允許在框架中同時增強3D檢測任務和占用任務。由于3D box標簽是連續值，并且可以直接計算增強的3D box進行訓練，因此遵循BEVDet中的增強方法進行檢測。盡管占用標簽是離散的并且難以操作，但體素特征可以被視為連續的，并且可以通過采樣和插值等操作來處理。因此建議對體素特征進行變換，而不是直接對占用標簽進行操作以進行數據擴充。

具體來說，首先對空間數據增強進行采樣，并計算相應的3D變換矩陣。對于占有標簽及其voxel indices ，我們計算了它們的三維坐標。然后，將應用于，并對其進行歸一化，以獲得增強體素特征中的 voxel indices ：

實驗結果對比

使用了多個數據集進行驗證，NuScenes LiDAR Segmentation、NuScenes 3D Object Detection、OpenOccupancy和Occ3D。

NuScenes LiDAR Segmentation：根據最近的OccFormer和TPVFormer，使用相機圖像作為激光雷達分割任務的輸入，并且激光雷達數據僅用于提供用于查詢輸出特征的3D位置。使用mIoU作為評估度量。

NuScenes 3D Object Detection：對于檢測任務，使用nuScenes的官方度量，即nuScene檢測分數（NDS），它是平均mAP和幾個度量的加權和，包括平均平移誤差（ATE）、平均尺度誤差（ASE）、平均方向誤差（AOE）、平均速度誤差（AVE）和平均屬性誤差（AAE）。

OpenOccupancy：OpenOccupancy基準基于nuScenes數據集，提供512×512×40分辨率的語義占用標簽。標記的類與激光雷達分割任務中的類相同，使用mIoU作為評估度量！

Occ3D：Occ3D基準基于nuScenes數據集，提供200×200×16分辨率的語義占用標簽。Occ3D進一步提供了用于訓練和評估的可見mask。標記的類與激光雷達分割任務中的類相同，使用mIoU作為評估度量！

1）Nuscenes激光雷達分割

表1顯示了nuScenes LiDAR分割基準的結果。UniVision顯著超過了最先進的基于視覺的方法OccFormer 1.5% mIoU，并在排行榜上創下了基于視覺的模型的新紀錄。值得注意的是，UniVision還優于一些基于激光雷達的模型，如PolarNe和DB-UNet。

2）NuScenes 3D目標檢測任務

如表2所示，當使用相同的訓練設置進行公平比較時，UniVision顯示出優于其他方法。與512×1408圖像分辨率的BEVDepth相比，UniVision在mAP和NDS方面分別獲得2.4%和1.1%的增益。當放大模型并將UniVision與時間輸入相結合時，它進一步以顯著的優勢優于基于SOTA的時序檢測器。UniVision通過較小的輸入分辨率實現了這一點，并且它不使用CBGS。

3）OpenOccupancy結果對比

OpenOccupancy基準測試的結果如表3所示。UniVision在mIoU方面分別顯著超過了最近的基于視覺的占用方法，包括MonoScene、TPVFormer和C-CONet，分別為7.3%、6.5%和1.5%。此外，UniVision超越了一些基于激光雷達的方法，如LMSCNet和JS3C-Net。

4）Occ3D實驗結果

表4列出了Occ3D基準測試的結果。在不同的輸入圖像分辨率下，UniVision在mIoU方面顯著優于最近的基于視覺的方法，分別超過2.7%和1.8%。值得注意的是，BEVFormer和BEVDet-stereo加載預先訓練的權重，并在推理中使用時間輸入，而UniVision沒有使用它們，但仍然實現了更好的性能。

5）組件在檢測任務中的有效性

在表5中顯示了檢測任務的消融研究。當將基于BEV的全局特征提取分支插入基線模型時，性能提高了1.7%mAP和3.0%NDS。當將基于體素的占用任務作為輔助任務添加到檢測器時，該模型的mAP增益提高了1.6%。當從體素特征中明確引入交叉表示交互時，該模型實現了最佳性能，與基線相比，mAP和NDS分別提高了3.5%和4.2%；

6）占用任務中組件的有效性

在表6中顯示了占用任務的消融研究。基于體素的局部特征提取網絡為基線模型帶來了1.96%mIoU增益的改進。當檢測任務被引入作為輔助監督信號時，模型性能提高了0.4%mIoU。

7）其它

表5和表6顯示，在UniVision框架中，檢測任務和占用任務都是相輔相成的。對于檢測任務，占用監督可以提高mAP和mATE度量，這表明體素語義學習有效地提高了檢測器對目標幾何的感知，即中心度和尺度。對于占用任務，檢測監督顯著提高了前景類別（即檢測類別）的性能，從而實現了整體改進。

在表7中展示了聯合Occ-Det空間增強、Ex-Im視圖轉換模塊和漸進loss weight調整策略的有效性。通過所提出的空間增強和所提出的視圖變換模塊，它在mIoU、mAP和NDS度量上顯示了檢測任務和占用任務的顯著改進。loss weight調整策略能夠有效地訓練多任務框架。如果沒有這一點，統一框架的訓練就無法收斂，性能也很低。

參考

論文鏈接：https://arxiv.org/pdf/2401.06994.pdf

論文名稱：UniVision: A Unified Framework for Vision-Centric 3D Perception