本文經(jīng)自動駕駛之心公眾號授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

基于激光雷達相機融合的3D檢測是自動駕駛的一項關(guān)鍵任務(wù)。近年來，與單模態(tài)檢測器相比，許多激光雷達相機融合方法涌現(xiàn)，并取得了良好的性能，但始終缺乏精心設(shè)計和有效監(jiān)督的融合過程。

本文提出了一種稱為SupFusion的新訓練策略，該策略為激光雷達相機融合提供了輔助特征級監(jiān)督，并顯著提高了檢測性能。方法主要包括一種名為Polar Sampling的數(shù)據(jù)增強方法，該方法加密稀疏目標并訓練輔助模型以生成高質(zhì)量特征作為監(jiān)督。這些特征隨后被用于訓練激光雷達相機融合模型，其中融合特征被優(yōu)化以模擬生成高質(zhì)量特征。此外，還提出了一種簡單而有效的深度融合模塊，與以前使用SupFusion策略的融合方法相比，該模塊連續(xù)獲得了優(yōu)越的性能。通過這種方式，本文的方法具有以下優(yōu)點：首先，SupFusion引入了輔助特征級監(jiān)督，可以在不引入額外推理成本的情況下提高激光雷達相機的檢測性能。其次，所提出的深度融合可以不斷提高檢測器的能力。提出的SupFusion和深度融合模塊是即插即用的，論文進行了大量實驗來證明其有效性。在基于多個激光雷達相機3D檢測的KITTI基準上獲得了約2%的3D mAP改進！

圖1：頂部，以前的激光雷達相機3D檢測模型，融合模塊是通過檢測loss進行優(yōu)化的。底部：本文提出的SupFusion，通過輔助模型提供的高質(zhì)量特征引入輔助監(jiān)督。

基于激光雷達相機融合的3D檢測是自動駕駛和機器人技術(shù)的一項關(guān)鍵且具有挑戰(zhàn)性的任務(wù)，先前的方法總是通過內(nèi)參和外參將相機輸入投影到激光雷達BEV或體素空間，以對齊激光雷達和相機特征。然后，采用簡單的級聯(lián)或求和來獲得用于最終檢測的融合特征。此外，一些基于深度學習的融合方法獲得了有希望的性能。然而，以往的融合方法總是通過檢測損失直接優(yōu)化3D/2D特征提取和融合模塊，這在特征層面缺乏精心設(shè)計和有效的監(jiān)督，限制了其性能。

近年來，蒸餾方式在用于3D檢測的特征級監(jiān)督方面顯示出很大的改進。一些方法提供了激光雷達特征，以指導2D主干根據(jù)相機輸入估計深度信息。此外，一些方法提供了激光雷達相機融合功能，以監(jiān)督激光雷達主干從激光雷達輸入中學習全局和上下文表示。通過模擬更穩(wěn)健和高質(zhì)量的特征引入特征級輔助監(jiān)督，檢測器可以促進邊際改進。受此啟發(fā)，處理激光雷達相機特征融合的自然解決方案是提供更強、高質(zhì)量的特征，并為激光雷達相機3D檢測引入輔助監(jiān)督！

為此，本文提出了一種名為SupFusion的監(jiān)督式激光雷達相機融合方法，以生成高質(zhì)量的特征，并為融合和特征提取過程提供有效的監(jiān)督，進一步提高基于激光雷達相機的融合3D檢測性能。首先訓練一個輔助模型來提供高質(zhì)量的功能。為了實現(xiàn)這一點，與以前利用較大模型或額外數(shù)據(jù)的方法不同，本文提出了一種新的數(shù)據(jù)增強方法，稱為Polar Sampling。Polar Sampling可以從稀疏的激光雷達數(shù)據(jù)中動態(tài)增強目標的密度，這更容易檢測并提高特征質(zhì)量，例如，特征可以得出準確的檢測結(jié)果。然后，簡單地訓練基于激光雷達相機融合的檢測器，并引入輔助特征級監(jiān)督。在這一步中，將原始激光雷達和相機輸入輸入到3D/2D主干和融合模塊中，以獲得融合特征。一方面，融合特征被饋送到檢測頭中用于最終預測，這是決策級監(jiān)督。另一方面，輔助監(jiān)督將融合特征模擬為高質(zhì)量特征，這些特征是通過預訓練的輔助模型和增強的激光雷達數(shù)據(jù)獲得的。通過這種方式，所提出的特征級監(jiān)督可以使融合模塊生成更穩(wěn)健的特征，并進一步提高檢測性能。為了更好地融合激光雷達和相機的特征，本文提出了一種簡單而有效的深度融合模塊，該模塊由堆疊的MLP塊和動態(tài)融合塊組成。SupFusion可以充分挖掘深度融合模塊的能力，并不斷提高探測精度！

本文的主要貢獻：

1. 提出了一種新的監(jiān)督融合訓練策略SupFusion，該策略主要由高質(zhì)量的特征生成過程組成，并首次提出了用于魯棒融合特征提取和精確3D檢測的輔助特征級監(jiān)督損失。
2. 為了在SupFusion中獲得高質(zhì)量的特征，提出了一種名為“Polar Sampling”的數(shù)據(jù)增強方法來加密稀疏目標。此外，還提出了一種有效的深度融合模塊，以連續(xù)提高檢測精度。
3. 基于具有不同融合策略的多個檢測器進行了廣泛的實驗，并在KITTI基準上獲得了約2%的mAP改進。

提出的方法

高質(zhì)量的特征生成過程如下圖所示，對于任何給定的LiDAR樣本，通過polar  pasting粘貼來加密稀疏目標，極軸polar  pasting計算方向和旋轉(zhuǎn)以從數(shù)據(jù)庫中查詢密集目標，并通過pasting為稀疏目標添加額外的點。本文首先通過增強的數(shù)據(jù)訓練輔助模型，并將增強的激光雷達數(shù)據(jù)饋送到輔助模型中，以在其收斂后生成高質(zhì)量特征f*。

高質(zhì)量的特征生成

為了在SupFusion中提供特征級監(jiān)督，采用了一個輔助模型來從增強的數(shù)據(jù)中捕獲高質(zhì)量的特征，如圖3所示。首先，訓練一個輔助模型來提供高質(zhì)量的特征。對于D中的任何樣本，通過polar pasting來增強稀疏的激光雷達數(shù)據(jù)，以獲得增強的數(shù)據(jù)，該極性粘貼通過極性分組中生成的添加點集來加密備用目標。然后，在輔助模型收斂之后，將增強的樣本輸入到優(yōu)化的輔助模型中，以捕獲高質(zhì)量特征，用于訓練激光雷達相機3D檢測模型。為了更好地應(yīng)用于給定的激光雷達相機檢測器并更容易實現(xiàn)，這里簡單地采用激光雷達分支探測器作為輔助模型！

檢測器訓練

對于任何給定的激光雷達相機檢測器，在特征級別使用所提出的輔助監(jiān)督來訓練模型。給定樣本，的情況下，首先將激光雷達和相機輸入到3D和2D編碼器和中，以捕獲相應(yīng)的特征和，這些特征被輸入到融合模型中以生成融合特征，并流到檢測頭中進行最終預測。此外，采用所提出的輔助監(jiān)督來模擬具有高質(zhì)量特征的融合特征，該特征是由預先訓練的輔助模型和增強的激光雷達數(shù)據(jù)生成的。上述過程可以公式化為：

Polar Sampling

為了在提出的SupFusion中通過輔助模型提供高質(zhì)量的特征，本文提出了一種新的數(shù)據(jù)增強方法，稱為Polar Sampling，以緩解經(jīng)常導致檢測失敗的稀疏問題。為此，用類似的密集目標對激光雷達數(shù)據(jù)中的稀疏目標進行了密集處理。極坐標采樣由兩部分組成，包括極坐標分組和polar pasting。在極性分組中，主要建立一個數(shù)據(jù)庫來存儲密集目標，該數(shù)據(jù)庫用于polar pasting以使稀疏目標致密化。

考慮到激光雷達傳感器的特性，收集到的點云數(shù)據(jù)自然存在特定的密度分布，例如，物體在表面上有更多的點朝向激光雷達傳感器，而在相對兩側(cè)的點很少。密度分布主要受方向和旋轉(zhuǎn)的影響，而點的密度主要取決于距離，例如，離激光雷達傳感器更近的物體具有更密集的點。受此啟發(fā)，本文的目標是根據(jù)稀疏目標的方向和旋轉(zhuǎn)，將長距離的稀疏目標與短距離的密集目標進行密度化，以保持密度分布?；趫鼍爸行暮吞囟繕藶檎麄€場景以及目標建立極坐標系，并將激光雷達傳感器的正方向定義為0度，以測量相應(yīng)的方向和旋轉(zhuǎn)。然后，收集具有相似密度分布（例如，具有相似方向和旋轉(zhuǎn)）的目標，并為極性分組中的每組生成一個密集目標，并在polar pasting中使用它來密集稀疏目標。

Polar Grouping

如圖4所示，這里構(gòu)建了一個數(shù)據(jù)庫B，根據(jù)極性分組中的方向和旋轉(zhuǎn)來存儲生成的密集物點集l，在圖4中記為α和β！

首先，搜索整個數(shù)據(jù)集，通過位置計算所有目標的極角，并在基準中提供旋轉(zhuǎn)。其次，根據(jù)目標的極角將它們分成幾組。手動將方向和旋轉(zhuǎn)劃分為N組，對于任何目標點集l，都可以根據(jù)索引將其放入相應(yīng)的組中：

Polar Pasting

如圖2所示，利用Polar Pasting來增強稀疏的激光雷達數(shù)據(jù)，以訓練輔助模型并生成高質(zhì)量特征。給定LiDAR樣本，，，，包含個目標，對于任何目標，都可以計算與分組過程相同的方向和旋轉(zhuǎn)，并根據(jù)標簽和索引從B查詢密集目標，這可以從E.q.6中獲得增強樣本中的所有目標并獲得增強的數(shù)據(jù)。

Deep Fusion

為了模擬增強型激光雷達數(shù)據(jù)生成的高質(zhì)量特征，融合模型旨在從相機輸入中豐富的顏色和上下文特征中提取稀疏目標的缺失信息。為此，本文提出了深度融合模塊，以利用圖像特征并完成激光雷達演示。所提出的深度融合主要由3D學習器和2D-3D學習器組成。3D學習器是一個簡單的卷積層，用于將3D呈現(xiàn)轉(zhuǎn)移到2D空間中。然后，連接2D特征和3D呈現(xiàn)（例如，在2D空間中），2D-3D學習器被用來融合LiDAR相機特征。最后，通過MLP和激活函數(shù)對融合特征進行了加權(quán)，將其添加回原始激光雷達特征作為深度融合模塊的輸出。2D-3D學習器由深度為K的堆疊MLP塊組成，學習利用相機特征來完成稀疏目標的激光雷達表示，以模擬密集激光雷達目標的高質(zhì)量特征。

實驗對比分析

實驗結(jié)果(mAP@R40%）。這里列出了三個類別的簡單、中等（mod.）和困難情況，以及總體性能。這里L、LC、LC*表示相應(yīng)的激光雷達檢測器、激光雷達相機融合檢測器和本文提案的結(jié)果。?表示改進。最佳結(jié)果以粗體顯示，預期L?是輔助模型，并在增強驗證集上進行測試。MVXNet是基于mmdetection3d重新進行的。PV-RCNN-LC和Voxel RCNN LC是基于VFF的開源代碼重新進行的。

整體性能。3DmAP@R40基于三個檢測器的比較如表1所示，三個類別和每個難度劃分的總體性能?？梢郧宄赜^察到，通過引入額外的相機輸入，激光雷達相機方法（LC）優(yōu)于基于激光雷達的檢測器（L）。通過引入極性采樣，輔助模型（L?）可以在增強的驗證集上獲得令人欽佩的性能（例如超過90%的mAP）。有了高質(zhì)量特征的輔助監(jiān)督和提出的深度融合模塊，我們的proposal可以不斷提高檢測精度。例如，與基線（LC）模型相比，我們的proposal可以為中度和hard目標獲得+1.54%和+1.24%的3D mAP改善。此外，還對基于SECOND-LC的nuScenes基準進行了實驗，如表2所示，NDS和mAP分別提高了+2.01%和+1.38%。

class感知改進分析。與基線模型相比，SupFusion和深度融合不僅可以提高整體性能，還可以提高包括Pedestrian在內(nèi)的每個類別的檢測性能，比較三個類別的平均改善（例如中等情況），可以獲得以下觀察結(jié)果：騎自行車的人獲得最大的改善（+2.41%），而行人和汽車分別獲得+1.35%和+0.86%的改善。原因很明顯：（1） 與行人和騎自行車的人相比，汽車更容易被發(fā)現(xiàn)，并獲得最佳效果，因此更難改進。（2） 與行人相比，騎自行車的人獲得了更多的改進，因為行人是非網(wǎng)格的，生成的密集目標與騎自行車的相比不那么好，因此獲得的性能改進較低！

原文鏈接：https://mp.weixin.qq.com/s/vWew2p9TrnzK256y-A4UFw