FMCW雷達位置識別如何優雅的實現（IROS2023）
本文經自動駕駛之心公眾號授權轉載，轉載請聯系出處。
大家好，我叫袁健豪，很開心來自動駕駛之心平臺分享我們在IROS2023上關于雷達位置識別的工作。
由于其對挑戰性環境的固有抗性，使用調頻連續波 (FMCW) 雷達的定位越來越受到關注。然而，雷達測量過程的復雜偽影需要適當的不確定性估計 - 以確保這種有前景的傳感器模式的安全和可靠應用。在這項工作中，我們提出了一個多會話地圖管理系統，該系統基于嵌入空間中學到的方差屬性構建“最佳”地圖以進行進一步的定位。使用相同的方差屬性，我們還提出了一種新的方法，內省地拒絕可能是不正確的定位查詢。為此，我們應用了魯棒的噪聲感知度量學習，既利用沿驅動路徑的雷達數據的短時間尺度變化（用于數據增強），又預測基于度量空間的位置識別中的下游不確定性。我們通過對 Oxford Radar RobotCar 和 MulRan 數據集的廣泛交叉驗證測試證明了我們方法的有效性。在此，我們僅使用單個最近鄰查詢就超越了雷達位置識別的當前最新技術和其他不確定性感知方法。當基于不確定性拒絕查詢時，我們還顯示了在一個困難的測試環境中的性能增加，這是我們沒有觀察到的與競爭的不確定性感知位置識別系統。
Off the Radar的出發點
位置識別和定位是機器人技術和自主系統領域的重要任務，因為它們使系統能夠理解和導航其環境。傳統的基于視覺的位置識別方法經常容易受到環境條件變化的影響，如光照、天氣和遮擋，導致性能下降。為了解決這個問題，人們越來越關注使用FMCW雷達作為這種對抗性環境的穩健傳感器替代品。
現有的工作已經證明了手工制作的和基于學習的特征提取方法的FMCW雷達位置識別的有效性。盡管現有的工作取得了成功，但這些方法在自動駕駛等安全關鍵應用中的部署仍受到校準不確定性估計的限制。在這個領域，需要考慮以下幾點：
- 安全性要求不確定性估計與誤報率良好地校準，以便啟用內省拒絕；
- 實時部署需要快速的基于單次掃描不確定性的推理能力；
- 長期自主性中的重復路線遍歷需要在線連續地圖維護。
雖然VAE通常用于生成任務，但其概率潛在空間可以作為位置識別的有效度量空間表示，并允許對數據噪聲分布進行先驗假設，這也提供了一個標準化的偶然不確定性估計。因此，在本文中，為了實現FMCW雷達在自動駕駛中的可靠和安全部署，我們利用了一個變分對比學習框架，并提出了一個統一的基于不確定性的雷達位置識別方法。
系統流程概覽
在離線階段，我們使用變分對比學習框架來學習一個帶有估計不確定性的隱藏嵌入空間，使得來自相似拓撲位置的雷達掃描彼此接近，反之亦然。在在線階段，我們開發了兩種基于不確定性的機制來處理連續收集的雷達掃描，用于推理和地圖構建。對于重復遍歷相同的路線，我們通過用更確定的掃描替換高度不確定的掃描來積極維護一個集成的地圖字典。對于不確定性低的查詢掃描，我們基于度量空間距離從字典中檢索匹配的地圖掃描。相反，我們拒絕對高不確定性的掃描進行預測。
Off the Radar的方法介紹
本文介紹了一種用于雷達位置識別的變分對比學習框架，來描述位置識別中的不確定性。主要貢獻包括：
- 不確定性感知的對比學習框架。
- 基于校準不確定性估計的內省查詢機制。
- 在線遞歸地圖維護用于變化的環境。
變分對比學習
變分對比學習框架概覽，基于[^Lin2018dvml]. 通過編碼器-解碼器結構學習一個度量空間，其中有兩個重新參數化的部分：一個用于識別的確定性嵌入和一組參數建模多變量高斯分布，其方差作為不確定性度量。整體學習由重構和對比損失共同驅動，以確保雷達掃描的信息性和區分性的隱藏表示。
這一部分的工作既是我們核心貢獻的關鍵推動者，也是深度變分度量學習與雷達位置識別的新穎整合，以及在位置識別中表征不確定性的新方法。如圖所示，我們采用了一個結構來將雷達掃描嵌入分解為一個噪聲誘導的變量部分，它捕獲了與預測無關的不確定性來源的方差，以及一個語義不變的部分，用于場景表示的基本特征。變量部分后來從一個先驗的多元等方高斯分布中采樣，并添加到不變性部分，形成整體表示。變量輸出直接用作不確定性度量。我們假設我們只考慮由數據中的固有模糊性和隨機性引起的模型預測的偶然不確定性作為不確定性的主要來源。特別是對于雷達掃描，這可能是由于斑點噪聲、飽和和臨時遮擋。標準的度量學習方法，不考慮所選擇的損失函數，都傾向于在正樣本對之間強制相同的嵌入，同時忽略了它們之間的潛在方差。然而，這可能導致模型對微小特征不敏感，并過度擬合訓練分布。因此，為了模擬噪聲方差，我們使用結構中的額外概率方差輸出來估計偶然不確定性。為了建立這樣一個噪聲感知的雷達感知表示，我們使用四個損失函數來指導整體訓練。
1） 不變對比損失在確定性表示 ( Z_I ) 上，以從雷達語義中分離任務無關的噪聲，使得不變嵌入包含足夠的因果信息；以及
2） 變量對比損失在整體表示 ( Z ) 上，建立有意義的度量空間。兩種對比損失均采取以下形式。
其中一個批次由m個樣本和使用“旋轉”策略，合成旋轉的時間近似幀增強 組成，這只是旋轉增強，用于旋轉不變性。我們的目標是最大化增強樣本被識別為原始實例的概率，同時最小化反轉情況的概率。
其中嵌入 ( Z ) 是 ( Z_I ) 或 ( Z ) ，如公式1）和2）中所述。
3）Kullback–Leibler (KL) 散度在學到的高斯分布和標準各向同性多變量高斯分布之間，這是我們對數據噪聲的先驗假設。這確保了所有樣本噪聲的相同分布，并為變量輸出的絕對值提供了一個靜態參考。
4） 重建損失在提取特征圖 ( M ) 和解碼器輸出 ( M_R ) 之間，這迫使整體表示 ( Z ) 包含原始雷達掃描中的足夠信息以進行重建。但是，我們只重建一個較低維度的特征圖，而不是像素級雷達掃描重建，以減少解碼過程中的計算成本。
雖然僅由KL散度和重建損失驅動的普通VAE結構也提供了潛在方差，但由于其眾所周知的后驗崩潰和消失方差問題，它被認為不可靠地用于不確定性估計。這種無效性主要是由于訓練過程中兩個損失的不平衡：當KL散度占主導地位時，潛在空間后驗被迫等于先驗，而當重建損失占主導地位時，潛在方差被推到零。然而，在我們的方法中，我們通過引入變量對比損失作為額外的正則化器，實現了更穩定的訓練，其中方差被驅使在度量空間中保持聚類中心之間的穩健邊界。因此，我們獲得了更可靠的潛在空間方差，反映了雷達感知的基礎偶然不確定性。我們選擇在特征增加的損失設置中展示我們特定的學習不確定性方法的好處。在這個領域，雷達位置識別的最新技術已經使用了許多（即超過2個）負樣本的損失，所以，我們在這個基礎上進行了擴展。
持續地圖維護
持續地圖維護是在線系統的一個重要功能，因為我們的目標是充分利用在自動駕駛車輛操作期間獲得的掃描數據，并以遞歸的方式改進地圖。合并新的雷達掃描到由先前遍歷的掃描組成的父地圖的過程如下所示。每個雷達掃描都由一個隱藏表示和一個不確定性度量表示。在合并過程中，我們為每個新掃描搜索匹配的正樣本，拓撲距離在閾值以下。如果新掃描的不確定性較低，那么它將被集成到父地圖中并替換匹配的掃描，否則它將被丟棄。
地圖維護示意圖：紅色和綠色節點分別代表具有較高和較低不確定性的雷達掃描。我們始終維護一個作為每個位置的定位參考的父地圖，該地圖僅由具有最低不確定性的掃描組成。請注意，虛線邊表示父地圖的初始狀態，實線邊表示父地圖的更新版本。
通過迭代地執行維護過程，我們可以逐漸提高集成父地圖的質量。因此，維護算法可以作為一種有效的在線部署策略，因為它不斷地利用同一路線遍歷的多次經驗來提高識別性能，同時保持一個恒定的父地圖大小，從而導致有預算的計算和存儲成本。
內省查詢
由于與標準高斯分布的測量的模型不確定性，所有維度的估計方差接近于1。因此，我們可以使用兩個超參數 \Delta 和 N 來完全定義不確定性拒絕的規模和分辨率。得到的閾值T定義如下：
給定一個具有 m 維潛在方差的掃描，我們對所有維度求平均，得到一個標量不確定性度量
預測拒絕
在推理時，我們執行內省查詢拒絕，其中方差高于定義閾值的查詢掃描將被拒絕識別。現有的方法，如 STUN 和 MC Dropout，動態地將批量樣本的不確定性范圍劃分為閾值級別。然而，這需要在推理過程中有多個樣本，并可能導致不穩定的拒絕性能，特別是當只有少量樣本時。相比之下，我們的靜態閾值策略提供了與樣本無關的閾值級別，并提供了一致的單掃描不確定性估計和拒絕。這一特性對于實時部署地點識別系統至關重要，因為在駕駛過程中，雷達掃描是逐幀獲得的。
實驗細節
本文使用兩個數據集：1） Oxford Radar RobotCar 和 2） MulRan。這兩個數據集都使用CTS350-X Navtech FMCW 掃描雷達。雷達系統在76 GHz到77 GHz的范圍內運行，可以生成多達3768個范圍讀數，分辨率為4.38厘米。
基準測試 的識別性能是通過與幾種現有方法進行比較來完成的，包括原始的 VAE，Gadd et al 提出的最先進的雷達地點識別方法（稱為 BCRadar），以及非學習基礎的方法 RingKey（ScanContext 的一部分，沒有旋轉細化）。此外，性能還與 MC Dropout 和 STUN進行了比較，這兩種方法作為具有不確定性意識的地點識別基線。
消融研究為了評估我們提出的內省查詢（Q）和地圖維護（M）模塊的有效性，我們通過比較我們方法的不同變體進行了消融研究，分別表示為 OURS(O/M/Q/QM)，具體如下：
- O: 沒有地圖維護，沒有內省查詢
- M: 僅地圖維護
- Q: 僅內省查詢
- QM: 地圖維護和內省查詢都有 具體來說，我們比較了 O 和 M 之間的識別性能，以及 Q 和 QM 之間的不確定性估計性能。
通用設置為了確保公平的比較，我們為所有基于對比學習的方法采用了一個通用的批次對比損失，從而在基準測試中實現了一致的損失函數。
實施細節
掃描設置
對于所有方法，我們將具有 A = 400方位和 B = 3768 格的極坐標雷達掃描轉換為笛卡爾掃描，每個箱子的大小為 4.38 cm，具有 W = 256的邊長和 0.5 m 的箱子大小。
訓練超參數
我們使用 VGG-19 [^simonyan2014very^] 作為背景特征提取器，并使用一個線性層將提取的特征投影到較低的嵌入維度 d=128。我們在 Oxford Radar RobotCar 中為所有基線訓練了 10 個時代，在 MulRan 中為 15 個迭代，學習率為 1e{-5}，批次大小為 8。
評估指標
為了評估地點識別性能，我們使用 Recall@N (R@N) 指標，這是通過確定在 N 個候選者中是否至少有一個候選者接近 GPS/INS 所指示的地面真實值來確定的本地化的準確性。這對于自動駕駛應用中的安全保證尤為重要，因為它反映了系統對假陰性率的校準。我們還使用 Average Precision (AP) 來測量所有召回級別的平均精度。最后，我們使用 F-scores 與 \beta=2/1/0.5 來分配召回對精確度的重要性級別，作為評估整體識別性能的綜合指標。
此外，為了評估不確定性估計性能。我們使用 Recall@RR，在這里我們執行內省查詢拒絕，并在不同的不確定性閾值級別上評估 Recall@N=1 -- 拒絕所有查詢的掃描的不確定性大于閾值的。我們因此拒絕了 0-100% 的查詢。
結果總結
地點識別性能
如 Oxford Radar RobotCar實驗中表格1所示，我們的方法僅使用度量學習模塊，在所有指標上都取得了最高的性能。具體來說，在 Recall@1 方面，我們的方法 OURS(O) 展示了通過變分對比學習框架學習的方差解耦表示的有效性，實現了超過 90.46% 的識別性能。這進一步得到了 MulRan 實驗結果的支持，如表2所示，我們的方法在 Recall@1、總體 F-scores 和 AP 上均優于其他所有方法。盡管在 MulRan 實驗中，VAE 在 Recall@5/10 上優于我們的方法，但我們的方法在兩種設置中的最佳 F-1/0.5/2 和 AP 表明，我們的方法具有更高的精確度和召回率，從而實現了更準確和穩健的識別性能。
Oxford Radar RobotCar識別性能。最佳和次佳的結果分別為粗體和__下劃線__。
Mulran識別性能。格式同上。
此外，通過進一步利用Oxford Radar RobotCar中的持續地圖維護，我們能夠將 Recall@1 進一步提高到 93.67%，超過了當前最先進的方法 STUN，超出了 4.18%。這進一步證明了學習方差作為一個有效的不確定性度量，以及基于不確定性的地圖集成策略在提高地點識別性能方面的有效性。
不確定性估計性能
隨著被拒絕的不確定查詢的百分比增加，識別性能的變化，特別是 Recall@1，在 Oxford Radar RobotCar 實驗中如圖1所示，在 MulRan 實驗中如圖2所示。值得注意的是，我們的方法是唯一一個在兩種實驗設置中都展示出隨著不確定查詢拒絕率增加而持續改進的識別性能的方法。在MulRan實驗中，OURS(Q) 是唯一一個隨著拒絕率增加而持續平穩地提高 Recall@RR 指標的方法。與 VAE 和 STUN 相比，這兩種方法也像我們的方法一樣估計了模型的不確定性，OURS(Q) 在 Recall@RR=0.1/0.2/0.5 上實現了 +(1.32/3.02/8.46)% 的改進，而 VAE 和 STUN 分別下降了 -(3.79/5.24/8.80)% 和 -(2.97/4.16/6.30)%。
Oxford Radar RobotCar的內省查詢拒絕性能。隨著被拒絕的不確定查詢的百分比增加，Recall@1增加/減少。由于 VAE 的性能與其他方法相比較低（具體為Recall@RR=0.1/0.2/0.5的 (48.42/48.08/18.48)%），因此沒有進行可視化。
Mulran的內省查詢拒絕性能。格式同上。
另一方面，與 MC Dropout 相比，后者估計了由于數據偏見和模型誤差導致的認知不確定性，盡管它在Oxford Radar RobotCar實驗的早期階段有更高的 Recall@1 增加，但其性能總體上低于我們的，并且隨著拒絕率進一步增加，未能實現更大的改進。最后，比較 OURS(Q) 和 OURS(QM) 在Oxford Radar RobotCar實驗中，我們觀察到 Recall@RR 的變化模式相似，而它們之間存在相當大的差距。這表明內省查詢和地圖維護機制獨立地為地點識別系統做出了貢獻，每種機制都以不可或缺的方式利用了不確定性度量。
關于Off the Radar的討論
定性分析和可視化
為了定性地評估雷達感知中的不確定性來源，我們提供了使用我們的方法估計的兩個數據集中的高/低不確定性樣本的視覺比較。如圖所示，高不確定性的雷達掃描通常顯示出重度的運動模糊和稀疏的未檢測區域，而低不確定性的掃描通常包含在直方圖中強度更強的明顯特征。
具有不同不確定性水平的雷達掃描的可視化。左邊的四個示例來自Oxford Radar RobotCar Dataset，而右邊的四個示例來自MulRan。我們展示了具有最高 (頂部) / 最低 (底部) 不確定性的前10個樣本。雷達掃描以增強對比度的笛卡爾坐標顯示。每個圖像下方的直方圖顯示了從所有方位角提取的強度的RingKey描述符特征。
這進一步支持了我們關于雷達感知中不確定性來源的假設，并作為我們的不確定性測量捕獲這種數據噪聲的定性證據。
數據集差異
在我們的基準實驗中，我們觀察到兩個數據集之間的識別性能存在相當大的差異。我們認為可用訓練數據的規模可能是一個合理的原因。Oxford Radar RobotCar的訓練集包括超過300Km的駕駛經驗，而 MulRan數據集只包括大約120Km。然而，也考慮到RingKey描述符方法的性能下降。這表明雷達場景感知中可能存在固有的不可區分的特征。例如，我們發現具有稀疏開放區域的環境通常導致相同的掃描和次優的識別性能。我們在這個數據集上展示了在這些高不確定性的情況下我們的系統和各種基線發生了什么。
原文鏈接：https://mp.weixin.qq.com/s/wu7whicFEAuo65kYp4quow
