本文經自動駕駛之心公眾號授權轉載，轉載請聯系出處。

原標題：Producing and Leveraging Online Map Uncertainty in Trajectory Prediction

論文鏈接：https://arxiv.org/pdf/2403.16439.pdf

代碼鏈接：https://github.com/alfredgu001324/MapUncertaintyPrediction

作者單位：多倫多大學 Vector Institute NVIDIA Research 斯坦福大學

論文思路：

高精（HD）地圖在現代自動駕駛汽車（AV）技術棧的發展中扮演了不可或缺的角色，盡管與此相關的標注和維護成本很高。因此，許多近期的工作提出了從傳感器數據在線估計HD地圖的方法，使自動駕駛汽車能夠在先前繪制的區域(previously-mapped)之外運行。然而，當前的在線地圖估計方法是獨立于其下游任務開發的，這使得它們在自動駕駛技術棧中的整合變得復雜。特別是，它們不生成不確定性或置信度估計。本文擴展了多個最先進的在線地圖估計方法，使其能夠額外估計不確定性，并展示了這如何使在線建圖與軌跡預測更緊密地整合1。在此過程中，本文發現納入不確定性可以使訓練收斂速度提高多達50%，并且在真實世界的nuScenes駕駛數據集上的預測性能提高多達15%。

主要貢獻：

本文提出了一個通用的矢量化地圖不確定性表述，并擴展了多個最先進的在線地圖估計方法，使其額外輸出不確定性估計，而不會降低純建圖性能。

本文通過實證分析潛在的地圖不確定性來源，確認了當前地圖估計方法缺乏置信度的地方，并為未來的研究方向提供了信息。

本文將許多近期的在線地圖估計模型與多個最先進的軌跡預測方法相結合，并展示了如何通過納入在線建圖不確定性顯著提高下游預測模型的性能和訓練特性，加速訓練收斂速度高達50%，并提高在線預測準確性多達15%。

網絡設計：

自動駕駛的一個關鍵組成部分是理解靜態環境，例如，圍繞自動駕駛汽車（AV）的道路布局和連通性。因此，已經開發出高精（HD）地圖來捕捉和提供此類信息，包含了道路邊界、車道分隔線以及厘米級別的道路標記等語義信息。近年來，HD地圖已被證明對于自動駕駛汽車的開發和部署是不可或缺的，今天已被廣泛使用[35]。然而，HD地圖的標注和長期維護成本高昂，并且它們只能在地理圍欄區域(geofenced areas)使用，這限制了自動駕駛汽車的可擴展性(scalability)。

為了解決這些問題，許多近期的研究轉向從傳感器數據在線估計高精（HD）地圖。廣義上，它們的目標是預測地圖元素的位置和類別，通常以多邊形或折線的形式，全部來源于相機圖像和激光雷達（LiDAR）掃描。然而，當前的在線地圖估計方法并未產生任何相關的不確定性或置信度信息。這是有問題的，因為它導致下游使用者(consumers)隱含地假設推斷出的地圖組件是確定的，任何建圖錯誤（例如，地圖元素的移動或放置不正確）可能導致錯誤的下游行為。為此，本文提出揭示在線地圖估計方法中的地圖不確定性，并將其納入下游模塊中。具體來說，本文將地圖不確定性納入軌跡預測，并發現在結合了地圖不確定性的 mapper-predictor 系統中（圖1）與那些沒有結合地圖不確定性的系統相比，性能有顯著提升。

圖1. 從在線高精（HD）地圖估計方法中產生不確定性，并將其納入下游模塊中，帶來了多種好處。左圖：真實的HD地圖和代理位置。中圖：使用MapTR[22]輸出地圖的HiVT[41]預測。右圖：使用MapTR[22]輸出的地圖以及增加了點不確定性（由于左側道路邊界被停放的車輛遮擋，不確定性較大）的HiVT[41]預測。

圖2. 許多在線高精矢量地圖估計方法通過編碼多攝像機圖像，將它們轉換到一個共同的鳥瞰圖（BEV）特征空間，并回歸地圖元素的頂點來運作。本文的工作通過增加一個概率回歸頭來增強這種常見的輸出結構，將每個地圖頂點建模為拉普拉斯分布。為了評估由此產生的下游效應，本文進一步擴展了下游預測模型以編碼地圖不確定性，增強了基于圖神經網絡（GNN）和基于 Transformer 的地圖編碼器。

實驗結果：

圖3. 本文提出的不確定性表述能夠捕捉由于自動駕駛車輛（AV）的攝像頭與周圍地圖元素之間的遮擋而產生的不確定性。左圖：前方和前右方攝像頭的圖像。右圖：本文增強的在線高精地圖模型生成的HD地圖。橢圓表示分布的標準差。顏色代表道路邊界、車道分隔線、人行橫道和車道中心線。

圖4. 在一個密集的停車場中，許多模型未能生成準確的地圖。左圖：后方和后左方攝像頭的圖像。右圖：本文增強的在線高精地圖模型生成的HD地圖。橢圓展示了分布的標準差。顏色代表道路邊界、車道分隔線、人行橫道和車道中心線。

總結：

本文提出了一個通用的矢量化地圖不確定性公式，并擴展了多種最新的在線地圖估計方法，包括MapTR [22]、MapTRv2 [23]和StreamMapNet [38]，使它們能夠額外輸出不確定性。本文系統地分析了產生的不確定性，并發現本文的方法捕捉到了許多不確定性來源（遮擋、與攝像頭的距離、一天中的時間和天氣）。最后，本文將這些在線地圖估計模型與最新的軌跡預測方法（DenseTNT [13]和HiVT [41]）結合起來，并展示了結合在線地圖不確定性顯著提高了預測模型的性能和訓練特性，分別高達15%和50%。一個激動人心的未來研究方向是利用這些不確定性輸出來衡量地圖模型的校準度（類似于[16]）。然而，這一任務因需要進行模糊點集匹配而變得復雜，這本身就是一個具有挑戰性的問題。

引用：

Gu X, Song G, Gilitschenski I, et al. Producing and Leveraging Online Map Uncertainty in Trajectory Prediction[J]. arXiv preprint arXiv:2403.16439, 2024.