本文經自動駕駛之心公眾號授權轉載，轉載請聯系出處。

寫在前面&個人理解

駕駛系統通常依賴高精（HD）地圖來獲取精確的環境信息，這對于規劃和導航至關重要。盡管當前的高精地圖構建器在理想條件下表現良好，但它們對現實世界挑戰的韌性，例如惡劣天氣和傳感器故障，尚不完全清楚，這引發了安全問題。MapBench是首個旨在評估高精地圖構建方法對各種傳感器損壞情況的魯棒性的全面基準測試。基準測試涵蓋了來自Camera和激光雷達傳感器的總共29種損壞類型。對31個高精地圖構建器的廣泛評估揭示了現有方法在惡劣天氣條件和傳感器故障下性能顯著下降，這凸顯了關鍵的安全問題。對此，識別出增強魯棒性的有效策略，包括利用多模態融合、高級數據增強和架構技術的創新方法。這些見解為開發更可靠的高精地圖構建方法提供了途徑，這對于自動駕駛技術的進步至關重要。

項目鏈接：https://mapbench.github.io/

領域背景介紹

高精地圖是自動駕駛系統的基礎組件，提供了交通規則、矢量拓撲和導航信息的厘米級細節。這些地圖使自動駕駛車輛能夠準確地定位自身在道路上的位置，并預測即將到來的特征。高精地圖構建器將這項任務表述為預測以鳥瞰圖（BEV）形式的一系列矢量靜態地圖元素，例如人行橫道、車道分隔線、道路邊界等。

現有的高精地圖構建方法可以根據輸入傳感器的類型進行分類：僅基于camera、僅基于激光雷達以及camera-激光雷達融合模型。每種傳感器都有其獨特的功能：camera從圖像中捕獲豐富的語義信息，而激光雷達則從點云中提供明確的幾何信息。

通常，基于camera的方法比僅基于激光雷達的方法表現更好，而基于融合的方法則產生了最滿意的結果。然而，目前的模型設計和性能評估都是基于理想的駕駛條件，例如晴朗的白天天氣和完全正常的傳感器。

為了彌補這一差距，這里提出了MapBench，這是首個旨在評估高精地圖構建方法在實際環境中對自然損壞可靠性的全面基準測試。通過研究三種流行的配置：純視覺、僅基于激光雷達以及視覺-激光雷達融合模型，全面評估了模型在損壞情況下的魯棒性。評估涵蓋了8種camera損壞類型、8種激光雷達損壞類型以及13種視覺-激光雷達損壞組合類型，如圖2和圖4所示。為每種損壞類型定義了三個嚴重程度級別，并設計了適當的指標以進行定量魯棒性比較。利用MapBench，對總共31種最先進的高精地圖構建方法進行了廣泛的實驗。

如圖1所示的結果揭示了“干凈”數據集和損壞數據集之間模型性能的顯著差異。這些評估的關鍵發現包括：

• 在所有camera/激光雷達損壞情況中，雪天損壞顯著降低了模型性能。它覆蓋了道路，使得地圖元素無法識別，對自動駕駛構成了重大威脅。此外，傳感器故障損壞（例如幀丟失和回聲不完整）對所有模型來說也是一個挑戰，這顯示了傳感器故障對高精地圖模型的嚴重威脅。
• 盡管camera-激光雷達融合方法通過結合兩種模態的信息顯示出了有前景的性能，但現有方法通常假設可以訪問完整的傳感器信息，這導致在傳感器損壞或缺失時魯棒性較差，并可能崩潰。

通過廣泛的基準研究，進一步揭示了提高高精地圖構建器對傳感器損壞可靠性的關鍵因素。這項工作的主要貢獻有三個方面：

• 引入了MapBench，首次嘗試全面基準測試和評估高精地圖構建模型對各種傳感器損壞的魯棒性。
• 在三種配置下（僅基于camera、僅基于激光雷達以及camera-激光雷達融合）廣泛基準測試了總共31種最先進的高精地圖構建器及其變體。這包括研究它們在8種camera損壞、8種激光雷達損壞以及每種配置下13種camera-激光雷達損壞組合下的魯棒性。
• 確定了提高魯棒性的有效策略，包括利用先進的數據增強和架構技術的創新方法。發現揭示了顯著提高性能和魯棒性的策略，強調了針對高精地圖構建中特定挑戰定制解決方案的重要性。

MapBench：高精地圖構建魯棒性基準測試

在這項工作中，研究了三種流行的配置，即僅基于camera的、僅基于激光雷達的以及基于camera-激光雷達融合的高精地圖構建任務，并研究了它們對各種傳感器損壞的魯棒性。如圖2所示，camera/激光雷達損壞被分為外部環境、內部傳感器和傳感器故障類型，涵蓋了大多數真是情況。我們為每個損壞類型考慮了三個損壞嚴重程度級別，即容易、中等和困難。此外，對于多傳感器損壞，我們使用camera/激光雷達傳感器故障類型來分別或同時干擾camera和激光雷達傳感器輸入。MapBench是通過破壞nuScenes的驗證集來構建的。選擇nuScenes是因為它幾乎在所有最近的高精地圖構建工作中都得到了廣泛應用。

1）傳感器損壞

camera傳感器損壞。為了探究僅基于camera的模型魯棒性，采用了8種真實世界中的camera傳感器損壞情況，這些損壞情況從三個角度進行分類：外部環境、內部傳感器和傳感器故障。外部環境包括各種光照和天氣條件，如強光、低光、霧和雪。camera輸入也可能因傳感器內部因素而損壞，如運動模糊和顏色量化。最后，考慮了傳感器故障的情況，即由于物理問題導致camera崩潰或某些幀丟失，分別導致camera崩潰和幀丟失。

激光雷達傳感器損壞。為了探索僅基于激光雷達的模型魯棒性，采用了中的8種激光雷達傳感器損壞情況，這些損壞情況在現實世界的部署中具有很高的發生概率。這些損壞情況也分為外部、內部和傳感器故障三種情況。外部環境包括霧、濕地和雪，這些條件會導致激光雷達脈沖的背散射、衰減和反射。此外，激光雷達輸入可能會因不平坦的表面、灰塵或昆蟲而損壞，這通常會導致干擾并導致運動模糊和光束缺失。最后，我們考慮了激光雷達內部傳感器故障的情況，如串擾、可能的回聲不完整和跨傳感器場景。

多傳感器損壞。為了探索camera-激光雷達融合模型的魯棒性，設計了13種camera-激光雷達損壞組合，使用上述傳感器故障類型分別或同時干擾camera和激光雷達輸入。這些多傳感器損壞被分為僅camera損壞、僅激光雷達損壞以及它們的組合，涵蓋了大多數現實場景。具體來說，利用“干凈”的激光雷達點數據和三種camera故障情況（如不可用camera（所有RGB圖像的所有像素值都設置為零）、camera崩潰和幀丟失）設計了3種僅camera損壞情況。此外，利用“干凈”的camera數據和損壞的激光雷達數據作為輸入設計了4種僅激光雷達損壞情況。這包括完全激光雷達故障（由于沒有任何模型可以在所有點都缺失的情況下工作，通過僅保留一個點作為輸入來近似這種情況）、不完整回波、串擾和跨傳感器。請注意，對完全激光雷達故障的實現接近現實情況。最后，設計了6種camera-激光雷達損壞組合，使用之前提到的圖像/激光雷達傳感器故障類型同時干擾兩個傳感器輸入。

2）Evaluation Metrics

基于mAP（平均精度均值）定義了兩個魯棒性評估指標，mAP是矢量化高精地圖構建中常用的準確度指標。

損壞誤差（CE）。將CE定義為主要指標，用于比較模型的魯棒性。它衡量了候選模型相對于基準模型的相對魯棒性。給定總共N種不同的損壞類型，CE和mCE（平均損壞誤差）的分數計算如下：

恢復率（RR）。將RR定義為相對魯棒性指標，用于衡量模型在損壞集上評估時能夠保留多少準確性，其計算方式如下：

實驗分析

候選模型。MapBench總共包含了31個高精地圖構建器及其變體，即HDMapNet 、VectorMapNet 、PivotNet 、BeMapNet 、MapTR 、MapTRv2 、StreamMapNet 和HIMap 。其他一些高精地圖方法的代碼不是開源的，因此在本工作中不會考慮。

模型配置。在表1中報告了不同模型的基本信息，包括輸入模態、BEV編碼器、主干網絡、訓練周期以及它們在官方nuScenes驗證集上的性能。請注意，這里的僅激光雷達模型將時間聚合的激光雷達點作為輸入，因此它們在“干凈”數據上的mAP遠高于其他表格或圖表中的值，后者使用單次掃描的激光雷達點，以便與損壞數據進行公平比較。

評估協議。為確保公平性，盡可能使用開源代碼庫提供的官方模型配置和public checkpoints，或者按照默認設置重新訓練模型。此外，通過平均三個嚴重程度級別來報告每種損壞類型的指標。采用不同配置的MapTR （見表1）作為計算等式1中mCE指標的基線，因為它在最新方法中被廣泛采用。

1）純視覺基準測試結果

在圖3（a）-（b）中展示了8個僅使用camera的高精地圖模型在camera傳感器損壞情況下的魯棒性。發現表明，現有的高精地圖模型在損壞場景下表現出不同程度的性能下降。總體來說，損壞魯棒性與在“干凈”數據上的原始準確度高度相關，因為準確度更高的模型（例如StreamMapNet 、HIMap ）也表現出更好的損壞魯棒性。我們進一步在圖6中展示了僅使用camera的方法在不同損壞嚴重程度下的準確度比較。

基于實證評估結果，得出以下幾個重要發現，可以總結如下：

1）在所有camera損壞情況中，雪對性能的影響最大，對駕駛安全構成嚴重威脅。主要原因是雪會覆蓋道路，導致地圖元素無法識別。此外，幀丟失和camera崩潰對所有模型來說也是一個挑戰，這顯示了camera傳感器故障對僅使用camera的模型構成的嚴重威脅。

2）如圖3（a）-（b）所示，最魯棒的兩個模型是StreamMapNet 和HIMap 。盡管它們在各種camera損壞情況下比其他研究的模型表現出更好的魯棒性，但現有模型的整體魯棒性仍然相對較低。具體來說，mRR的范圍在40%到60%之間，而最佳模型HIMap 的mRR僅為56.6%。

2）純激光雷達基準測試結果

在圖3（c）-（d）和圖6中報告了4個僅使用激光雷達的高精地圖構建器的激光雷達傳感器損壞魯棒性。與僅使用camera的模型觀察結果類似，在“干凈”數據集上準確度更高的僅使用激光雷達的模型通常也表現出更好的損壞魯棒性。關鍵要點如下：

1）在所有損壞情況中，雪和跨傳感器損壞對性能的影響最大，對僅使用激光雷達的方法的魯棒性構成嚴重威脅。更具體地說，雪和跨傳感器損壞都導致所有僅使用激光雷達的方法性能下降超過80%。主要原因是雪會導致激光雷達數據中的激光脈沖反射。此外，跨傳感器損壞表明，由不同激光雷達配置/設備引起的域差異大大降低了性能。

2）大多數模型在不完整回波損壞下的性能下降可以忽略不計。這種損壞類型主要影響來自深色車輛或物體的數據，而高精地圖構建任務更關注靜態地圖元素。此外，盡管VectorMapNet 在mRR指標上取得了最佳性能，但與HIMap 相比，在mAP方面并不遜色。

3）Camera-激光雷達融合基準測試結果

為了系統地評估基于camera-激光雷達融合方法的可靠性，設計了13種多傳感器損壞類型，這些損壞類型分別或同時干擾camera和激光雷達輸入。結果如圖4所示。發現表明，camera-激光雷達融合模型在不同損壞組合下表現出不同程度的性能下降。

實驗結果揭示了幾個有趣的發現，我們提供如下詳細分析：

1）在camera數據缺失的場景中，MapTR  和 HIMap  的mAP分別下降了40.0%和68.9%，對安全感知構成了嚴重威脅。此外，幀丟失對基于傳感器融合方法的性能造成的影響比camera崩潰更為嚴重。這些觀察結果驗證了camera傳感器故障對高精地圖融合模型構成了重大威脅。

2）在激光雷達數據缺失的場景中，MapTR  和 HIMap  的mAP分別下降了42.1%和41.5%，這顯示了激光雷達傳感器的重要性。此外，激光雷達的串擾（Crosstalk）和跨傳感器損壞（Cross-Sensor corruptions）對camera-激光雷達融合的性能影響最大。相比之下，激光雷達的不完整回波損壞（Incomplete Echo corruption）對模型性能的影響不大，這與僅使用激光雷達配置下的觀察結果一致。

3）camera-激光雷達組合損壞導致的性能下降比其單模態對應項更糟，這凸顯了camera和激光雷達傳感器故障對高精地圖構建任務的嚴重威脅。此外，無論與哪種類型的激光雷達損壞相結合，幀丟失（Frame Lost）對融合模型性能的影響都比camera崩潰（Camera Crash）更為顯著，這強調了camera傳感器多視角輸入的重要性。在三種激光雷達損壞類型中，跨傳感器損壞對融合模型性能的影響最大。即使與各種類型的camera損壞相結合，這種模式仍然保持一致，說明了跨配置或跨設備激光雷達數據輸入構成的嚴重威脅。在圖5中提供了一些在各種camera-激光雷達損壞組合下高精地圖構建的定性示例，這些示例展示了在各種損壞下的性能下降。

值得注意的是，盡管HIMap 在“干凈”條件下的性能優于MapTR ，但在損壞情況下，其魯棒性相對較差。這些觀察結果促使我們進一步專注于增強camera-激光雷達融合方法的魯棒性，尤其是在一種傳感器模態缺失或camera和激光雷達都受損的情況下。

觀察與討論

主干網絡。首先全面研究了骨干網絡的影響，結果如表4所示。分別在PivotNet 和BeMapNet 中使用了三種不同的骨干網絡。結果顯示，Swin Transformer 顯著保留了模型的魯棒性。例如，與ResNet-50 相比，Swin Transformer 骨干網絡分別將PivotNet 和BeMapNet 的mCE提高了22.2%和24.1%的絕對增益。這些結果表明，較大的預訓練模型往往有助于增強在域外數據下特征提取的魯棒性。

不同的BEV編碼器。研究了幾種流行的2D到BEV轉換方法，并在表2中展示了結果。具體來說，為僅基于camera的MapTR 模型采用了BEVFormer 、BEVPool 和GKT 。結果顯示，MapTR 與各種2D到BEV方法兼容，并實現了穩定的魯棒性性能。此外，BEVPool 的mRR結果不如BEVFormer 和GKT ，驗證了基于Transformer的BEV編碼器在提高高精地圖模型魯棒性方面的有效性。GKT 實現了最佳的mCE，這可能是由于它同時集成了幾何和視角Transformer方法。

時間信息。研究了利用時間線索對高精地圖模型魯棒性的影響，并在表3中展示了結果。我們檢查了StreamMapNet 的兩個變體：一個包含時間融合模塊，另一個不包含。結果顯示，時間融合模塊可以顯著增強魯棒性。這里的mAP結果與表1不同，因為StreamMapNet 是根據新的訓練/驗證集劃分默認設置重新訓練的，而表1中的結果則是使用舊的訓練/驗證集劃分獲得的。可以觀察到，帶有時間線索的模型在mRR和mCE指標上分別獲得了8.4%和14.1%的絕對增益。這驗證了時間融合可以在傳感器損壞的情況下提供額外的互補信息，從而增強對不同傳感器損壞的魯棒性。

訓練周期。在這個設置中，我們研究了三個使用不同訓練周期訓練的高精地圖模型，結果如表5所示。可以觀察到，更多的訓練周期可以顯著提高“干凈”集上的性能和對損壞的魯棒性。例如，使用更長的訓練計劃可以增強mCE指標的魯棒性：MapTR （+19.1%）、PivotNet （+9.8%）和BeMapNet （+10.8%）。值得注意的是，隨著訓練周期的延長，這些模型在“干凈”集上的性能也有所提高，這表明延長訓練允許模型更好地學習數據集中的內在模式，從而在損壞的數據上實現更好的泛化性能。

數據增強以提升損壞魯棒性。文章研究了各種數據增強技術對高精地圖模型魯棒性的影響。由于多模態數據增強仍然是一個開放的問題，這項工作專注于研究圖像和LiDAR數據增強技術的影響。這里研究了三種不同的圖像數據增強方法，即Rotate 、Flip 和PhotoMetric ，以及三種不同的基于LiDAR的數據增強方法，即Dropout 、RTS-LiDAR（針對LiDAR的旋轉-平移-縮放）和PolarMix 。

1. 對于基于相機的數據增強，選擇MapTR-R50 作為基線，并在表6中展示了結果。可以觀察到，圖像增強方法在“干凈”集上適度提高了模型性能。然而，它們并沒有一致地增強模型的魯棒性。例如，PhotoMetric 將魯棒性指標mRR和mCE分別提高了8.2%和15.5%，而Rotate 和Flip 則削弱了魯棒性。這種差異可能源于PhotoMetric 對于某些類型的損壞（如亮度和低光）起到了類似于損壞增強的作用，與其他增強方法不同。
2. 對于基于LiDAR的數據增強，選擇MapTR-LiDAR 模型，因為它在所有僅使用LiDAR的模型中具有優越的魯棒性。不同LiDAR增強的結果如表7所示。我們觀察到，所有LiDAR增強技術都顯著提高了模型在“干凈”集上的性能。特別是，PolarMix 實現了3.0%的絕對性能提升。此外，所有LiDAR增強技術都有效地增強了模型的魯棒性，使Dropout 的絕對mCE值降低了1.1%，RTS-LiDAR 降低了6.0%，PolarMix 降低了6.5%。這些結果證明了LiDAR增強方法在提高僅使用LiDAR的高精地圖構建方法的損壞魯棒性方面的有效性。