本文經自動駕駛之心公眾號授權轉載，轉載請聯系出處。

寫在前面&筆者的個人理解

實時根據傳感器數據構建向量化高精地圖對于預測和規劃等下游任務至關重要，可以有效彌補離線高精地圖實時性差的缺點。隨著深度學習的發展，在線向量化高精地圖構建逐漸興起，代表性的工作如HDMapNet，MapTR等相繼涌現。然而，現有的在線向量化高精地圖構建方法缺乏對地圖元素幾何性質（包括元素的形狀，垂直、平行等幾何關系）的探索。

向量化高精地圖的幾何性質

向量化高精地圖對道路上的元素進行了高度抽象，將每一個地圖元素表示為二維點序列。而城市道路的設計具有特定的規范，例如，人行橫道在多數情況下表現為方正的矩形或平行四邊形；在不涉及分流合流的路段,相鄰的兩條車道互相平行。高精地圖中不同元素還具有許多類似的特點，這些常識性的規律，抽象為高精地圖的幾何性質，包括地圖元素的形狀（矩形、平行四邊形、直線等），或者不同地圖元素之間的關聯（平行、垂直等）。幾何性質強有力地約束著地圖元素的表現形式，在線構建模型如果充分理解了幾何性質，就能得到更精確的結果。

提出針對高精地圖的幾何表示的重要性

盡管理論上現有模型仍可能學到地圖元素的幾何性質，然而，幾何性質的特點決定了至少在傳統的設計下，模型并不容易學到。

• 幾何性質的不變性

中心車輛在道路上直線行駛，變道，或者轉彎時，（在車輛坐標系下）地圖元素的絕對坐標不斷發生變化。而人行橫道、車道、道路邊界等的形狀并不會隨之改變；類似的，車道之間平行關系也不會改變。地圖元素的幾何性質是客觀的，它的一個重要特點就是不變性。更具體的，是剛性不變性（對旋轉、平移變換保持不變）。以往的工作，不論是使用樸素的折線表示，還是使用帶控制點的多項式曲線（比如貝塞爾曲線、分段貝塞爾曲線），都基于絕對坐標，并在絕對坐標基礎上端到端優化。基于絕對坐標的優化目標本身不具備剛性不變性，因此很難期待模型陷入的局部最優解包含對幾何性質的理解。因此，一種能充分刻畫幾何性質且具有一定不變性的表示是必要的。

圖1. 幾何不變性的示例。

車輛右轉時，絕對坐標會發生明顯的變化。右圖展示了一個對應的真實場景。

• 幾何性質的多樣性

此外，盡管具有強烈的先驗知識，道路的幾何性質仍然是多樣的。這些多樣的幾何性質總體上可以分為兩大類，一類是關于單個地圖元素的幾何形狀，一類是關于不同地圖元素的幾何關聯。由于幾何性質的多樣性，窮舉并人工地將幾何性質轉變為約束是不可能的，因此我們更希望模型能夠端到端地自主學習多樣的幾何性質。

GeMap的設計

幾何表示

針對上述兩個問題，我們首先改進表示方法。我們希望在傳統的基于絕對坐標的表示之外，引入一種良好的幾何表示，它需要滿足：

• 能刻畫地圖元素的形狀
• 能刻畫地圖元素之間的關聯
• 剛性不變性

為保證平移不變性，我們使用了相對量，即點之間的偏移向量；為進一步保證旋轉不變性，我們選擇了偏移向量的長度，以及不同偏移向量之間的夾角。這二者——長度和夾角——構成了我們提出的幾何表示的基礎。此外，為了更好地區分并刻畫形狀、關聯兩類不同的幾何性質，我們還按照從簡的原則進一步細化了設計：

為刻畫形狀，我們計算單個地圖元素中相鄰點之間的偏移向量，并計算偏移向量長度、相鄰偏移向量之間的夾角。這一表示能夠唯一確定任意的折線/多邊形。兩個形象的例子如下圖所示：

圖2. 幾何形狀表示。

對于一個矩形，使用一個直角和兩對相等的邊就可以描述；對于一條直線，所有的夾角均為0度或者180。

為刻畫關聯，類似地，我們首先考慮了任意兩點之間的距離。然而，如果對所有點對點的偏移向量兩兩計算夾角，表示的復雜度過高，且計算代價不可承受。具體地，假設一共有個地圖元素，每個元素使用個個點來表示，那么所有夾角的數據量將達到（取1000時，假設每一個角度數據都是32位浮點數，這樣的表示僅占據的空間將達到TB級別）。事實上，對于一般的垂直、平行等關系來說這不是必要的。因此，我們先計算元素內部的偏移，然后僅對這些偏移計算兩兩之間的夾角作為幾何表示的一部分。這種簡化的關聯表示保留了對平行、垂直等關系的描述能力，同時所對應的數據量僅為（前述條件下，大致4MB）。為了便于理解，我們同樣提供了一些例子：

圖3. 幾何關聯表示。

平行關系和垂直關系表現為偏移向量的夾角為0度或者90度；兩點之間的距離可以一定程度反映車道寬度信息

為優化幾何形狀和關聯的表示，我們采用最樸素的做法，直接計算預測和標簽的幾何表示，然后用范數作為優化目標：

這里和分別表示根據標簽計算得到的長度和夾角，和則表示根據預測計算得到的長度和夾角。在處理夾角時使用了一個技巧：直接計算角度涉及到不連續的arctan函數，在優化時會遇到困難（在±90度附近存在梯度消失的問題），因此我們實際上比較的是夾角的余弦和正弦值：

幾何表示的基礎是角度和距離，因此我們形象地將對應的幾何損失稱為”歐幾里得損失“，也代表著這一損失對于旋轉和平移變換的魯棒性。

幾何解耦注意力

一種被MapTR，PivotNet等采用的架構將地圖元素上的每一個點對應到Transformer的一個查詢。這一架構的問題在于：對兩大類的幾何性質不加區分。

在自注意力中，所有查詢（也就是“點”）之間都平等地相互作用。然而，地圖元素的形狀對應著一組一組的查詢。這些組之間的交互，在感知元素形狀時就成為了累贅。反之在感知元素之間關聯的時候，形狀亦成為了冗余因素。這意味著將形狀、關聯的感知解耦，可能帶來更好的結果。

為了解耦對幾何形狀和關聯處理，我們將自注意力分成兩個步驟進行：

• 每個地圖元素包括個查詢，在這個查詢內部進行注意力，用以處理幾何形狀
• 補充跨元素的注意力關系，用以處理幾何關聯

幾何解耦的注意力更形象的表示如下圖所示。我們的實現方式比較樸素，直接使用mask控制注意力的范圍。事實上，由于這兩種注意力是互補的，合理地實現有可能讓時間復雜度等同于進行單次自注意力。

圖4. 幾何解耦注意力。

左側為單個元素內部進行的形狀注意力，右側為元素之間進行的關聯注意力。

實驗結果

我們在nuScenes和Argoverse 2兩個數據集上進行了大量實驗。二者都是常用的大規模自動駕駛數據集，且都提供了地圖標注。

主要結果

在nuScenes上，我們進行了三組實驗。我們首先使用了一種比較純粹的目標函數組合，只包括幾何損失和其它必要的損失（如點到點距離、邊的方向、分類），這一組合是為了體現我們提出的幾何性質的重要價值，而不過多追求SOTA的結果。可以看到，在這種情況下，相比于MapTR，我們的方法能在mAP提升了。為了探索GeMap的極限，我們也加上了一些輔助目標，包括分割和深度估計，在這種情況下我們也取得了SOTA的結果（mAP提升）。值得注意的是，取得這樣的提升并不需要犧牲太多的推理速度。最后，我們還嘗試了引入額外的LiDAR模態輸入，在額外模態輸入的加持下，GeMap的性能也能取得進一步提升。

同樣，在Argoverse 2數據集上，我們的方法也取得了非常突出的效果。

消融實驗

在nuScenes上進一步進行的消融實驗證明了幾何損失和幾何解耦注意力的價值。有趣的是，正如我們所預料的，直接使用幾何損失反而會帶來模型表現的下降。我們認為這是因為結構上的對形狀和關聯處理的耦合，導致模型很難優化幾何表示；而在與幾何解耦注意力結合之后，幾何損失就發揮了應有的作用（從”+Euclidean Loss“到”Full“）。

更多結果

此外，我們還在nuScenes上進行了可視化分析。可視化的結果表明，GeMap除了具有對旋轉和平移的魯棒性，在處理遮擋問題上也表現出了一定優勢，如下圖。圖中有挑戰性的地圖元素使用橘色方框標出。

圖5. 可視化對比結果。

關于對遮擋的魯棒性，在雨天的實驗結果中（見下表”“）也得到了定量驗證（因為雨水對相機有天然的遮擋）：

這可以解釋為模型學到了幾何性質，因此即使有遮擋，也能更好地猜出地圖元素。例如，模型理解了車道線的形狀，那么只需要”看到“一部分，就能夠估計剩下的部分；模型理解了車道線之間的平行關系，或者車道的寬度特點，因此哪怕其中一條被遮擋，也能根據平行、寬度因素猜測被遮擋的部分。

總結

我們指出了地圖元素所具有的幾何性質，以及其對于在線向量化高精地圖構建的價值。基于此，我們提出了一種強有力的方法，初步對這一價值進行了驗證。此外，GeMap表現出的對遮擋的魯棒性，或許預示著在其它自動駕駛任務（例如檢測、占有預測等）中利用幾何性質處理遮擋的思路——因為車輛和道路都具有相對規范的幾何性質。當然，我們的方法本身也有很多可以進一步探索的地方。比如不同復雜度的幾何元素是否可以適應性地使用不同的點來描述？是否能從概率的角度出發理解幾何表示，讓其對噪音更具魯棒性？因為我們對于元素關聯進行了簡化，那么是否存在更好的幾何關聯的表示方法？這些都是進一步優化的方向。

原文鏈接：https://mp.weixin.qq.com/s/BoxlskT68Kjb07mfwQ7Swg