無人駕駛車輛在運行中需要面對白天、黑夜、黃昏、大風、暴雨、霧霾等自然環境信息，以及道路上行人、車輛、紅綠燈等物體信息，車輛究竟是如何做到理解這些復雜的信息？

本文用兩個基本問題為您解答無人駕駛車輛如何感知和理解這個世界。

01 無人車如何感知和理解這個世界？

人類駕駛員的感官主要依賴于雙眼，偶爾用到耳朵，而無人駕駛車輛的AI駕駛員的感官包括了激光雷達、毫米波雷達、攝像頭、差分GPS、慣性單元、輪速計等傳感器。還有一個核心零部件是U-Drive自動駕駛控制器，我們也稱呼它為“車腦”，在“車腦”中會運行一整套的軟件或者算法。

在一輛無人車上使用的各類傳感器往往各有優缺點：

• 激光雷達：能夠直接獲取 3D 的點云數據，精度高，成本也高
• 攝像頭：獲取二維圖像數據，信息豐富、成本低，但是對光照要求相對敏感
• 毫米波雷達：精度較低，極端天氣下表現較好

在無人車上需要將不同的傳感器融合以獲取最佳的效果。當車腦收到這些傳感器數據之后，就會進入兩個模塊：一個是自車定位，另一個是環境感知。經過這兩個模塊的算法處理之后把結果輸出到下游的決策/規劃模塊使用。

圖片

問題一：定位-我在哪里？

現在人類出門開車基本上離不開導航，人類駕駛員對定位精度要求不高，只需要在10米級。而AI駕駛員要達到厘米級的高精度定位，需要讓車輛自身每時每刻知道“我在哪里”，需要精確地分辨出當前車在哪個車道，距離車道的邊緣有多遠、方向如何，如此后面的規劃/控制模塊才能做出正確的選擇。

實現高精度定位有以下幾種方式：

• 差分 GPS：差分 GPS 和手機上的普通 GPS 不一樣，它是一種特殊的高精度的定位設備，它可以消除三類誤差：公有誤差、傳播延遲誤差、接收機固有誤差。通過消除這些誤差可以把定位精度提升到 2cm 左右。可是在現實中，道路旁邊有建筑物、高架、樹木，這些都會影響差分 GPS 信號的質量，所以還需要其他方式配合以獲得更高精度的定位。
• 基于視覺特征點的定位是基于圖像中局部灰度的變化來發現圖像中一些穩定的特征點，利用這些特征點對圖像進行編碼，通過對環境持續觀察以達到實現對自車的精準定位。再通過重定位找到最佳定位匹配點。此外，在無人駕駛車輛行駛中會通過定位跟蹤模式持續獲得精準位姿。

圖片

• 激光雷達定位：激光雷達點云定位是激光雷達通過掃描得到一系列單幀的點云，通過匹配位姿優化生成地圖。和基于視覺特征點的定位方式一致，激光雷達也需要進行重定位找到最佳定位匹配點。
• 語義定位：語義定位是對道路環境中存在的人類可識別的高級特征標識進行識別并做自車定位，比如車道線、立柱、箭頭等各種標識。同樣，語義建圖包含三步：第一步，通過激光雷達與攝像頭融合的數據進行三維重建，得到彩色的點云；第二步，對三維重建結果進行語義分割，標記點云屬于什么分類；第三步，自動提取出語義標識，從而完成語義地圖的構建。最終自車根據語義地圖來實現定位。
• 融合定位：融合定位是將所有的定位源輸出的結果和車體內部狀態融合在一起，如 IMU（慣性單元）、車身輪速計等，最終得出統一的自車定位信息發送給下游模塊使用。

圖片

問題二：感知-我的周圍是什么

無人駕駛車輛接收到攝像頭、激光雷達以及其他感知設備輸入的數據，通過這些數據可以獲取周圍的目標物的位置、尺寸、分類信息（車輛、行人等）和跟蹤信息（速度、加速度、角速度等），還有未知分類的障礙物、目標車的尾燈、護欄、紅綠燈、植被等都需要被感知到。所有這些信息都會輸出到到決策/規劃模塊使用。

目標檢測中都會使用深度學習的方法，深度學習首先通過網絡學習激光雷達三維點云中的背景信息、目標物和分類信息。此外，無人車上有多種傳感器，最主要的是激光雷達和攝像頭，將二者融合會在目標檢測的距離精度、分類精度、尺寸精度等方面都有顯著提升。

無人車要能夠安全、平順的行駛，對每個目標物的準確跟蹤、速度、加速度等都是必不可少的，這些信息必須要連續幀上獲取，因此我們必須要目標檢測機制上進行匹配跟蹤、速度估計等等一系列工作。我們會獲得T – 1(上一幀)時刻的目標檢測結果，也會獲得當前時刻的結果，這些結果可以通過卡爾曼濾波算法得出當前幀預測結果，再把這個預測結果和當前幀檢測結果通過相似度計算和匈牙利匹配關聯，可以通過這速度工具來獲取場景中目標物編號、速度、運動方向等信息，這些信息對車輛決策/規劃模塊相當重要。

圖片

*卡爾曼濾波可以有效在時間線上對測量和預測進行合理加權的算法。

*匈牙利算法是一種求解最大匹配的算法。

除了常見的目標檢測之外，環境中還有一些其他要素需要感知，比如之前提到的植被，無法用一個矩形框來表示，因此需要語義分割技術，它能夠獲得精細的感知結果。最終我們將目標檢測、跟蹤和語義分割融合在一起，作為整體輸出給下個模塊。

02 無人車的定位感知能力如何持續進化

無人駕駛系統幾個最核心的要素：算力+傳感器、算法、數據。

算力+傳感器主要依賴硬件持續升級驅動，其中包括車載控制芯片（每一代新的芯片誕生，算力都有數量級提升）、激光雷達（激光雷達性能越來越強，成本也逐步降低，進而推動定位感知能力的提升）、攝像頭（分辨率不斷提升，進而為算法提升奠定基礎）。

圖片

算法主要依賴人腦驅動演進，從第一個角度看，深度學習依然是目前最重要的方法，但是我們在繼續演進的路上也面臨很多挑戰，后續網絡規模還會變得更大、更復雜（現在最大的網絡已經在接近小型哺乳動物的神經元個數），從而具有更高精度和更強功能；從第二個角度看，在工業界的實踐中，深度學習方法需要和其他的機器學習方法、非學習方法結合，以得到實際可用的、功能邊界清晰的、可靠的系統；從第三個角度看，需要持續擴展“運行設計域”（ODD）。

圖片

運行設計域簡單來說就是可正常運行的范圍，包含以下幾個要素：天氣（雨、雪、霧等極端天氣）、光照（黃昏、夜晚、陰天等）、道路（隧道、機坪、高架）、區域（園區、城區、高速），無人駕駛車輛需要在這些要素范圍內，從易到難進行持續擴展。

數據主要通過數據驅動系統演進驅動，數據驅動要解決的第一個問題就是長尾問題（長尾問題概念來自于互聯網，指個性化、零散的總和卻又比較大的客戶需求，在無人駕駛領域指很少見的場景，但是總和同樣較大）。長尾問題之所以難解決，算法能力不夠強大是一個維度，這需要工業界和學術界進行持續提升，另一個維度是在現有算法能力范圍內，需要通過無人駕駛系統來收集到最有價值的數據，用數據驅動的方式來迭代和提升系統能力。

數據驅動是如何解決長尾問題的？通過異常事件數據錄制-回傳-篩選及標注-模型訓練-模型驗證-部署，從而完成模型升級的迭代過程，異常事件包括人工接管（Robotaxi）、無人運營車輛的剮蹭、急剎車、目標物分類跳變等。

圖片

數據驅動的另一個方面：場景、業務、傳感器類別非常多。無人車會在不同的城市、不同的道路和區域、承擔不同的業務（物流、出租車等），同時每種車型上的傳感器配置也不一樣，這幾方面因素都會導致數據有明顯差異。因此我們提出了一個數據驅動的跨場景、業務和傳感器的統一框架。這個框架可以綜合考慮不同場景、業務、傳感器的數據，可以高效地、最大程度復用各場景中的數據價值，節省標注工作成本，并提升效率。

無人駕駛車輛感知與理解這個世界的背后是一項復雜的工程系統，惟有適者方能生存，在不停地認識世界的過程中無人駕駛車輛也在不停地實現自身的進化與演進，向著下一個進化節點跨步前進。