這里是「毫有引力」技術欄目，本欄目由毫末智行供稿，未來將持續(xù)進行自動駕駛相關技術分享

干貨分享停不下來～

想知道自動駕駛中

傳感器是如何進行校準的嗎？

本期就帶你一起研究研究！

在自動駕駛系統(tǒng)中，傳感器是系統(tǒng)能感知周圍環(huán)境的決定性因素。在傳感器裝車后，需要通過傳感器標定消除安裝誤差，讓自動駕駛系統(tǒng)準確定位各個傳感器被安裝在什么位置。傳感器標定為后續(xù)建圖、定位、感知和控制打下堅實基礎，是自動駕駛系統(tǒng)穩(wěn)定運行的核心部分與前置條件。標定的精度會影響傳感器的使用上限精度，最終影響車輛的行駛狀態(tài)。

各路傳感器請匯報位置坐標！

——傳感器標定

自動駕駛系統(tǒng)中包含各種各樣的傳感器，傳感器是系統(tǒng)能感知周圍環(huán)境的決定性因素。在傳感器裝車后，需要對傳感器進行標定，獲取各個傳感器的安裝位置，進而讓后續(xù)算法模塊更好地使用傳感器數(shù)據(jù)。?

簡單來講，傳感器標定需要告訴自動駕駛系統(tǒng)傳感器的準確位置。如果說定位是在地圖坐標系確定自車的位置，那么標定就是在車身坐標系確定傳感器的位置。

從性質(zhì)上說，傳感器標定可以分為內(nèi)參標定與外參標定。

內(nèi)參標定主要與傳感器有關，它可以通過建立傳感器誤差模型，獲得傳感器特性參數(shù)、消除傳感器本身測量誤差。外參標定與安裝位置有關，通過各種先驗信息獲取傳感器在車身坐標系下的位姿。外參標定求解的主要問題取決于車輛坐標系的定義。

如果車輛坐標系為車輛上的某一點，將車輛看作剛體，傳感器標定解決的問題，即為固定車輛坐標系下傳感器的位置確定。進一步，如果車輛坐標系即為車輛上的某個傳感器坐標系。傳感器外參標定問題即簡化為多傳感器外參標定問題。

如果車輛坐標系為車輛自車地面上某一點。除了裝車后的傳感器位姿標定，還包含自車狀態(tài)、以及環(huán)境變化影響下的傳感器坐標系與車身坐標系間的外參變化問題。

下面，我們就分別介紹一下自動駕駛中的內(nèi)參標定與外參標定。

傳感器校準第一回

——內(nèi)參標定

由于與安裝位置無關，在自動駕駛系統(tǒng)中，傳感器的內(nèi)參一般在裝車前進行。下面，我們就以最常見的相機內(nèi)參為例，介紹相機內(nèi)參標定的原理與方法。

1、相機內(nèi)參標定

相機內(nèi)參標定主要是為了獲取相機本身的性質(zhì)參數(shù)，包括相機的焦距，光心以及畸變參數(shù)等：

內(nèi)參的物理意義與相機模型強相關，常用的相機成像模型為小孔模型，等效焦距與光心用數(shù)學可表示為一個矩陣

其中 fx、fy 是等效焦距，cx、cy 是光心。

畸變的產(chǎn)生，是由于相機本身不能精確地按照理想的成像模型進行透視投影，即物點在實際的相機成像平面上生成的像與理想成像之間存在一定偏差，這個偏差就是相機畸變造成的。以常見的小孔成像模型為例，畸變誤差主要是徑向畸變誤差（k1、k2、k3）和切向畸變誤差（p1、p2）。

內(nèi)外兼修

——傳感器外參標定

目前業(yè)界常用的相機標定方法是張正友方法。張正友方法通過多種位姿擺放的標定板，提取棋盤格角點，計算出相機的內(nèi)參。感興趣的同學可以查閱相關論文[1]，本文不再贅述。

下面介紹傳感器外參標定。外參標定的問題核心是求解傳感器在車輛坐標系下的位姿。由于涉及到車輛坐標系的確定，傳感器外參標定主要分為兩部分：

• 傳感器與車身的外參標定，車身的特點在于沒有直接測量值，所以需要借助先驗信息，如工裝信息、環(huán)境信息等達到求解自車位姿變換關系的目的，進而完成傳感器和車身的標定。
• 傳統(tǒng)意義上的多傳感器標定，需要通過傳感器的測量信息來求解不同傳感器之間的位姿變換。

1、傳感器與車身的外參標定

1.1、相機與車身的標定

在以相機為主的自動駕駛傳感器配置方案中，車上一般會安裝多個相機。相機與車身的外參標定可以通過引入房間坐標系實現(xiàn)：標定間墻面上貼若干標記物，我們稱之為靶標。如下圖所示:

相機通過檢測靶標建立與房間坐標系的關系，即可求解相機與房間的外參。在標定階段保證車身停在房間的固定位置，即得到車身與房間的外參。通過坐標轉(zhuǎn)換即可完成相機與車身的外參標定。這種方法依賴于靶標的角點精度，因此對環(huán)境有一定要求，且靶標數(shù)量越多，精度越高。

在產(chǎn)線上，方案設計既要考慮傳感器標定精度，又要兼顧車輛標定效率和產(chǎn)線環(huán)境，考慮到產(chǎn)線環(huán)境中，車輛傳感器工裝位置與車輛停靠位置可以較大程度保證精度。因此，可以減少靶標數(shù)量，運用同樣的標定原理，實現(xiàn)相機與車身的標定。

1.2、激光雷達與車身的標定

在以激光雷達為主的自動駕駛傳感器配置方案中，需要標定激光雷達與車身的外參，類似于相機與車身的標定原理，激光雷達與車身的標定也可借助標定板進行。標定過程中，將多個標定板置于激光雷達可掃描到的區(qū)域，通過已知的車身位姿、標定板位姿和激光雷達工裝等先驗信息，可解算出激光雷達與車身的外參。

2、多傳感器聯(lián)合標定

多傳感器聯(lián)合標定是多傳感器融合的必要前提。單一傳感器往往會存在覆蓋范圍不足和觀測信息受限等局限與挑戰(zhàn)，多傳感器融合方案可以做到不同傳感器間的取長補短。根據(jù)傳感器特性與算法原理的不同，多傳感器標定可分為基于共視特征信息的標定和基于運動軌跡的標定。

2.1、基于共視特征信息的標定

1）多激光雷達之間的標定

激光雷達可以直接測量周圍環(huán)境的距離信息，因此多激光雷達間的標定方案較為成熟。對于有共視區(qū)域的激光雷達，可以通過場景的特征信息，運用 NDT 或 ICP 等配準方法實現(xiàn)點云特征匹配，從而完成多個激光雷達之間的外參標定。

圖來自于網(wǎng)絡

?2）相機與激光雷達的外參標定

相機與激光雷達的觀測信息表達方式是不一致的，那么如何進行二者之間的標定呢？目前業(yè)界比較成熟的方案是通過引入統(tǒng)一觀測源建立約束。對于有共視區(qū)域的相機與激光雷達，可在共視區(qū)域內(nèi)布置靶標作為統(tǒng)一觀測源, 分別獲取靶標在相機坐標系下和激光雷達坐標系下的特征。通過兩種特征匹配，完成相機與激光雷達之間的外參標定。下圖便是通過棋盤格靶標作為統(tǒng)一觀測源的相機與激光雷達標定流程圖。

圖來自于網(wǎng)絡

2.2、基于運動軌跡的標定

對于 IMU 這種直接估計位姿變化的傳感器，常見的方案是基于車輛運動軌跡的標定。以激光雷達與 IMU、相機與 IMU 之間的標定為例，可采用最經(jīng)典的手眼標定方式，基于給定的 IMU 與激光雷達/相機之間的外參初值，通過激光雷達/相機的軌跡與 IMU 的軌跡進行外參優(yōu)化，從而完成最終的激光雷達/相機和 IMU 的外參標定。下圖是激光雷達與 IMU 外參標定的示意圖。

圖來自于網(wǎng)絡

外參標定有奇招

——在線標定

區(qū)別于以上介紹的外參離線標定方法（需要固定的場地、固定的靶標、以及精確的車輛定位、固定的運動軌跡等信息）。在線標定可在自然場景中, 根據(jù)離線標定的結(jié)果、工裝、車輛運動等先驗信息，實現(xiàn)對離線標定結(jié)果的全部參數(shù)或部分參數(shù)的修正。由于方案的靈活性，傳感器外參的在線標定是近年業(yè)內(nèi)的研究重點。下面我們分別介紹一下傳感器與車身、多傳感器之間的在線標定。

1、傳感器與車身的在線標定

1.1、相機與車身的在線標定

車輛行駛過程中，相機可根據(jù)行駛道路信息獲取場景中的一些平行或者正交的信息（如車道線、燈桿等）。空間平行線在相機圖像平面上的交點被稱為消失點。通過這些空間平行線得到的消失點，我們可以實時估計相機與車體的外參。該方案靈活性強，但魯棒性會有所下降，因此如何兼顧算法的魯棒性與靈活性是該類方案研究的重點。外參標定前后的效果如下圖的（b 糾正前，俯視圖內(nèi)八）和（c 糾正后，俯視圖平行）所示，感興趣的同學可以參考[2]。

?1.2、激光雷達與車身的在線標定

與相機不同，激光雷達可以直接測量觀測點的 3D 距離。因此，激光雷達與車身的在線標定也相對成熟。基于車輛的運動先驗與場景先驗，在車輛行駛過程中，激光雷達可根據(jù)車輛的行駛方向、地平面點云等信息，實時糾正自身與車體的外參。

2、多傳感器的在線標定

多傳感器在線標定，尤其是激光雷達與相機的在線標定，是業(yè)界公認的難點，在近年已有廣泛研究。目前業(yè)內(nèi)主要方法是通過最大化點云與圖像的配準信息來估計標定參數(shù)。根據(jù)信息提取方式的不同，多傳感器在線標定的研究方向可分為邊緣配準[3]、互信息[4]、分割[5][6]三種方法。

2.1、邊緣配準?

邊緣配準方法首先提取圖像和激光雷達的邊緣信息，然后將激光雷達邊緣信息通過初值投影到圖像上，并采用優(yōu)化算法，最大化兩種邊緣信息乘積的值，以此完成激光雷達和相機的外參標定。

此方法原理簡單，可操作性強，但由于只能獲取激光雷達的垂直邊緣信息，對于偏航角的估計效果要明顯優(yōu)于橫滾角與俯仰角。

2.2、互信息

互信息方法對激光雷達的強度信息與圖像的灰度信息進行互信息操作，使得互信息結(jié)果最大，從而完成標定。如下圖所示，正確的激光雷達外參角度值（89degree）對應的互相關系數(shù)最大。

此類方法對于激光雷達的強度值有較強依賴，若激光雷達線束較少，點云稀疏，匹配效果可能無法達到需求。

2.3、分割

分割方法需要對圖像/點云進行分割操作，分割后的信息會用于特征匹配。如下圖所示，此類方法可以只對圖像進行分割（圖①），也可以對圖像和點云都進行分割（圖②）。

①只對圖像分割

②對點云、圖像均進行分割

此類方法將激光雷達原始點云或分割后的點云通過初值回投到分割后的圖像上，采用局部優(yōu)化的方式，使得點云與圖像作用關系最大化，完成激光雷達與相機的外參標定。

相較于提取邊緣的方法，此類方法可獲得圖像和點云的更多有效信息，且圖像分割相較于圖像邊緣提取，抗干擾能力強。

綜上所述，在線標定優(yōu)勢在于可利用自然場景，完成傳感器矯正，缺點是需要在滿足條件的自然場景下進行，且若場景特性無法達到預期，會導致在線標定結(jié)果偏差較大或標定失敗。

傳感器標定是自動駕駛系統(tǒng)的基礎環(huán)節(jié)，也是自動駕駛系統(tǒng)運行的關鍵條件。傳感器標定結(jié)果的準確性與精確性，直接影響自動駕駛各功能模塊的運行效果。因此，一個準確的、高精度的標定結(jié)果，是傳感器標定的目標，也是整個自動駕駛系統(tǒng)的需求與期望。目前傳感器標定仍存在諸多挑戰(zhàn)，如何實現(xiàn)高精度的標定、如何利用有限的環(huán)境完成標定、如何完成不同類型傳感器之間的標定，如何感知車輛運動過程中傳感器位置的偏差，如何對傳感器位置偏差實時糾正等，這些都是我們會不斷優(yōu)化和探索的方向。

本期的干貨分享就到這里啦，不得不說，屬實把傳感器標定給講明白了！下期我們會繼續(xù)為大家?guī)砀实淖詣玉{駛干貨分享，請繼續(xù)鎖定「毫有引力」呦～

參考文獻

[1] Z. Zhang, “A Flexible New Technique  for Camera Calibration”

[2] J. Lee, Y. Baik, H. Cho, and S. Yoo，“Online Extrinsic Camera Calibration for Temporally Consistent IPM Using Lane Boundary Observations with a Lane Width Prior”

[3] J. Levinson and S. Thrun, “Automatic Online Calibration of Cameras and Lasers”

[4] G. Pandey and J. R. McBride and S. Savarese  and R. M. Eustice, ”Automatic Targetless Extrinsic Calibration of a 3D Lidar and Camera by Maximizing Mutual Information”

[5] Y. Zhu, C. Li, Y. Zhang, “Online Camera-LiDAR Calibration with Sensor Semantic Information”

[6] T. Ma , Z. Liu , G. Yan, and Y. Li，”CRLF: Automatic Calibration and Refinement based on Line Feature for LiDAR and Camera in Road Scenes”