標(biāo)定傳感器是自動駕駛感知系統(tǒng)中的必要環(huán)節(jié)，是后續(xù)傳感器融合的必要步驟和先決條件，其目的是將兩個或者多個傳感器變換到統(tǒng)一的時空坐標(biāo)系，使得傳感器融合具有意義，是感知決策的關(guān)鍵前提。任何傳感器在制造、安裝之后都需要通過實驗進行標(biāo)定，以保證傳感器符合設(shè)計指標(biāo)，保證測量值的準(zhǔn)確性。

傳感器在安裝到自動駕駛汽車上之后，需要對其進行標(biāo)定；同時，在車輛行駛過程中，由于震動等原因，會導(dǎo)致傳感器位置與原位置產(chǎn)生偏離，因此有必要每隔一定的時間對傳感器進行校準(zhǔn)。自動駕駛汽車通過多種類型的傳感器同時工作以進行環(huán)境感知與自感知，傳感器的健壯性和準(zhǔn)確性在自動駕駛汽車感知環(huán)節(jié)中尤為重要。

01 攝像頭標(biāo)定

車載攝像頭以一定的角度和位置安裝在車輛上，為了將車載攝像頭采集到的環(huán)境數(shù)據(jù)與車輛行駛環(huán)境中的真實物體相對應(yīng)，即找到車載攝像頭所生成的圖像像素坐標(biāo)系中的點坐標(biāo)與攝像機環(huán)境坐標(biāo)系中的點坐標(biāo)之間的轉(zhuǎn)換關(guān)系，需要進行攝像頭標(biāo)定。

1.攝像頭內(nèi)參數(shù)標(biāo)定

1.1攝像頭模型的建立

通過環(huán)境坐標(biāo)系、攝像頭坐標(biāo)系、圖像物理坐標(biāo)系、圖像像素坐標(biāo)系的相互轉(zhuǎn)換關(guān)系，我們可以求出環(huán)境坐標(biāo)系與圖像像素坐標(biāo)系之間的轉(zhuǎn)換關(guān)系，即

對現(xiàn)實世界的的點P。其在環(huán)境坐標(biāo)系下的坐標(biāo)為( Xw, Yw, Zw )，在圖像中的位置為(u，v)，兩者有如下的關(guān)系：

環(huán)境坐標(biāo)系與圖像像素坐標(biāo)系之間的轉(zhuǎn)換關(guān)系

對內(nèi)參矩陣,其四個常量fx,fy,Uo,Vo。與攝像機的焦距、主點以及傳感器等設(shè)計技術(shù)指標(biāo)有關(guān)，而與外部因素（如周邊環(huán)境、攝像機位置）無關(guān)，因此稱為攝像頭的內(nèi)參。內(nèi)參在攝像頭出廠時就是確定的。然而由于制作工藝等問題，即使是同一生產(chǎn)線生產(chǎn)的攝像頭，內(nèi)參都有著些許差別，因此往往需要通過實驗的方式來確定攝像頭的內(nèi)參。對單目攝像頭的標(biāo)定，通常就是指通過實驗手段確定攝像頭的內(nèi)參。

外參矩陣包括旋轉(zhuǎn)矩陣和平移矩陣，旋轉(zhuǎn)矩陣和平移矩陣共同描述了如何把點從世界坐標(biāo)系轉(zhuǎn)換到攝像機坐標(biāo)系。在計算機視覺中，確定外參矩陣的過程通常稱為視覺定位。自動駕駛汽車在車載攝像頭安裝之后，需要標(biāo)定在車輛坐標(biāo)系下的攝像頭位置。此外，由于汽車行駛的顛簸和震動，車載攝像頭的位置會隨著時間進行緩慢的變化，因此自動駕駛汽車需要定期對攝像頭位置進行重新標(biāo)定，這一過程稱為校準(zhǔn)。

1.2 攝像頭畸變矯正

在實際使用中，攝像頭并不能完全精確地按照理想的針孔攝像機模型進行透視投影，通常會存在透鏡畸變，即物點在實際的攝像頭成像平面上生成的像與理想成像之間存在一定光學(xué)畸變誤差，其畸變誤差主要是徑向畸變誤差和切向畸變誤差。

徑向畸變（radial distortion）:由于透鏡的特性，光線容易在相機鏡頭的邊緣出現(xiàn)較小或者較大幅度的彎曲，稱之為徑向畸變。這種畸變在普通廉價的鏡頭中表現(xiàn)更加明顯，徑向畸變主要包括桶形畸變和枕形畸變兩種。桶形畸變則是由于鏡頭中透鏡物以及鏡片組結(jié)構(gòu)引起的成像畫面呈桶形膨脹狀的失真現(xiàn)象。通常在使用廣角鏡頭或使用變焦鏡頭的廣角端時，較容易察覺桶形失真現(xiàn)象。枕形畸變是由鏡頭引起的畫面向中間“收縮”的現(xiàn)象。人們在使用長焦鏡頭變焦鏡頭的長焦端時，較容易察覺枕形失真現(xiàn)象。

• 切向畸變（tangential distortion）：是由于透鏡本身與相機傳感器平面（成像平面）或圖像平面不平行而產(chǎn)生的，這種情況多是由于透鏡被粘貼到鏡頭模組上的安裝偏差導(dǎo)致。

在計算機視覺中，徑向畸變對場景重建有著非常重要的影響。自動駕駛系統(tǒng)對環(huán)境的感知，要求攝像頭能夠?qū)崿F(xiàn)對周邊環(huán)境的高精確度重建，如果不對畸變加以矯正，就無法到精確的環(huán)境信息。例如，環(huán)境中的目標(biāo)可能出現(xiàn)在圖像的任何區(qū)域，如果不對畸變加以正，那么通過視覺技術(shù)得到的目標(biāo)位置和大小往往是不準(zhǔn)確的，這會直接影響自動駕駛汽車的行駛安全。此外，自動駕駛汽車安裝有多個攝像頭，且在不同位置，若不考慮徑向畸變，在圖像拼接過程中，就會因?qū)?yīng)特征的誤匹配從而導(dǎo)致拼接圖像的模糊效應(yīng)。

對一般的攝像頭來講，圖像的徑向畸變往往描述為一個低階多項式模型。設(shè)（u,v)是糾正后的點的坐標(biāo)，（u',u')是未糾正的點的坐標(biāo),則二者之間的變換可以通過以下公式確定：

徑向畸變低階多項式模型

另一方面，對于切向畸變，可以使用另外的兩個參數(shù)p1,p2來進行糾正：

切向畸變低階多項式模型

1.3攝像頭內(nèi)參標(biāo)定方法

在現(xiàn)階段，畸變參數(shù)的標(biāo)定一般與其余內(nèi)參同時進行。目前應(yīng)用最廣泛的是張正友于2000年提出的張正友標(biāo)定法。張正友標(biāo)定法通過在不同位置拍攝棋盤標(biāo)定板的方式，在每個圖像中找到棋盤標(biāo)定板的內(nèi)角點，通過內(nèi)角點之間的對應(yīng)關(guān)系建立對矩陣的約束，從而恢復(fù)內(nèi)參矩陣K。

2.攝像頭間外參的標(biāo)定

自動駕駛汽車中，為了盡可能減少感知盲區(qū)，往往采用多攝像頭的模式。確定多攝像頭之間的相對位置關(guān)系，這個過程稱為攝像機的外參標(biāo)定。

從另一個角度來說，攝像機的外參標(biāo)定也可以稱為“姿態(tài)估計”問題。兩個攝像頭之間相對位姿[R|t]有6個自由度（空間位置與旋轉(zhuǎn)關(guān)系),從理論上來講，只要兩個攝像頭同時獲取空間中3個點即可恢復(fù)二者之間的相對姿態(tài)。從三對對應(yīng)點恢復(fù)攝像頭之間的相對姿態(tài)的問題，稱為“透視三點問題”（Perspective-3-Point-Problem,P3P)。在現(xiàn)實中，常常使用3個以上的點來恢復(fù)相對姿態(tài)，以提高魯棒性，P3P問題被推廣為PnP問題。

最初研究者使用直接線性法（Direct Linear Transform,DLT)解決PnP問題，之后為了提升精度，研究者們提出了魯棒線性化的重投影誤差，開始采用選代的方法來求解PnP問題，并由此提出了姿態(tài)估計中著名的光束平差法（Bundle Adjustment,BA)。

02 激光雷達的標(biāo)定

激光雷達自動駕駛平臺的主要傳感器之一，在感知、定位方面發(fā)揮著重要作用。同攝像頭一樣，激光雷達在使用之前也需要對其內(nèi)外參數(shù)進行標(biāo)定。內(nèi)參標(biāo)定指的是其內(nèi)部激光發(fā)射器坐標(biāo)系與雷達自身坐標(biāo)系的轉(zhuǎn)換關(guān)系，在出廠之前已經(jīng)標(biāo)定完成，可以直接使用。自動駕駛系統(tǒng)需要進行的是外參標(biāo)定，即激光雷達自身坐標(biāo)系與車體坐標(biāo)系的關(guān)系。

激光雷達與車體為剛性連接，兩者間的相對姿態(tài)和位移固定不變。為了建立激光雷達之間以及激光雷達與車輛之間的相對坐標(biāo)關(guān)系，需要對激光雷達的安裝進行標(biāo)定，并使激光雷達數(shù)據(jù)從激光雷達坐標(biāo)系轉(zhuǎn)換至車體坐標(biāo)系上。

車體坐標(biāo)系與激光雷達坐標(biāo)系

通過實驗采集同一個點在兩個坐標(biāo)系下的真實坐標(biāo)，即同名點，建立一系列的方程可以求出這16個未知參數(shù)。另外，在自動駕駛汽車上，通常需要將激光雷達與慣性導(dǎo)航單元（IMU)坐標(biāo)系進行標(biāo)定，建立激光雷達與車體坐標(biāo)系之間的關(guān)系。

1.激光雷達和激光雷達之間的標(biāo)定

對自動駕駛汽車來說，有時會存在多個激光雷達的情況，每一個激光雷達獲取的外部境都必須準(zhǔn)確地映射到車體坐標(biāo)系下。因此，當(dāng)存在多個激光雷達時，需要對多個激光雷的相對位置進行標(biāo)定和校準(zhǔn)。

激光雷達之間的外參標(biāo)定有多種思路，其中較為常用的是通過不同激光雷達與車體之間的坐標(biāo)轉(zhuǎn)換關(guān)系來間接推導(dǎo)出激光雷達之間的坐標(biāo)轉(zhuǎn)換關(guān)系。

2.激光雷達與攝像機的標(biāo)定

在自動駕駛車輛上，激光雷達與無人駕駛汽車為剛性連接，兩者間的相對姿態(tài)和位移固定不變，因此，激光雷達掃描獲得的數(shù)據(jù)點，在環(huán)境坐標(biāo)系中有唯一的位置坐標(biāo)與之對應(yīng)。同樣，攝像機在環(huán)境坐標(biāo)系中也有唯一的位置坐標(biāo)，因此，激光雷達與攝像機之間存在著固定的坐標(biāo)轉(zhuǎn)換。激光雷達與攝像機的聯(lián)合標(biāo)定，就是通過提取標(biāo)定物在單線激光雷達和圖像上的對應(yīng)特征點，完成單線激光雷達坐標(biāo)、攝像機坐標(biāo)、圖像像素坐標(biāo)等多個傳感器坐標(biāo)的統(tǒng)一，實現(xiàn)激光雷達與攝像機的空間校準(zhǔn)。

當(dāng)完成攝像機外參標(biāo)定、激光雷達外參標(biāo)定之后，二者之間的關(guān)系其實就可以完全確定，激光雷達掃描點可投影到圖像像素坐標(biāo)系。

同相機的內(nèi)參標(biāo)定方法一樣，激光雷達與攝像機的外參標(biāo)定也可以使用標(biāo)定板的標(biāo)定方法。