arXiv論文“Sim-to-Real Domain Adaptation for Lane Detection and Classification in Autonomous Driving“，2022年5月，加拿大滑鐵盧大學(xué)的工作。

雖然自主駕駛的監(jiān)督檢測和分類框架需要大型標(biāo)注數(shù)據(jù)集，但光照真實模擬環(huán)境生成的合成數(shù)據(jù)推動的無監(jiān)督域適應(yīng)（UDA，Unsupervised Domain Adaptation）方法則是低成本、耗時更少的解決方案。本文提出對抗性鑒別和生成（adversarial discriminative and generative）方法的UDA方案，用于自動駕駛的車道線檢測和分類應(yīng)用。

還介紹Simulanes數(shù)據(jù)集生成器，利用CARLA的巨大交通場景和天氣條件，創(chuàng)建一個自然的合成數(shù)據(jù)集。提出的UDA框架將帶標(biāo)簽的合成數(shù)據(jù)集作為源域，而目標(biāo)域是未標(biāo)記的真實數(shù)據(jù)。用對抗生成和特征鑒別器，調(diào)試學(xué)習(xí)模型，預(yù)測目標(biāo)域的車道位置和類別。用真實數(shù)據(jù)集和合成數(shù)據(jù)集進(jìn)行評估。

開源UDA框架在??githubcom??/anita-hu/sim2real-lane-detection，還有數(shù)據(jù)集生成器在github.com/anita-hu/simulanes。

現(xiàn)實世界中的駕駛具有多樣性，交通條件、天氣和周圍環(huán)境也各不相同。因此，模擬場景的多樣性對模型在現(xiàn)實世界中的良好適應(yīng)性至關(guān)重要。有許多用于自動駕駛的開源模擬器，即CARLA和LGSVL。本文選擇CARLA來生成模擬數(shù)據(jù)集，除靈活的Python API外，CARLA還包含豐富的覆蓋城市、農(nóng)村和公路場景的預(yù)先繪制地圖內(nèi)容。

模擬數(shù)據(jù)生成器Simulanes在城市、農(nóng)村和公路環(huán)境中生成了各種模擬場景，包括15個車道類別和動態(tài)天氣。如圖顯示來自合成數(shù)據(jù)集的樣本。行人和車輛參與者隨機(jī)生成并放置在地圖上，通過遮擋增加數(shù)據(jù)集的難度。根據(jù)TuSimple和CULane數(shù)據(jù)集，將車輛附近的最大車道數(shù)限制為4條，并用行錨點為標(biāo)簽。

由于CARLA模擬器不直接給出車道位置標(biāo)簽，用CARLA的路點系統(tǒng)（waypoint system）生成標(biāo)簽。CARLA路點是車輛autopilot要遵循的預(yù)定義位置，位于車道中心。為了獲得車道位置標(biāo)簽，將當(dāng)前車道的路點左右移動W/2，其中W是模擬器給定的車道寬度。然后將這些移動的路點投影到攝像頭坐標(biāo)系，并采用樣條曲線擬合，以便沿預(yù)定的行錨點生成標(biāo)簽。類標(biāo)簽由模擬器給出，是15個類的一個。

為了生成具有N幀的數(shù)據(jù)集，將N均勻地劃分到所有可用的地圖上。從默認(rèn)的CARLA地圖中，用城鎮(zhèn)1、3、4、5、7和10，而城鎮(zhèn)2和6由于提取的車道位置標(biāo)簽與圖像的車道位置之間存在差異而未使用。對每個地圖，車輛參與者在隨機(jī)位置生成，并隨機(jī)移動。動態(tài)天氣通過將時間作為正弦函數(shù)平滑地改變太陽的位置并偶爾產(chǎn)生風(fēng)暴來實現(xiàn)，風(fēng)暴通過云量、水量和積水等變量影響環(huán)境的外觀。為了避免在同一位置保存多個幀，檢查車輛是否已從前一幀位置移動，如果這個車輛停止太長時間，則重新生成新的車輛。

當(dāng)sim-to-real算法應(yīng)用于車道檢測時，采用端到端的方法，并使用Ultra- Fast-Lane-Detection（UFLD）模型作為基礎(chǔ)網(wǎng)絡(luò)。之所以選擇UFLD，是因為其輕量級架構(gòu)可以在相同輸入分辨率下實現(xiàn)300幀/秒速度，同時具有與最先進(jìn)方法相當(dāng)?shù)男阅堋FLD將車道檢測任務(wù)表述為基于行的選擇法，其中每個車道由預(yù)定義行的一系列水平位置表示，即行錨點。對于每個行錨點，位置被劃分為w網(wǎng)格單元。對于第i條車道和第j行錨點，位置預(yù)測成為一個分類問題，其中模型輸出選擇（w+1）網(wǎng)格單元的概率Pi，j。輸出中的附加維度是無車道。

UFLD提出一個輔助分割分支，在多尺度上聚集特征來建模局部特征，這個只在訓(xùn)練期間使用。隨UFLD方法，交叉熵?fù)p失用于分割損失Lseg。對于車道分類，添加一個全連接（FC）層的小分支，接收與車道位置預(yù)測的FC層相同的特征。車道分類損失Lcls也使用交叉熵?fù)p失。

為了緩解UDA設(shè)置的域漂移問題，采用了UNIT（“Unsupervised Image-to-Image Translation Networks“，NIPS，2017）& MUNIT（“Multimodal unsupervised image-to-image translation,” ECCV 2018）的對抗性生成方法，以及使用特征鑒別器的對抗性判別方法。如圖所示：提出了對抗性生成方法（A）和對抗性判別方法（B）。UNIT和MUNIT在（A）中表示，其中顯示用于圖像翻譯（image translation）的生成器輸入。MUNIT的附加風(fēng)格輸入以藍(lán)色虛線顯示。為了簡單起見，省略了MUNIT風(fēng)格的編碼器輸出，因為它不用于圖像翻譯。

實驗結(jié)果如下：

左：直接遷移法，右：對抗鑒別（ADA）方法