CLRNet：一種用于自動駕駛車道檢測的分層細(xì)化網(wǎng)絡(luò)算法

作者：Jone 2024-03-08 09:29:42

對于車道檢測來說，低級和高級特征是互補(bǔ)的，基于此，本文提出了一種新穎的網(wǎng)絡(luò)架構(gòu)（CLRNet）來充分利用低級和高級特征進(jìn)行車道檢測。

車道是具有高級語義的交通標(biāo)志，特別是在視覺導(dǎo)航系統(tǒng)中尤其重要。檢測車道可以使許多應(yīng)用受益，例如自動駕駛和高級駕駛員輔助系統(tǒng)（ADAS）中的視覺導(dǎo)航就是一個(gè)典型的應(yīng)用，它可以幫助智能車輛更好地進(jìn)行自車定位并更安全地行駛。

然而，車道檢測擁有特定的局部模式，需要實(shí)時(shí)預(yù)測網(wǎng)絡(luò)圖像中的車道信息，更需要詳細(xì)的低級特征才能準(zhǔn)確定位。因此，可以說車道檢測是計(jì)算機(jī)視覺中一項(xiàng)重要但具有挑戰(zhàn)性的任務(wù)。

使用不同的特征級別對于準(zhǔn)確的車道檢測非常重要，但折現(xiàn)工作仍處于探索階段。本文介紹了跨層細(xì)化網(wǎng)絡(luò)（CLRNet），旨在充分利用到車道檢測中的高級和低級特征。首先，通過檢測具有高級語義特征的車道，然后根據(jù)低級特征進(jìn)行細(xì)化。這種方式可以利用更多的上下文信息來檢測車道，同時(shí)利用本地詳細(xì)的車道特征來提高定位精度。此外，通過 ROIGather 的方式來收集全局上下文，可以進(jìn)一步增強(qiáng)車道的特征表示。除了設(shè)計(jì)全新的網(wǎng)絡(luò)之外，還引入了線路 IoU 損失，它將車道線作為一個(gè)整體單元進(jìn)行回歸，以提高定位精度。

如前所述，由于Lane具有高級語義，但它擁有特定的局部模式，需要詳細(xì)的低級特征才能準(zhǔn)確定位。如何在 CNN 中有效利用不同的特征級別仍然是一個(gè)問題。如下圖 1（a）所示，地標(biāo)和車道線具有不同的語義，但它們具有相似的特征（例如長白線）。如果沒有高級語義和全局上下文，很難區(qū)分它們。另一方面，地域性也很重要，巷子又長又細(xì)，當(dāng)?shù)馗窬趾唵巍?/span>

此外，在圖1（b）中顯示了高級特征的檢測結(jié)果，盡管檢測到了車道，但其位置并不精確。因此，低層信息和高層信息可以互補(bǔ)來實(shí)現(xiàn)準(zhǔn)確的車道檢測。

車道檢測中的另一個(gè)常見問題是沒有車道存在的視覺信息。如上圖1（c）所示，車道被汽車占據(jù)，而在圖1（d）中，由于極端的光照條件，車道很難識別。

跨層細(xì)化網(wǎng)絡(luò)（CLRNet）的方法論概述

在本文中，介紹了一種新的框架——跨層細(xì)化網(wǎng)絡(luò)（CLRNet），它充分利用低級和高級特征進(jìn)行車道檢測。具體來說，首先對高語義特征進(jìn)行檢測以粗略地定位車道。然后再根據(jù)細(xì)節(jié)特征逐步細(xì)化車道位置和特征提取可以獲得高精度的檢測結(jié)果（即更精確的位置）。為了解決車道的非視覺所能探測的區(qū)域盲區(qū)問題，引入了 ROI收集器，通過建立ROI車道特征與整個(gè)特征圖之間的關(guān)系來捕獲更多的全局上下文信息。此外，還定義了車道線的交并比 IoU，并提出 Line IoU (LIoU) 損失，將車道作為一個(gè)整體單元進(jìn)行回歸，與標(biāo)準(zhǔn)損失（即 smooth-l1 損失）相比，顯著提高了性能。

圖 2. CLRNet 概述

如上圖表示了本文介紹的CLRNet算法進(jìn)行車道線IoU處理的整個(gè)前端網(wǎng)絡(luò)。其中，圖(a)網(wǎng)絡(luò)從 FPN 結(jié)構(gòu)生成特征圖。隨后，每個(gè)車道先驗(yàn)將從高級特征細(xì)化為低級特征。圖(b)表示每個(gè)頭將利用更多上下文信息為車道獲取先驗(yàn)特征。圖(c)則表示車道先驗(yàn)的分類和回歸。而本文所提出的 Line IoU 損失有助于進(jìn)一步提高回歸性能。

如下將更加詳細(xì)說明本文介紹的算法工作過程。

1、車道網(wǎng)絡(luò)表示

眾所周知，實(shí)際道路中的車道又細(xì)又長，這種特征表示是具有很強(qiáng)的形狀先驗(yàn)信息的，因此預(yù)定義的車道先驗(yàn)可以幫助網(wǎng)絡(luò)更好地定位車道。在常規(guī)的目標(biāo)檢測中，目標(biāo)由矩形框表示。然而，無論何種矩形框卻并不適合表示長線。這里使用等距的二維點(diǎn)作為車道表示。具體來說，車道表示為點(diǎn)序列，即 P = {(x1, y1), ···,(xN , yN )}。點(diǎn)的 y 坐標(biāo)在圖像垂直方向上均勻采樣，即，其中 H 是圖像高度。因此，x坐標(biāo)與相應(yīng)的相關(guān)聯(lián)，這里將這種表示稱為 Lane 優(yōu)先。每個(gè)車道先驗(yàn)將由網(wǎng)絡(luò)預(yù)測，并由四個(gè)部分組成：

(1) 前景和背景概率。

(2) 車道長度優(yōu)先。

(3) 車道線的起點(diǎn)與先驗(yàn)車道的 x 軸之間的角度（稱為 x、y 和 θ）。

(4) N 個(gè)偏移量，即預(yù)測與其真實(shí)值之間的水平距離。

2、跨層細(xì)化動機(jī)

在神經(jīng)網(wǎng)絡(luò)中，深層的高級特征對具有更多語義特征的道路目標(biāo)表現(xiàn)出更強(qiáng)烈的反饋，而淺層的低級特征則具有更多的局部上下文信息。算法允許車道對象訪問高級特征可以幫助利用更有用的上下文信息，例如區(qū)分車道線或地標(biāo)。同時(shí)，精細(xì)的細(xì)節(jié)特征有助于以高定位精度檢測車道。在對象檢測中，它構(gòu)建特征金字塔以利用ConvNet特征層次結(jié)構(gòu)的金字塔形狀，并將不同尺度的對象分配給不同的金字塔級別。然而，很難直接將一條車道僅分配給一個(gè)級別，因?yàn)楦呒壓偷图壒δ軐τ谲嚨蓝贾陵P(guān)重要。受 Cascade RCNN的啟發(fā)，可以將車道對象分配給所有級別，并按順序來檢測各個(gè)車道。

特別是，可以檢測具有高級特征的車道，以粗略地定位車道。根據(jù)檢測到的已知車道，就可以使用更詳細(xì)的特征來細(xì)化它們。

3、細(xì)化結(jié)構(gòu)

整個(gè)算法的目標(biāo)是利用 ConvNet 的金字塔特征層次結(jié)構(gòu)（具有從低級到高級的語義），并構(gòu)建一個(gè)始終具有高級語義的特征金字塔。以殘差網(wǎng)絡(luò)ResNet作為主干，使用{L0, L1, L2}表示 FPN 生成的特征級別。

如圖2所示，跨層細(xì)化是從最高級別L0開始的，且逐漸接近L2。通過使用{R0,R1,R2}來表示相應(yīng)的細(xì)化。然后可以繼續(xù)構(gòu)建一系列的細(xì)化結(jié)構(gòu)：

其中 t = 1, · · · , T, T 是細(xì)化的總數(shù)。

整個(gè)方法從具有高語義的最高層執(zhí)行檢測，Pt是車道先驗(yàn)的參數(shù)（起點(diǎn)坐標(biāo)x、y和角度θ），它是受啟發(fā)且可自學(xué)習(xí)的。對于第一層L0，P0均勻分布在圖像平面上，細(xì)化Rt以Pt作為輸入以獲得ROI車道特征，然后執(zhí)行兩個(gè)FC層以獲得細(xì)化參數(shù)Pt。逐步細(xì)化車道先驗(yàn)信息和特征信息提取對于跨層細(xì)化是非常重要。注意，此方法不限于 FPN 結(jié)構(gòu)，僅使用 ResNet或采用 PAFPN也是合適的。

4、ROI 收集

在為每個(gè)特征圖分配車道先驗(yàn)信息后，可以使用 ROI Align模塊獲得車道先驗(yàn)的特征。然而，這些特征的上下文信息仍然不夠。在某些情況下，車道實(shí)例可能會被占用或在極端照明條件下會變得模糊。在這種情況下，可能沒有局部視覺實(shí)時(shí)跟蹤數(shù)據(jù)來表明車道的存在性。為了確定一個(gè)像素是否屬于車道，需要查看附近的特征。最近的一些研究也表明，如果充分利用遠(yuǎn)程依賴關(guān)系，性能可以得到提高。因此，可以收集更多有用的上下文信息來更好地學(xué)習(xí)車道特征。

為此，先沿車道進(jìn)行卷積計(jì)算，這樣，車道先驗(yàn)中的每個(gè)像素都可以收集附近像素的信息，并且可以根據(jù)該信息對占用的部分進(jìn)行強(qiáng)化。此外，還通過建立了車道先驗(yàn)特征和整個(gè)特征圖之間的關(guān)系。因此，可以利用更多的上下文信息來學(xué)習(xí)更好的特征表示。

整個(gè)ROI搜集模塊結(jié)構(gòu)重量輕且易于實(shí)施。因?yàn)椋蕴卣鲌D和車道先驗(yàn)作為輸入，每個(gè)車道先驗(yàn)有 N 個(gè)點(diǎn)。與邊界框的 ROI Align 不同，對于每個(gè)車道先驗(yàn)信息搜集，需要先按照 ROI Align得到車道先驗(yàn)的 ROI 特征 (Xp ∈ R^C×Np )。從車道先驗(yàn)中均勻采樣 Np 點(diǎn)，并使用雙線性插值來計(jì)算這些位置處輸入特征的精確值。對于L1、L2的ROI特征，可以通過連接前幾層的 ROI 特征來增強(qiáng)特征表示。通過對提取的 ROI 特征進(jìn)行卷積可以收集每個(gè)車道像素的附近特征。為了節(jié)省內(nèi)存，這里使用全連接來進(jìn)一步提取車道先驗(yàn)特征（Xp ∈ R^C×1），其中，特征圖的大小調(diào)整為 X_f ∈ R^C×H×W ，可以繼續(xù)展平為 X_f ∈R^C×HW 。

為了收集車道具有先驗(yàn)特征的全局上下文信息，需要首先計(jì)算 ROI 車道先驗(yàn)特征 (Xp) 和全局特征圖 (Xf) 之間的注意力矩陣 W，其寫為：

其中 f 是歸一化函數(shù) soft max。聚合后的特征可寫為：

輸出 G 反映了 Xf 對 Xp 的疊加值，它是從 Xf 的所有位置中選擇的。最后，將輸出添加到原始輸入 Xp 上。

為了進(jìn)一步演示 ROIGather 在網(wǎng)絡(luò)中的工作原理，在圖3 中可視化了注意力圖的ROIGather 分析。它顯示了車道先驗(yàn)的 ROI 特征和整個(gè)特征圖之間的注意力。橙色線是之前對應(yīng)的車道，紅色區(qū)域?qū)?yīng)于注意力權(quán)重的高分。

圖 3. ROIGather 中注意力權(quán)重的圖示

如上圖顯示了車道先驗(yàn)（橙色線）的 ROI 特征與整個(gè)特征圖之間的注意力權(quán)重。顏色越亮，權(quán)重值越大。值得注意的是，所提出的 ROIGather 可以有效地收集具有豐富語義信息的全局上下文，即使在遮擋下也能捕獲前景車道的特征。

5、車道線交并比IoU 損失

如上所述，車道先驗(yàn)由需要與其基本事實(shí)回歸的離散點(diǎn)組成。常用的距離損失（如 smooth-l1）可用于對這些點(diǎn)進(jìn)行回歸。然而，這種損失將點(diǎn)作為單獨(dú)的變量，這是一個(gè)過于簡單化的假設(shè)，導(dǎo)致回歸不太準(zhǔn)確。

與距離損失相反，并集交集（IoU）可以將車道先驗(yàn)作為一個(gè)整體單元進(jìn)行回歸，并且它是針對評估指標(biāo)量身定制的。這里推導(dǎo)出一種簡單有效的算法來計(jì)算線 IoU (LIoU) 損失。

如下圖所示，線交并比 IoU可以通過根據(jù)采樣的 xi 位置對擴(kuò)展段的 IoU 進(jìn)行積分來計(jì)算。

圖 4. 線 IoU 圖示

如上圖所示的公式中顯示，從線段交并比 IoU 的定義開始引入線 IoU 損失，即兩條線段之間相互作用與并集的比率。對于如圖 4 所示的預(yù)測車道中的每個(gè)點(diǎn)，首先將其（x^p_i ）以半徑 e 延伸為線段。然后，可以計(jì)算延長線段與其groundtruth之間的IoU，寫為：

其中 x^p_i - e, x^p_i + e 是 x^p_i 的擴(kuò)展點(diǎn)，x^g_i -e，x^g_i + e 是對應(yīng)的groundtruth點(diǎn)。請注意，d⁰_i可以為負(fù)值，這使得在非重疊線段的情況下可以進(jìn)行有效的信息優(yōu)化。

那么LIoU可以被認(rèn)為是無限線點(diǎn)的組合。為了簡化表達(dá)式并易于計(jì)算，將其轉(zhuǎn)換為離散形式，

然后，LIoU損失定義為：

其中?1 ≤ LIoU ≤1，當(dāng)兩條線完美重疊時(shí)，則LIoU = 1，當(dāng)兩條線相距較遠(yuǎn)時(shí)，LIoU收斂于-1。

通過Line IoU損失來計(jì)算車道線關(guān)聯(lián)關(guān)系有兩個(gè)優(yōu)點(diǎn)：（1）它簡單且可微分，很容易實(shí)現(xiàn)并行計(jì)算。(2)它將車道作為一個(gè)整體進(jìn)行預(yù)測，這有助于提高整體性能。

6、訓(xùn)練和推理細(xì)節(jié)

首先，是進(jìn)行正向樣本選擇。

在訓(xùn)練過程中，每個(gè)地面真實(shí)車道作為正樣本被動態(tài)分配一個(gè)或多個(gè)預(yù)測車道。特別是，根據(jù)分配成本對預(yù)測車道進(jìn)行排序，其定義為：

這里 Ccls 是預(yù)測和標(biāo)簽之間的焦點(diǎn)成本。Csim 是預(yù)測車道和真實(shí)車道之間的相似成本。它由三部分組成，Cdis表示所有有效車道點(diǎn)的平均像素距離，Cxy表示起點(diǎn)坐標(biāo)的距離，Ctheta表示theta角的差值，它們都?xì)w一化為[0, 1]。wcls和wsim是每個(gè)定義分量的權(quán)重系數(shù)。每個(gè)地面實(shí)況車道都根據(jù) Cassign 分配有動態(tài)數(shù)量（top-k）的預(yù)測車道。

其次，是訓(xùn)練損失。

訓(xùn)練損失包括分類損失和回歸損失，其中，回歸損失僅對指定的樣本進(jìn)行計(jì)算。總體損失函數(shù)定義為：

Lcls 是預(yù)測和標(biāo)簽之間的焦點(diǎn)損失，Lxytl 是起點(diǎn)坐標(biāo)、theta 角度和車道長度回歸的 smooth-l1 損失，LLIoU 是預(yù)測車道和地面實(shí)況之間的線 IoU 損失。通過添加輔助分割損失的方式，僅在訓(xùn)練期間使用，沒有推理成本。

最后，是進(jìn)行有效推理。通過設(shè)置一個(gè)帶有分類分?jǐn)?shù)的閾值來過濾背景車道（低分車道先驗(yàn)），并使用 nms 來刪除之后的高重疊車道。如果使用一對一分配，即設(shè)置 top-k = 1，這里也可以是無 nms 的。

總結(jié)

在本文中，我們提出了用于車道檢測的跨層細(xì)化網(wǎng)絡(luò)（CLRNet）。CLRNet 可以利用高級特征來預(yù)測車道，同時(shí)利用局部詳細(xì)特征來提高定位精度。為了解決車道存在的視覺證據(jù)不足的問題，提出通過 ROIGather 建立與所有像素的關(guān)系來增強(qiáng)車道特征表示。為了將車道作為一個(gè)整體進(jìn)行回歸，提出了為車道檢測量身定制的 Line IoU 損失，與標(biāo)準(zhǔn)損失（即 smooth-l1 損失）相比，它大大提高了性能。本方法在三個(gè)車道檢測基準(zhǔn)數(shù)據(jù)集（即 CULane、LLamas 和 Tusimple）上進(jìn)行評估。所提出的方法在三個(gè)車道檢測基準(zhǔn)上大大優(yōu)于其他最先進(jìn)的方法（CULane、Tusimple和 LLAMAS）。

責(zé)任編輯：張燕妮來源：焉知汽車