01 摘要

自動駕駛汽車依靠各種傳感器來收集周圍環境的信息。車輛的行為是根據環境感知進行規劃的，因此出于安全考慮，其可靠性至關重要。有源激光雷達傳感器能夠創建場景的精確3D表示，使其成為自動駕駛汽車環境感知的寶貴補充。由于光散射和遮擋，激光雷達的性能在霧、雪或雨等惡劣天氣條件下會發生變化。這種限制最近促進了大量關于緩解感知性能下降的方法的研究。

本文收集、分析并討論了基于激光雷達的環境感知中應對不利天氣條件的不同方面。并討論了適當數據的可用性、原始點云處理和去噪、魯棒感知算法和傳感器融合等主題，以緩解不利天氣造成的缺陷。此外論文進一步確定了當前文獻中最緊迫的差距，并確定了有希望的研究方向。

02 介紹

LiDAR傳感器最近在自動駕駛領域越來越受到關注[1]。它提供了稀疏但準確的深度信息，使其成為對相機和雷達等研究更深入的傳感器的寶貴補充。激光雷達傳感器是一種有源傳感器，這意味著它發射被環境反射的光脈沖。然后，傳感器捕捉反射光，并根據經過的時間測量環境的距離。除了時間之外，還可以評估其他特征，如光量和信號的延長。在大多數情況下，有機械組件與多個激光二極管相結合，以創建完整場景的稀疏點云[1]。市場上有各種不同的傳感器。

激光雷達傳感器在惡劣天氣條件下存在不同的缺點。首先，傳感器凍結或其他機械并發癥可能在凍結溫度下發生。傳感器技術、型號和安裝位置等內部和結構因素對劣化程度起著一定作用。此外，不利天氣會影響強度值、點數和其他點云特征（見圖一）。一般來說，當由于灰塵或惡劣天氣而在空氣中遇到顆粒物時，發射的光會向后散射或轉移。這導致點云中的距離和反射率測量存在噪聲，因為一些激光脈沖過早返回傳感器或在大氣中丟失。在應用場景理解算法時，噪聲尤其有害。在這種安全關鍵的用例中，保持可靠的高預測性能尤為重要。因此，需要有應對策略來最大限度地減少不利天氣條件下激光雷達感知性能的下降，或者至少檢測傳感器在現實世界場景中的局限性。

大多數最先進的算法都依賴于深度學習（DL）算法，該算法依賴大量數據，以導出環境的通用特征。雖然有一系列研究集中在無監督感知上，但最近的大多數工作都需要對原始數據進行相應的標記。這包括用于對象檢測的邊界框和用于語義分割的逐點類標簽。手動標記稀疏和額外噪聲的點云不僅困難，而且成本高昂且容易出錯。因此，如何用特定于天氣的噪聲模擬或增強現有點云的問題尤其有趣。

盡管有大量關于分析激光雷達傳感器在惡劣天氣條件下的性能退化的研究，但缺乏關于改善感知的算法應對策略的全面總結。此外，針對惡劣天氣條件下自動駕駛的調查解決了天氣引起的傳感器退化，但并沒有確定激光雷達傳感器特有的天氣相關問題。本文總結并分析了應對激光雷達感知不利天氣條件的各種方法。因此，論文從三個不同的角度闡述了這個主題：

• 數據可用性：用于開發魯棒激光雷達感知算法的真實世界和合成數據集；
• 點云操作：傳感器特定的天氣魯棒性和感知無關的點云處理（例如天氣分類、點云去噪）；
• 魯棒感知：魯棒感知算法，能夠通過融合多個傳感器、在訓練中進行調整或提高感知模型的總體魯棒性來處理點云中由天氣引起的噪聲。

最后對當前技術中缺失的空白以及最有前景的研究方向進行了總結。

03 不利天氣數據

要在任何類型的感知任務上訓練DL模型，都需要大量的數據。對于仍占主導地位的監督方法，這些數據甚至必須通過自動標記方法或手動方式進行標記。無論哪種方式，獲得精確標記的稀疏激光雷達數據都是昂貴和繁瑣的，而且當原始點云被天氣引起的噪聲破壞時，更會受到阻礙。

因此，需要具有高質量標簽的有價值的數據集。通常，有三種選擇可以獲得具有天氣特征噪聲模式的激光雷達點云：真實世界記錄、增強點云和模擬點云。第一個是在惡劣的天氣條件下使用帶有適當傳感器設置的測試車生成的。后一種方法需要物理模型或基于DL的方法來創建部分或整個點云。

真實世界數據集

用于激光雷達感知基準的大多數現有數據集都是在有利的天氣條件下記錄的。為了在現實世界中使用開發的感知算法，底層數據集必須反映所有天氣條件。除了晴朗的天氣條件外，還有一些廣泛的數據集明確包括雨、雪和霧。

表I顯示了用于研究惡劣天氣條件下激光雷達感知的公開可用數據集的概述。數據集是在不同的條件下記錄的，并且大小差異很大。其中大多數實際上是在真實世界的駕駛場景中記錄的，而其中兩個（部分）來自氣象室。氣象室具有完全控制天氣條件和周圍環境的優勢，即在障礙物方面。盡管如此，它們并不能充分反映現實世界的情況。

此外，每個數據集都使用不同的傳感器設置。[27]專門針對惡劣天氣條件下的激光雷達制造商和型號進行基準測試。除了激光雷達傳感器，所有數據集都提供RGB攝像機記錄，有些數據集甚至包括雷達、立體聲，事件、門控或紅外攝像機。

這些數據集旨在解決自動駕駛汽車的不同感知和駕駛任務。幾乎所有傳感器設置（除[21]外）都包括定位和運動傳感器，即GPS/GNSS和IMU。因此，它們適合于開發和測試SLAM算法。除了僅提供運動GT的[29]之外，所有數據集都提供了用于目標檢測或逐點分割的標簽。

最后，所有數據集都包括一些關于天氣狀況的元數據。這對于在惡劣天氣條件下開發幾乎任何類型的感知模型都至關重要。至少對于徹底的驗證來說，了解周圍天氣條件的強度和性質是至關重要的。只有一個數據集提供逐點天氣標簽，即路邊的降雪和積雪。

由真實世界記錄組成的數據集的優點是高度真實。缺點是記錄場景的標簽僅部分可用（逐點），或者，如果數據記錄在氣象室中，則僅限于更復雜的現實世界場景。在不利的天氣條件下手動逐點標記激光雷達點云尤其具有挑戰性，因為在許多情況下，將雜波或噪聲與實際反射信號區分開來是不切實際的。

天氣增強

將不利天氣影響擴展到現有數據集提供了一種生成大量數據的有效方法，而不是乏味地收集和標記不同不利天氣影響的新數據集。通常，基于物理或經驗的增強模型被用來將某些不利天氣影響增強為晴朗的天氣點云，無論它們是來自真實世界的驅動還是來自等模擬。這允許獲得被天氣特定噪聲破壞的場景，同時保留數據集中已經存在的所有有趣的邊緣情況和注釋。

增強方法定義了在不利天氣條件下從晴朗天氣點到相應點的映射。為此，經常參考[32]中的理論激光雷達模型，該模型對不利的雨、霧和雪的影響進行建模。它通過將發射的脈沖與場景響應卷積，將接收到的強度分布建模為線性系統。場景響應對固體物體上的反射以及由于惡劣天氣造成的背散射和衰減進行建模。

[9]中介紹了一種更實用的霧增強，可以直接應用于點云。它基于最大視距，該視距是測量強度、激光雷達參數和霧中光學能見度的函數。如果晴朗天氣點的距離低于最大觀看距離，則會出現隨機散射點，或者該點以一定的概率丟失。該模型通過將能見度參數和散射概率轉化為降雨率來適應降雨。

然而，這些模型忽略了所考慮的用于增雨的發射激光雷達脈沖的光束發散。這里，計算了模擬光束發散的超采樣光束與球形雨滴的交點數量。如果交叉點的數量超過某個閾值，則會添加一個散射點。[35]中的擴充方法擴展了這種方法，從而可能出現丟失點。此外，它還適用于雪和霧。

[36]中介紹了霧、雪和雨的另一種增強。該模型在功率域中運行，并且不依賴于例如像前面討論的方法那樣計算交叉點。此外，使用計算上更有效的散射點距離采樣策略來模擬光束發散。通常，該模型首先將固體物體和隨機采樣散射體反射的衰減功率與距離相關的噪聲閾值進行比較。如果散射點的功率超過實體對象的功率，則會添加散射點。如果某個點低于與距離相關的噪聲閾值，則該點將丟失。

除了基于物理的模型外，經驗模型也可以用于增強。在[38]中可以找到其他車輛卷起的噴霧的經驗增強方法。這個模型的中心是從專門的實驗中觀察到的噴霧被組織成簇。[39]中提出了另一種數據驅動方法，該方法依賴于Waymo數據集的噴霧場景。在[40]中，提出了一種計算成本更高的噴霧增強方法，該方法依賴于帶有物理引擎的渲染器。

最后，基于DL的方法可以應用于不利天氣增強。在[41]中，受圖像到圖像翻譯的啟發，提出了一種基于生成對抗性網絡（GAN）的方法，該方法能夠將點云從晴天轉換為霧天或雨天。他們將他們的結果與來自氣象室的真實霧點云和雨點云進行了定性比較。

然而，評估增強方法的質量和真實程度是具有挑戰性的。一些作者使用氣象室或其他受控環境，以便與現實世界的天氣影響進行比較。此外，如果增強方法有助于在現實世界不利天氣條件下的感知性能，則通常認為它是現實的。

04 點云處理與去噪

本節介紹了如何處理不利天氣條件的方法，這些方法是基于傳感器技術或點云的，即獨立于實際感知任務。因此，論文分析了一般傳感器相關的天氣魯棒性，以及根據天氣條件估計性能退化程度的可能性。此外，有大量研究使用經典去噪方法和DL從激光雷達點云中去除天氣引起的噪聲。

傳感器相關天氣魯棒性

根據技術、特性和配置，不同的激光雷達模型或多或少會受到天氣條件的影響。由于眼睛安全的限制和對環境光的抑制，激光雷達傳感器的兩種工作波長占主導地位：905nm和1550nm，其中905nm是大多數可用的傳感器。這在一定程度上是由于在不利天氣條件下具有更好的性能，即雨滴的吸收率較低，在雪中具有更好的反射率，在霧中具有較小的退化。關于惡劣天氣條件下激光雷達技術和波長的全面討論，我們參考[17]。

此外，還對惡劣天氣條件下的全波形激光雷達（FWL）性能進行了研究。FWL不僅測量一個或兩個回波，而且測量所有較弱的回波，有效地測量了更多的噪聲，但也收集了更多關于周圍環境的信息。盡管FWL需要很高的計算資源，但它已被證明對分析周圍介質很有用，這可以為理解甚至不斷變化的條件并動態調整條件奠定基礎。

傳感器退化估計和天氣分類

由于激光雷達傳感器在不同的天氣條件下退化不同，估計傳感器退化程度是處理損壞的激光雷達點云的第一步。在開發更好地識別傳感極限的方法以防止錯誤檢測傳播到下游任務中時，已經取得了進展。

首先，一些關于表征傳感器在各種天氣條件下退化的研究為傳感器在惡劣天氣條件下的校準和進一步發展奠定了堅實的基礎，盡管尚未對其天氣分類能力進行評估。

[33]中介紹了第一項實際模擬降雨對激光雷達傳感器影響的工作。作者提出了一個從激光雷達方程導出的數學模型，并允許基于降雨率和最大傳感范圍進行性能退化估計。

在隨后的研究工作中，對惡劣天氣條件下傳感器退化的估計被公式化為異常檢測任務和驗證任務。前者采用了基于DL的模型，該模型旨在學習一種潛在的表示，該表示將清晰的LiDAR掃描與雨天的激光雷達掃描區分開來，從而能夠量化性能下降的程度。后一種方法建議使用強化學習（RL）模型來確定對象檢測和跟蹤模型中的失敗。

雖然上述方法旨在量化傳感器性能本身的下降，但另一系列研究側重于對周圍天氣條件（即晴朗、下雨、霧和雪）的分類。在基于激光雷達點云手工制作的特征3的經典機器學習方法（k-最近鄰和支持向量機）的幫助下，取得了令人滿意的結果：[10]提出了一個特征集來進行逐點天氣分類。

[51]開發了降雨率逐幀回歸的概率模型。在專家的配合下，他們從激光雷達點云中準確地推斷出了降雨率。

應該注意的是，大多數方法都是根據氣象室收集的數據進行訓練和評估的。雖然仔細控制天氣條件的能力允許高再現性，但數據通常不能準確反映真實世界的情況。為了評估每種方法的分類能力，有必要對真實世界的數據進行徹底的研究[50]。

點云去噪

天氣效應以特定的噪聲模式反映在激光雷達點云中。如第一節所述，它們可能會影響點云中的測量次數和最大傳感范圍等因素。可以通過各種方法對點云進行去噪，以重建清晰的測量結果，而不是用特定于天氣的噪聲來增強點云。除了經典的濾波算法外，最近還出現了一些基于DL的去噪工作。

除了在去噪點云上應用物體檢測等感知任務外，精度（保留環境特征）和召回率（濾除天氣引起的噪聲）等指標對于評估經典濾波方法的性能至關重要。為了計算這些指標，需要逐點標記，以說明雪粒等天氣類別。

半徑異常值去除（ROR）基于任何點的鄰域過濾掉噪聲。這對于激光雷達測量遠處物體來說就成了問題，因為點云變得自然稀疏。先進的方法通過根據感測距離動態調整閾值（動態半徑異常值去除（DROR））或考慮到點云中每個點的鄰居的平均距離（統計異常值去除）來解決這一問題。這兩種方法都表現出很高的運行時間，使得它們幾乎不適用于自動駕駛。快速聚類統計異常值去除（FCSOR）和動態統計異常值消除（DSOR）都提出了降低計算負載的方法，同時仍然從點云中去除天氣偽影。

路邊激光雷達的去噪方法依賴于歷史數據的背景模型（可用于固定路邊傳感器），結合經典去噪中使用的基本原理來識別動態點。[57]在強度閾值的幫助下從實際物體中過濾天氣噪聲。不幸的是，這并不容易適用于安裝在移動車輛上的激光雷達傳感器。

與經典的去噪方法相反，基于DL的激光雷達點云去噪之所以流行，是因為該模型能夠直接理解天氣噪聲的潛在結構：首先，基于卷積神經網絡（CNN）的模型已被用于有效的天氣去噪。使用時間數據進行區分進一步利用了特定于天氣的噪聲去除，因為自然地，天氣噪聲的變化頻率高于場景背景甚至場景內的對象。基于CNN的方法（尤其是基于體素的方法）在噪聲濾波方面優于經典的去噪方法。此外，由于GPU計算速度更快，它們的推理時間更低。

除了有監督的CNN方法之外，像CycleGANs這樣的無監督方法能夠將噪聲點云輸入轉化為清晰的激光雷達掃描。然而，它們的性質仍然很嘈雜，由此產生的點云很難就其真實性進行驗證。

05 魯棒的激光雷達感知

盡管在減少不利天氣帶來的領域轉移方面有著很好的努力，但有多種可能的方法可以使激光雷達感知模型在不利天氣條件下更加穩健，而與數據的質量和噪聲水平無關。這里有三個工作流程：利用傳感器融合，通過使用天氣特定噪聲的數據增強來增強訓練，或者針對域偏移的模型魯棒性的一般方法來補償性能下降。應該注意的是，除了物體檢測之外，傳感器融合方法是唯一解決多種感知任務的方法。據論文所知，沒有關于語義分割等其他感知任務的文獻。

利用傳感器融合應對惡劣天氣

通常可以說，自動駕駛傳感器組中的每個傳感器都有其優點和缺點。這種傳感器組中最常見的傳感器是RGB相機、雷達和激光雷達。如第一節所述，當遇到灰塵、雨、雪或霧等可見的空氣傳播顆粒時，激光雷達的感知會受到影響。相機對強光入射和光暈效果更敏感。反過來，雷達也不受兩者的影響，但缺乏檢測靜態物體和精細結構的能力。因此，它迫使自己融合不同的傳感器，以便在不同的環境條件下減輕它們各自的缺點，并促進魯棒的感知。

早期關于傳感器融合以對抗天氣對傳感器感知的不利影響的工作集中于開發穩健的數據關聯框架。最近的研究流利用基于DL的方法進行魯棒的多模態感知，并主要解決早期與晚期融合的問題，以在惡劣天氣條件下實現魯棒性。

選擇前還是后融合似乎取決于傳感器的選擇、數據表示和預期故障率。假設并非所有融合傳感器的退化程度相同，并且其中至少一個傳感器功能齊全，則后期融合似乎優于早期融合。在這種情況下，該模型能夠獨立處理傳感器流，它能夠依賴于工作的傳感器而忽略故障的傳感器。相反，雷達和激光雷達深度圖的早期融合有助于過濾錯誤檢測，以實現干凈的掃描。

數據表示是另一個部分有助于回答早期與晚期融合問題的因素。激光雷達傳感器的鳥瞰圖（BEV）通過提高obejct的可分辨性，極大地促進了物體檢測。因此，當激光雷達數據被破壞時，任何已經學會依賴于各自激光雷達特征的模型都將遭受性能損失。利用教師-學生網絡成功解決了傳感器的完全故障。

最終，一些傳感器融合方法依賴于將早期和晚期融合結合到一個模型中，并利用時間數據和基于區域的融合[72]或注意力圖[73]等概念。另一種可能性是[21]中提出的自適應、熵控制的融合。

除了預測性能外，在開發新的感知方法時還應考慮模型運行時間。[68]引入了一種新的度量，該度量將可驅動空間分割的預測性能與推理運行時相結合。有趣的是，僅使用激光雷達的模型在這一指標上得分最高。

毫無疑問，在惡劣的天氣條件下用未受影響的傳感器補償傳感器故障是很方便的。然而，通過努力改善在惡劣天氣條件下僅使用激光雷達的感知，自動駕駛等安全關鍵應用可以變得更加可靠。

通過數據增強增強訓練

雖然數據增強被廣泛用于DL訓練策略，但特別具有挑戰性的是特定天氣噪聲的產生。第二節介紹了在激光雷達點云中生成特定天氣噪聲的各種方法。在感知模型的訓練過程中利用數據增強是點云去噪的徑向方法，這已經在三中進行了討論。目的不是去除天氣引起的噪音，而是讓模型習慣于這種確切的噪音。已經證明，就魯棒性而言，天氣增強比去噪更有效，這為未來應該強調哪些研究方向提供了寶貴的提示。

一般來說，一些工作通過在任務3D目標檢測中評估這些數據來證明這種數據增強在訓練時的好處。

許多工作都涉及在惡劣天氣條件下為魯棒的激光雷達感知選擇最佳特征提取器的問題。基于點的和體素化方法似乎不太受增強天氣效應的影響，至少在物體檢測方面是這樣，這表明通過仔細選擇感知模型可以實現一定的魯棒性。此外，模型體系結構和惡劣天氣導致的點云損壞之間似乎存在交互作用。[4]中提出的濕地擴展只幫助了一些模型，表明射線散射引起的檢測問題或多或少是嚴重的，這取決于模型架構。

此外，物體的大小和形狀似乎在任何檢測模型的性能退化程度中發揮作用。這意味著，較小和代表性不足的類別（如STF數據集中的騎自行車的類別）比代表性較好的類別，如汽車和行人，更容易受到天氣增強的影響。因此，即使在不利的天氣條件下，（清晰的）訓練集中的注釋對象的數量也是對象檢測性能的良好指標。這表明，天氣增強訓練不僅有助于在晴朗的天氣條件下提高檢測性能，有趣的是，它似乎也起到了相反的作用。

魯棒感知算法

雖然具有互補傳感器的融合方法可以緩解每個傳感器因天氣原因導致的性能下降，但它們只能作為解決當前實際問題的方法。天氣條件的變化可以被視為領域轉移的一種特殊情況，因此，為彌合領域差距而開發的方法可以應用于天氣對天氣（如晴雨/霧/雪）的領域轉移。[77]全面概述了當前技術領域的自適應方法，但它們主要解決與不同傳感器分辨率或可用數據及其標簽相關的問題。

在[78]中，作者提出了數據集到數據集的域轉移，這間接包括天氣變化。他們采用師生設置進行物體檢測，其中教師接受Waymo Open（晴天）的培訓，為部分Waymo Open和部分Kirkland（雨天）生成標簽，學生接受所有標簽的培訓并應用于Kirkland。有趣的是，學生們似乎能更好地概括到目標領域，這表明他們能夠應對惡劣的天氣。然而，應該注意的是，領域差距并不局限于天氣條件之間的變化，傳感器分辨率和標簽策略等其他因素可能會掩蓋天氣造成的差距。

[79]的作者提出了一種魯棒的目標檢測流水線，包括注意力機制和全局上下文特征提取，使模型能夠忽略天氣引起的噪聲，同時理解整個場景。雖然他們的方法不能同時在兩個域（KITTI、晴天和CADC、雨天）上表現良好，但基于最大差異損失的聯合訓練產生了有希望的結果，并在源域和目標域上都表現出了高性能。在這里，同樣不清楚模型的哪些元素歸因于天氣條件本身的變化，因為數據集到數據集的變化似乎非常強烈。

[80]專注于緩解RGB相機和激光雷達因天氣原因導致的傳感器退化。盡管他們利用傳感器融合（源自[21]中提出的熵融合）以及兩個傳感器的數據增強，但他們的工作有力地促進了利用一組方法來彌合與多個未知目標域之間的差距，以進行目標檢測。他們通過引入領域鑒別器和通過預訓練策略進行自我監督學習來實現這一點。他們的結果表明，他們的多模態、多目標領域自適應方法能夠很好地推廣到例如霧場景。

06 討論和結論

在這篇調查論文中，本文概述了在惡劣天氣條件下基于激光雷達的自動駕駛環境感知的當前研究方向。論文深入分析和討論了用于深度學習算法的訓練數據的可用性、用于檢測天氣條件和對激光雷達掃描去噪的感知無關點云處理技術，以及魯棒激光雷達感知的最新方法。在下文將總結最有前景的研究方向，并找出剩余的差距。

不利天氣數據：有幾個自動駕駛數據集，包括激光雷達傳感器，同時涵蓋不利天氣條件。它們中的大多數都提供對象標簽，但只有一個具有逐點類標簽。顯然，需要合適的真實世界數據集來訓練和驗證越來越多的基于深度學習的激光雷達感知算法。一些工作采用特定于天氣的數據增強來模擬不利的天氣影響，然而，缺少一種評估生成的增強的真實性的方法。

點云處理和去噪：不同的激光雷達技術對惡劣天氣條件的反應不同。雖然對傳感器在惡劣天氣條件下的退化進行了深入研究，但對感知算法的影響缺乏系統分析。在這里，傳感器退化估計的方法將是有用的。此外，目前正在對云去噪進行研究，但現有的統計方法已被證明不如在訓練中使用天氣增強方法有效。現代方法，如基于CNN或GAN的方法，可能會彌合這一差距。

魯棒激光雷達感知：大量研究集中在借助傳感器融合緩解傳感器退化。雖然這產生了令人信服的結果，但在惡劣天氣條件下改善僅使用激光雷達的感知能力不應被忽視。復雜的域自適應方法（如異常檢測或不確定性建模）可能有助于解決這一問題。從不同的角度觀察激光雷達點云中天氣引起的噪聲的存在，可能會開啟彌合不利天氣條件帶來的領域差距的新研究流。調查這一領域差距的質量將提示通用領域適應方法的潛力。