全球首發！總結七十余種開源數據集，一覽自動駕駛開源數據體系
本文經自動駕駛之心公眾號授權轉載，轉載請聯系出處。
基于數據驅動的各類深度學習模型任務，近年來隨著數據集規模的不斷擴大，性能逐漸被提升，國內外各大自動駕駛公司都在不斷建立自己的數據庫，以及數據閉環系統，期待數據的豐富能夠解決下半場自動駕駛問題，那么如何構建數據集？如何搭建自己的數據閉環系統解決長尾等各類問題呢？
現有自動駕駛數據集可大致分為兩代，第一代數據集的傳感模態復雜度相對較低、數據集規 模相對較小，且大多局限于感知級任務，第一代數據集以發布于 2012 年的 KITTI 為代表。相比于第一代數據集，第二代數據集的特征為傳感模態復雜度較高、數據集規模與多樣性較豐富、所設置任務從感知擴展到預測、規控上，第二代數據集以 2019 年前后提出的 nuScenes、Waymo 為代表。
《自動駕駛開源數據體系：現狀與未來》是由上海人工智能實驗室牽頭，上海交大、復旦大學、百度、比亞迪、蔚來等多個單位參與合作，期望促進新一代自動駕駛數據集與生態體系的建設、推動關鍵領域自主原創與科技自強的發展。該工作聯合學術界、產業界同仁，首次系統性梳理了國內外七十余種開源自動駕駛數據集，并就未來第三代自動駕駛數據集應該具備的特質和數據規模，以及需解決的科學與技術問題，進行了詳細分析與討論。
論文地址：https://opendrivelab.com/Dataset_Survey_Chinese.pdf
項目地址：https://github.com/OpenDriveLab/DriveAGI
概要解讀
作為人工智能重要應用領域之一，自動駕駛有望重塑現有的交通和運輸模式，大大提高交通效率和安全性，深刻影響著未來的城市和社會發展。現如今，我國智能網聯汽車產業邁入了商業化的試水和起步階段。道路測試和示范應 用場景趨于成熟，自動駕駛功能技術加速迭代，車聯網應用場景日益豐富，各層面相關法規政策加速出臺，共同推動市場進入高速發展期。
自動駕駛技術需要大量數據來訓練算法模型，以識別和理解道路環境，從而做出正確的決策和行動，實現準確、穩定和安全的駕駛體驗，數據的建設對于自動駕駛技術的發展至關重要！以特斯拉為例，特斯拉所積累的海量數據和駕駛場景是保持其算法優 勢的重要原因。另一方面，自然語言處理和通用視覺領域大模型的出現，更加印證了海量高質量數據的重要性，給予自動駕駛的數據集建設以啟發！
圖 1 展示了文章主要內容與組織架構。
第二章從自動駕駛任務側，將數據集分為感知類、建圖類、預測與規劃類數據集，分別介紹各種類型數據集現狀及發展，并圍繞社區生態以及相關國際賽事展開數據集影響力方面的討論。第三章面向數據算法閉環體系，對比多家商業解決方案，針對數 據算法閉環中數據標注與質量把控、仿真技術、基于大模型的數據生成以及自動標注技術環節進行 闡述。第四章就新一代數據集應有的特性進行展望
自動駕駛數據集
自KITTI發布以來，后面的數據集傳感器模態復雜度逐漸提高，數據集規模與多樣性日益增長，任務也從感知延伸至預測與規劃！本文統計 2012 年至今近百種數據集，整體上從圖 2 看出共 14 個數據集存在 較高影響力，其中 KITTI、nuScenes、Waymo 這三個數據集影響力估計值處在第一梯隊！
傳感器模態復雜度逐漸提高：環視相機，激光雷達，高精地圖，超聲波雷達傳感器，GPS、IMU、HD Map等；數據集規模與多樣性日益增長：主流自動駕駛數據集的 采集時長由最初的10小時左右逐漸提升至100小時，隨著自動標注技術及標注工具的演進，近些年也出現了超過 1000 小時的數據集 。除了數據豐富度，駕駛場景的多樣性是自動駕駛系統表 現的另一關鍵因素。為了提高算法在特定場景下的表現能力，Reasonable Crowd數據集采集了 多個季節和極端天氣下人車混行的復雜場景。為增強算法在不同地域的范化能力，Mapillary等數據集分別在多個大洲多個城市進行采集。任務多樣化：2019 年的 nuScenes、Waymo、Argoverse V2等數據集，不僅包括感知任務還涵蓋預測與規劃任務，實現了在同一數據集上進行多種任務研究！
圖 2 以數據集發布時間為橫軸、數據集影響力估計值為縱軸，定性展示了主要公開數據集的情況。
從自動駕駛國內外挑戰賽與榜單可以看出，近幾年的賽題不再局限于感知類任務，正逐步朝感知決策一體化、端到端、大模型等方向發展；模型評測的設置從單一的比較分數高低，到多元化、創新性的評價。在未來自動駕駛比賽中，覆蓋 自動駕駛系統全鏈路的賽題會更加受研究人員青睞。
自動駕駛比賽與榜單在推動社區發展有至關重要的作用。測試服務器與榜單為廣大研究者提供了一個公平比較模型結果的平臺，同時讓研究人員在榜單及時公開模型細節與代碼。在一些較為活躍的榜單上，幾乎每個月都能觀察到榜首位置的迭代。而舉辦比賽與維護榜單需要主辦方等多方面 的共同努力，如提供數據下載途徑、基準模型準備、測試服務器維護。
數據算法閉環體系
對于自動駕駛的各個模塊來說，海量和高質量的數據是確保性能的必要條件。自動駕駛工程中一個一直存在的問題是長尾問題。其產生原因在于訓練模型是數據量不足而導致存在少量情況未被模型學習，而在模型推理階段，模型 并不能對這些時而出現的邊緣場景給出正確的結果。另外，對于基于規則的模塊，現有的方式是通過人工設計各種規則來使模塊輸出符合人為設計邏輯的結果。這個方法耗時耗力，并且難以覆蓋所有情況，有可能導致自動駕駛系統在某些情況是下失效。而使用數據驅動的神經網絡代替這些模塊是一個可能的解決方案。
海量數據的引入對于解決現存自動駕駛系統中的各種問題都很有必要。同時，在神經網絡學習過程中，數據噪聲的引入會不可避免地對優化過程產生負面影響，并降低模型性能。數據質量不僅包括傳感器數據的分辨率和同時性等，還包括標簽的準確性。在這兩個方面中，任意一個方面存在質量問題都直接影響著自動駕駛系統的性能和安全性。由此，海量和高質量的數據成為構建自動駕駛系統必不可少的一個環節。
新一代自動駕駛數據集
數據規模的增大能夠顯著提升模型性能，但當數據量達到一定程度之后，模型性能增長趨于平緩。并且，自動駕駛車輛在真實世界中會不可避免地遇到訓練數據之外的場景。因此，大規模地應用自動駕駛技術必然要求模型能夠在罕見場景中做出正確行為，避免發生危險或功能失效的情況。由此看來，在自動駕駛領域我們并不需要一味地去擴充數據量。對于絕大多數交通場景來說，并不需要十分大量的數據就能夠覆蓋。而更需要關注的是長尾場景，由于某些交通場景十分罕見，如撞車等，數據的缺失會對自動駕駛系統的性能影響巨大。總的來說，在保證數據數量的前提下，場景豐富度對算法性能更為重要。
第一、二代自動駕駛數據集已經不能夠繼續滿足自動駕駛系統的發展需求，新一代數據集的建設亟待提上日程。在大模型蓬勃發展的背景下，大數據成為新一代數據集不可缺少的一個特點。同時，模塊化設計的自動駕駛系統在落地過程遇到迭代成本高、性能上界受限等問題，端到端自動駕駛架構逐步受到業界的青睞。除此之外，多模態傳感器、高質量標注、模型邏輯推理能力等方面也需要得到重視。新一代數據集應該更側重于：
- 面向多模態、保質保量；
- 面向端到端、決策導向；
- 面向智能化、邏輯推理；
結論
這篇綜述詳細評述了自動駕駛公開數據集的現狀與挑戰。針對數據算法閉環體系，結合當前大模型發展趨勢，提出了下一代自動駕駛數據集的愿景與規劃。系統性地總結了自動駕駛發展歷程中所使用的數據集，展示了通過挑戰賽與榜單促進社區發展的重要性。概括性地分析了自動駕駛數據算法閉環體系，并總結其中各個重要環節的作用，最后通過應用案例展現對數據算法閉環體系的使用方法。
