日前，伯克利發布了迄今***、最多樣化的帶有豐富注釋的駕駛視頻數據集 BDD100K。大家可以訪問 http://bdd-data.berkeley.edu 獲取該數據集。同時，他們也在 arXiv 上發布了關于該數據集的報告，大家也可以利用該數據集參加他們主辦的的 CVPR 2018 挑戰賽。

關于該數據集的詳細信息整理如下：

自動駕駛將隨時改變社區中人們的生活方式。然而，最近發生的一系列事故表明，當在真實世界使用駕駛系統時，尚不清楚這種人造感知系統如何避免看起來非常明顯的錯誤。

作為計算機視覺研究人員，我們對探索自動駕駛的前沿感知算法非常感興趣，我們想讓自動駕駛更加安全。為了設計和測試具有潛力的算法，我們想要利用真實駕駛平臺收集的數據信息。這種數據有四個主要特性：大規模、多樣性、在道路上收集、具備時間信息。

數據多樣性對測試感知算法的魯棒性尤為重要。然而，當前的開放數據集并不能涵蓋到上面描述的所有屬性。因此，在 Nexar 的幫助下，我們發布了 BDD100K 數據集，這是迄今為止計算機視覺研究中***、最多樣化的開放駕駛視頻數據集。

從該數據集的名字 BDD100K 就可以猜到它有多大，這一數據集包含 10 萬段視頻。每段視頻時長大約為 40 秒，格式為 720p、30 fps。視頻中還包括手機記錄的 GPS/IMU 信息，可以顯示出大致的駕駛軌跡。這些視頻是在美國不同地方收集的，如下圖所示。

圖：視頻采集點

數據集中有很多不同天氣，包括晴天、陰天和雨天，還有一天中的不同時間段，如白天和夜晚。下表總結了與之前數據集的比較，可以看到這一數據集更大、更多樣。

圖：與其他道路場景數據集的對比

這些視頻和視頻中的軌跡對于駕駛策略的模仿學習很有用，正如我們 CVPR2017 的一篇的論文所示。為了助于在大數據集上進行計算機視覺研究，我們也在視頻關鍵幀上提供基本注釋，大家可以在 http://bdd-data.berkeley.edu下載數據和注釋。

注釋

我們在每段視頻的第 10 秒進行關鍵幀采樣，并為這些關鍵幀加上注釋。主要有這些標記：圖像標簽、道路對象邊界框、可駕駛區域、車道標記和全幀實例分割。這些注釋將幫助我們理解不同類別場景中數據和對象統計信息的多樣性。我們將在另一篇博文中討論標注過程。

大家可以在這篇文章中看到更多關于注釋的信息。

圖：注釋概覽

道路目標檢測

我們為這 10 萬個關鍵幀中經常出現在道路上的對象標上邊界框，以了解對象的分布及其位置。下面的條形圖顯示了對象數目。也有其他處理注釋中統計信息的方法。例如，我們可以比較不同天氣條件或不同場景下的對象數目。這張圖還顯示了數據集中的不同對象集以及數據集的規模——超過 100 萬輛汽車。提醒下大家，這些是具有不同的外觀和環境背景的物體。

圖：不同類型對象的統計信息

這一數據集也適用于某些特定領域的研究。例如，如果你對在街道上檢測和避免行人感興趣，那么你也可以研究這一數據集，因為它包含了比之前的專業數據集更多的行人實例，如下表所示。

圖：與其他行人數據集在訓練集上的比較

車道標記

車道標記是對司機重要的道路指示。當 GPS 或地圖沒有準確全面覆蓋時，它們也是自動駕駛系統把握駕駛方向和定位的關鍵線索。我們根據車道標記指示的不同將其劃分為兩種類型：垂直車道標記 (在下圖中用紅色表示) 表示沿著車道行駛方向的標記，平行車道標記 (在下圖中用藍色表示) 表示需要停車。我們還提供了一些屬性，例如 solid vs. dashed、 double vs. single。

下面是與現有車道標記數據集的比較。

可駕駛區域

是否能在道路上行駛不僅取決于車道標記和交通設施，還依賴與道路上其他對象間的復雜交互。***，重要的是能知道哪些區域可以駕駛。為了研究這一問題，我們還提供了可駕駛區域的分割注釋，如下圖所示。我們基于車輛的軌跡將可駕駛區域分為兩類：可駕駛和選擇性駕駛。可駕駛用紅色標記，意味著車輛享有道路優先權，可以在那個區域駕駛。選擇性駕駛用藍色標記，意味著汽車可以在該地區行駛，但必須謹慎，因為該車輛在這條道路上不具有道路優先權。

全幀分割

Cityscapes 數據集顯示，全幀精細實例分割可以大大支持預測和目標檢測研究。由于這次公開的視頻在不同領域，我們提供了實例分割注釋，也通過不同的數據集來比較相關的域轉移。要實現像素級分割非常昂貴和費力，幸運的是，我們自己的標簽工具可以將標簽成本降低 50%。***，我們對這 10K 圖像集的一個子集進行全幀分割。為了更易研究數據集之間的域轉移，我們的標簽集與 Cityscapes 中的訓練注釋可兼容。

自動駕駛挑戰賽

基于這一數據集，我們在 CVPR 2018 自動駕駛研討會上主辦了三個挑戰賽：道路目標檢測、可駕駛區域預測和語義分割域適應。檢測任務要求算法找出測試圖像中所有的目標對象，可駕駛區域預測需要分割出汽車可以行駛的區域。在域適應挑戰上，測試數據是在中國采集的，因此，這非常挑戰，基于來自美國的數據訓練的模型需要能用于北京擁擠的街道。大家可以登錄如下網站提交結果：

http://bdd-data.berkeley.edu/login.html