在深度學習算法的應用中，高質量的數據是技術創新的關鍵驅動力，尤其在自動駕駛領域，獲取和標注3D感知數據的成本不菲，對于許多研究者和開發者來說都是一個重大挑戰。

為此，來自香港中文大學、香港科技大學和華為諾亞方舟實驗室的研究人員聯合提出了基于 Diffusion的3D自動駕駛數據生成方法MagicDrive。

通過多種3D幾何條件的細粒度控制，MagicDrive在生成高保真多相機街景圖像的同時，還能夠支持多種下游感知任務的訓練。

圖片

論文地址：https://arxiv.org/abs/2310.02601

項目主頁：https://gaoruiyuan.com/magicdrive/

Github: https://github.com/cure-lab/MagicDrive

MagicDrive多樣化生成數據

MagicDrive是一個突破性的解決方案利用可控生成技術合成自動駕環視相機視圖，生成更多樣化的自動駕駛數據，為自動駕駛場景仿真提供了新思路。

圖片

先來看一些MagicDrive的生成效果。

多視角下，前景和背景都能保持一致性：

圖片

可以一鍵轉雨天：

圖片

不止生成車，人、障礙物都能準確控制位置：

圖片

還可以一鍵轉夜晚：

圖片

物體位置可以實現細粒度控制：

關鍵問題：多種3D條件的編碼與注入

描述自動駕駛場景的條件是多維度的，包括：相機參數、物體框、路面地圖以及對場景屬性的語言描述（比如天氣和時間）。如何將如此復雜的場景信息同時作為條件指導生成，是3D自動駕駛街景數據合成的重點問題。

BEVGen[1]將3D幾何信息（路面和物體位置）都投影在BEV空間中，這會丟失全部高度信息，既無法控制物體高度/遮擋，也無法體現路面起伏；BEVControl[2]將3D幾何信息分別投影在相機視圖中，對于沒有高度信息的路面地圖而言，投影本身就是一個欠定義的問題，而且這種做法丟失了深度信息，同樣無法準確控制遮擋。

圖片

3D幾何信息與不同2D投影（相機投影/BEV）控制的比較

MagicDrive在完整考慮這些控制條件的基礎上，首次實現3D幾何的直接控制。MagicDrive結合Diffusion Model進行條件生成的優勢，根據每個控制條件的形式，采用不同的方法對生成進行控制。

圖片

MagicDrive的方法框架

具體來說，對于場景級別的信息（語言描述和相機參數）和物體框信息，由于他們具有可變長的性質，MagicDrive先使用不同的編碼器講輸入數據編碼成嵌入序列，然后使用交叉注意力模塊控制圖像生成過程；

對于路面地圖信息，BEV能夠很好地將路面表示成圖像的形式，因此，使用類似ControlNet[3]的額外編碼器分支，就能夠讓生成遵循路面地圖的條件。

刪繁就簡：不同視角的一致性生成

多視角一致性是3D場景相機視圖生成的另一個重要要求。此前，已經有一些工作探索了室內場景中的多視角一致性約束方法，例如：MVDiffusion[5]和[6]，但室內場景通常視角之間重疊較大，因此他們借助了不同的幾何先驗來限制視角之間的關系。

對于自動駕駛場景，不同相機之間重疊程度是有限的，因此并不需要過強的幾何約束。相反，在幾何條件足夠的情況下（即不同視角已經有獨立的幾何條件信息），只需要讓不同視角的生成過程有信息交互，就能夠保證前景和背景的一致生成。

因此MagicDrive提出cross-view attention模塊，用于在各個視角的生成過程中與左右相鄰視角交換信息，確保了從多個視角看到的前景和背景是一致的，這大大提高了數據的真實性與可靠性。

圖片

Corss-view attention 模塊控制多視角的一致性

生成效果：在多個下游任務上提升明顯

用以真實圖像訓練的感知模型評價生成模型產生的圖片，MagicDrive不僅可以在BEV分割任務上超過baseline，并且能夠直接支持3D物體檢測任務，體現出優越的生成效果。

MagicDrive生成的圖片還可以直接用于數據增強，支持BEV分割和3D物體檢測任務，提升BEVFusion[6]和CVT[7]的性能。

除此之外，MagicDrive的多條件控制還可以實現場景、背景和前景的多層次街景圖像編輯，用來生成更多的新街景圖像。

更多評價結果與討論請參考原論文。

總結

總的來說，MagicDrive帶給我們一個全新的、高效的數據生成途徑。不僅成功解決了之街景生成中的3D幾何控制問題，而且提供了一種全新的方法，利用細粒度可控生成技術為3D自動駕駛產生訓練數據，生成數據的質量和真實性向自動駕駛的感知技術注入了新的活力。

參考資料：

[1] Alexander Swerdlow, Runsheng Xu, and Bolei Zhou. Street-view image generation from a bird’seye view layout. arXiv preprint arXiv:2301.04634, 2023. 

[2] Kairui Yang, Enhui Ma, Jibin Peng, Qing Guo, Di Lin, and Kaicheng Yu. Bevcontrol: Accurately controlling street-view elements with multi-perspective consistency via bev sketch layout. arXiv preprint arXiv:2308.01661, 2023. 

[3] Lvmin Zhang, Anyi Rao, and Maneesh Agrawala. Adding conditional control to text-to-image diffusion models. In ICCV, 2023. 

[4] Shitao Tang, Fuyang Zhang, Jiacheng Chen, Peng Wang, and Yasutaka Furukawa. Mvdiffusion: Enabling holistic multi-view image generation with correspondence-aware diffusion. arXiv preprint arXiv:2307.01097, 2023. 

[5] Hung-Yu Tseng, Qinbo Li, Changil Kim, Suhib Alsisan, Jia-Bin Huang, and Johannes Kopf. Consistent view synthesis with pose-guided diffusion models. In CVPR, 2023. 

[6] Zhijian Liu, Haotian Tang, Alexander Amini, Xingyu Yang, Huizi Mao, Daniela Rus, and Song Han. Bevfusion: Multi-task multi-sensor fusion with unified bird’s-eye view representation. In ICRA, 2023. 

[7] Brady Zhou and Philipp Kr¨ahenb¨uhl. Cross-view transformers for real-time map-view semantic segmentation. In CVPR, 2022.