本文經(jīng)自動駕駛之心公眾號授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

筆者的個人理解

雖然擴(kuò)散模型在2D數(shù)據(jù)合成上已有很大進(jìn)展，但如何使用擴(kuò)散模型生成街景圖像用于圖像增強并沒有很好的實現(xiàn)，當(dāng)前已有工作通過2D bbox和segment作為條件，如何拓展到相機位姿（embedding），道路地圖（embedding）和3D邊界框（embedding）及場景描述（文本）作為控制條件呢？這將對BEV和3D任務(wù)有很大幫助。

MagicDrive主要思路是啥？

最近在擴(kuò)散模型方面的進(jìn)展顯著提升了與2D控制相關(guān)的數(shù)據(jù)合成。然而,在街景生成中精確的3D控制對于3D感知任務(wù)至關(guān)重要,但仍然難以實現(xiàn)。將鳥瞰圖（BEV）作為主要條件通常會導(dǎo)致在幾何控制方面（例如高度）出現(xiàn)挑戰(zhàn),從而影響目標(biāo)形狀、遮擋模式和道路表面高程的表示,所有這些對于感知數(shù)據(jù)合成尤為重要,特別是對于3D目標(biāo)檢測任務(wù)而言。MagicDrive是一種新穎的街景生成框架,提供多樣化的3D幾何控制,包括相機位姿、道路地圖和3D邊界框,以及通過量身定制的編碼策略實現(xiàn)的文本描述。此外還包括一個跨視圖注意力模塊,確保在多個攝像機視圖之間保持一致性。通過MAGICDRIVE實現(xiàn)了高保真的街景合成,捕捉到微妙的3D幾何和各種場景描述,從而增強了諸如BEV分割和3D目標(biāo)檢測等任務(wù)。

領(lǐng)域目前的工作

條件生成的擴(kuò)散模型。 擴(kuò)散模型通過學(xué)習(xí)從高斯噪聲分布到圖像分布的漸進(jìn)去噪過程生成圖像。由于它們在處理各種形式的控制和多種條件方面的適應(yīng)性和能力,這些模型在各種任務(wù)中表現(xiàn)出色,如文本到圖像的合成,修復(fù)以及指導(dǎo)性圖像編輯。此外,從幾何標(biāo)注中合成的數(shù)據(jù)可以幫助下游任務(wù),如2D目標(biāo)檢測。因此,本文探討了text-to-image (T2I)擴(kuò)散模型在生成街景圖像并惠及下游3D感知模型方面的潛力。

街景生成。 許多街景生成模型以2D布局為條件,如2D邊界框和語義分割。這些方法利用與圖像比例直接對應(yīng)的2D布局信息,而3D信息則不具備這種特性,因此使得這些方法不適用于利用3D信息進(jìn)行生成。對于帶有3D幾何的街景合成,BEVGen是第一個進(jìn)行嘗試的。它使用BEV地圖作為道路和車輛的條件。然而,省略高度信息限制了它在3D目標(biāo)檢測中的應(yīng)用。BEVControl通過高度提升過程修正了目標(biāo)高度的損失,但是從3D到2D的投影導(dǎo)致了關(guān)鍵的3D幾何信息的喪失,如深度和遮擋。因此,它們都沒有充分利用3D標(biāo)注,也不能利用對駕駛場景的文本控制。MagicDrive提出分別對邊界框和道路地圖進(jìn)行編碼,以實現(xiàn)更為微妙的控制,并整合場景描述,提供對街景生成的增強控制。

3D場景的多攝像機圖像生成 基本上需要視角一致性。在室內(nèi)場景的背景下,一些研究已經(jīng)解決了這個問題。例如,MVDiffusion使用全景圖像和交叉視圖注意力模塊來保持全局一致性,而pose-guided diffusion則利用極線幾何作為約束先驗。然而,這些方法主要依賴于圖像視圖的連續(xù)性,而在街景中并不總是滿足,因為攝像機重疊有限。MAGICDRIVE在UNet中引入了額外的跨視圖注意力模塊,顯著增強了跨多攝像機視圖的一致性。

MagicDrive的優(yōu)勢有哪些？

盡管MAGICDRIVE框架非常簡單,但在生成與道路地圖、3D邊界框和多樣化攝像機視角相一致的逼真圖像方面表現(xiàn)出色。此外,生成的圖像可以增強對3D目標(biāo)檢測和BEV分割任務(wù)的訓(xùn)練。MAGICDRIVE在場景、背景和前景層面提供了全面的幾何控制。這種靈活性使其能夠創(chuàng)造出以前未曾見過的適用于仿真目的的街景視圖。總結(jié)本工作的主要貢獻(xiàn)如下：

• 引入了MAGICDRIVE,這是一個創(chuàng)新的框架,生成基于BEV和為自動駕駛量身定制的3D數(shù)據(jù)的多透視攝像機視圖。
• 開發(fā)了簡單而強大的策略,有效應(yīng)對多攝像機視圖一致性的挑戰(zhàn),對3D幾何數(shù)據(jù)進(jìn)行管理。
• 通過嚴(yán)格的實驗證明,MAGICDRIVE在先前的街景生成技術(shù)方面表現(xiàn)出色,尤其是在多維度可控性方面。此外結(jié)果顯示,合成數(shù)據(jù)在3D感知任務(wù)中帶來了顯著的改進(jìn)。

方法設(shè)計

問題表述

將激光雷達(dá)系統(tǒng)的坐標(biāo)視為主車的坐標(biāo),并根據(jù)它參數(shù)化所有幾何信息。設(shè)  是對主車周圍駕駛場景的描述,, 其中  是表示 BEV 中  米道路區(qū)域的二值圖,具有  個語義類別, 對于場景中的每個目標(biāo),  表示 3D 邊界框位置  和類別 ,  是描述場景附加信息的文本（例如,天氣和一天中的時間）。給定一個相機位姿 , 街景圖像生成的目標(biāo)是學(xué)習(xí)一個生成器  合成真實圖像  對應(yīng)場景 和相機位姿 下, , 其中  是服從隨機高斯分布.

條件擴(kuò)散模型。 擴(kuò)散模型通過迭代次隨機高斯噪聲的去噪過程來生成圖像 。通常為了學(xué)習(xí)去噪過程, 網(wǎng)絡(luò)被訓(xùn)練為通過最小化均方誤差來預(yù)測噪聲:

其中  是要訓(xùn)練的網(wǎng)絡(luò), 參數(shù) 是可選的條件用于條件生成,  是時間步長,  是加性高斯噪聲,并且 是標(biāo)量參數(shù). Latent diffusion models (LDM) 是特殊的一種擴(kuò)散模型, 這類模型初始化一個預(yù)訓(xùn)練的Vector Quantized Variational AutoEncoder (VQVAE,矢量量化變分自動編碼器)并在隱空間執(zhí)行擴(kuò)散過程. 給定一個VQ-VAE編碼器 , 在LDM中,可以把重寫為。此外,LDM 將描述圖像的文本視為條件.

具有 3D 信息的街景生成

幾何條件編碼

如圖所示,采用兩種策略將信息注入到擴(kuò)散模型的 UNet 中：交叉注意力和加性編碼器分支。鑒于注意力機制是針對順序數(shù)據(jù)量身定制的,交叉注意力適用于管理可變長度輸入,例如文本標(biāo)記和邊界框。相反,對于網(wǎng)格狀數(shù)據(jù),例如道路地圖,加法編碼器分支在信息注入方面是有效的。因此,MAGICDRIVE 針對各種情況采用不同的編碼模塊。

Scene-level Encoding 包含相機位姿 , 和文本序列. 對于文本來說, 對于文本,使用模板構(gòu)建提示：“在 {location} 的駕駛場景圖像。{description} ”,并利用預(yù)訓(xùn)練的 CLIP 文本編碼器 作為 LDM. 對于相機姿態(tài),首先將每個參數(shù)按其列連接起來,得到. 由于  包含來自 sin/cos 函數(shù)的值以及 3D 偏移,為了讓模型有效地解釋這些高頻變化,將傅立葉embedding應(yīng)用于每個 3 維向量,然后再利用多層感知（MLP、Ecam）來embedding相機位姿參數(shù), 為了保持一致性,本文將  的維度設(shè)置為與  相同。通過 CLIP 文本編碼器,每個embedding  的文本已經(jīng)包含位置信息。因此將相機姿勢embedding  添加到文本embedding之前,從而產(chǎn)生場景級embedding .

3D 邊界框編碼。 由于每個駕駛場景都有不同長度的邊界框,因此通過類似于場景級信息的交叉注意機制注入它們。具體來說,將每個框編碼為隱藏向量 ,其維度與  相同。每個 3D 邊界框  包含兩種類型的信息：類標(biāo)簽  和框位置 。對于類別標(biāo)簽, 類別名稱  的池化向量被視為標(biāo)簽embedding。對于框位置 ,由其 8 個角點的坐標(biāo)表示,對每個點使用傅里葉embedding,并通過 MLP 進(jìn)行編碼。然后使用 MLP 將類和位置向量壓縮到一個隱藏向量中。每個場景的所有邊界框的最終隱狀態(tài)表示為 ,其中  是bbox的數(shù)量。

理想情況下,模型通過訓(xùn)練學(xué)習(xí)邊界框和相機姿態(tài)之間的幾何關(guān)系。然而,不同視圖的可見框數(shù)量的分布是長尾的。因此通過過濾每個視圖  的可見目標(biāo)來引導(dǎo)學(xué)習(xí)。此外還添加了不可見的框進(jìn)行增強。

Road Map編碼. 地圖是2D網(wǎng)格的形式. 已有工作表明addictive編碼器可以將此類數(shù)據(jù)納入  指導(dǎo),地圖的 BEV 和相機的第一人稱視角 (FPV) 之間固有的視角差異會產(chǎn)生差異。BEVControl采用反投影從 BEV 轉(zhuǎn)換為 FPV,但由于不適定問題而使情況變得復(fù)雜。在 MAGICDRIVE 中, 提出顯式視圖變換是不必要的,因為足夠的 3D 線索（例如,距目標(biāo)框的高度和相機姿勢）允許addictive編碼器完成視圖變換。具體來說, 將場景級和 3D 邊界框嵌入集成到地圖編碼器中。場景級嵌入提供相機姿勢,框嵌入提供道路高程提示。此外,合并文本描述有助于在不同條件下生成道路（例如,天氣和一天中的時間）。因此,地圖編碼器可以與其他條件協(xié)同生成。

跨視角attention模塊

在多攝像機視圖生成中，圖像合成在不同視角之間保持一致至關(guān)重要。為了保持一致性，引入了跨視圖注意模塊。考慮到駕駛環(huán)境中攝像頭的稀疏排列，每個交叉視圖注意力都允許目標(biāo)視圖從其直接左視圖和右視圖訪問信息；其中，、和分別是目標(biāo)視圖、左視圖和右視圖。然后目標(biāo)視圖通過跳躍連接聚合此類信息， 表示目標(biāo)視圖的隱狀態(tài)。

在 UNet 中的交叉注意模塊之后注入交叉視圖注意，并應(yīng)用零初始化來引導(dǎo)優(yōu)化。UNet 的多層結(jié)構(gòu)使得能夠在多個堆疊塊之后聚合來自遠(yuǎn)程視圖的信息。因此，對相鄰視圖使用跨視圖注意力足以保證多視圖一致性。

模型訓(xùn)練

Classifier-free Guidance 增強了條件指導(dǎo)的影響。為了有效的 CFG，模型需要在訓(xùn)練過程中偶爾丟棄條件。鑒于每種條件的獨特性，對于多種條件應(yīng)用丟棄策略是復(fù)雜的。因此，MAGICDRIVE 通過以  的速率同時刪除場景級條件（相機姿勢和文本嵌入），簡化了四種條件。對于在編碼中具有 null 語義表示的框和地圖（即，框中的填充標(biāo)記和映射中的 0），在整個訓(xùn)練過程中維護(hù)它們。在推理時，對所有條件都使用 null，從而實現(xiàn)有意義的放大來指導(dǎo)生成。

訓(xùn)練目標(biāo)和增強 將所有條件作為輸入注入后，訓(xùn)練目標(biāo)調(diào)整為多條件場景。

此外，在訓(xùn)練 MAGICDRIVE 時強調(diào)兩個基本策略。首先，為了抵消對可見框的過濾，本文隨機添加  不可見框作為增強，增強模型的幾何變換能力。其次，為了利用跨視圖注意力，促進(jìn)跨多個視圖的信息共享，在每個訓(xùn)練步驟中將獨特的噪聲應(yīng)用于不同的視圖，從而防止損失出現(xiàn)局部解（例如，跨不同視圖輸出共享組件）。相同的隨機噪聲專門用于推理。

實驗對比一覽

實驗設(shè)置

數(shù)據(jù)集和基線。 選擇nuScenes數(shù)據(jù)集作為MAGICDRIVE的測試基礎(chǔ)，這是一個在駕駛中用于BEV分割和檢測的常見數(shù)據(jù)集。遵循官方配置，使用700個街景場景進(jìn)行訓(xùn)練，150個進(jìn)行驗證。基線是BEVGen和BEVControl，它們都是最近提出的街景生成方法。方法考慮了10個目標(biāo)類別和8個道路類別，多樣性方面超過了基線模型。

評估指標(biāo)。 評估街景生成的逼真度和可控性。逼真度主要使用Frechet Inception Distance（FID）進(jìn)行測量，反映圖像合成質(zhì)量。對于可控性，通過兩個感知任務(wù)對MAGICDRIVE進(jìn)行評估：BEV分割和3D目標(biāo)檢測，分別使用CVT和BEVFusion作為感知模型。它們在每個任務(wù)中的性能都很出色。首先，生成與驗證集注釋對齊的圖像，并使用在真實數(shù)據(jù)上預(yù)訓(xùn)練的感知模型評估圖像質(zhì)量和控制精度。然后，基于訓(xùn)練集生成數(shù)據(jù)，以檢查對訓(xùn)練感知模型的支持作為數(shù)據(jù)增強。

可控階段具體怎么用？ 條件來自驗證集，基于訓(xùn)練集生成數(shù)據(jù)作為訓(xùn)練模型的數(shù)據(jù)增強；

模型設(shè)置。MAGICDRIVE使用來自Stable Diffusion v1.5的預(yù)訓(xùn)練權(quán)重，僅訓(xùn)練新增的參數(shù)。根據(jù)Zhang等人的說法，為Emap創(chuàng)建了一個可訓(xùn)練的UNet編碼器。新參數(shù)，除了零初始化模塊和類令牌之外，都是隨機初始化的。采用兩個分辨率來協(xié)調(diào)感知任務(wù)和基線之間的差異：224×400（0.25×下采樣），遵循BEVGen和CVT模型支持，并且更高的272×736（0.5×下采樣）用于BEVFusion的支持。除非另有說明，圖像使用UniPC調(diào)度程序進(jìn)行20步采樣，CFG設(shè)置為2.0。

Main Results

MAGICDRIVE的潛力與優(yōu)勢

MAGICDRIVE對高質(zhì)量多攝像機街景生成進(jìn)行多重幾何控制的編碼。通過分離編碼設(shè)計，MAGICDRIVE充分利用來自3D標(biāo)注的幾何信息，并實現(xiàn)對街景的準(zhǔn)確語義控制。此外，所提出的跨視圖注意力模塊簡單而有效，確保了在多攝像機視圖之間的一致性。正如實驗證明的那樣，MAGICDRIVE生成的圖像表現(xiàn)出對3D標(biāo)注的高逼真度和保真度。多重控制使MAGICDRIVE在生成新的街景時具有更強的泛化能力。與此同時，MAGICDRIVE可用于數(shù)據(jù)增強，有助于在BEV分割和3D目標(biāo)檢測任務(wù)上對感知模型進(jìn)行訓(xùn)練。

限制與未來工作。盡管MAGICDRIVE可以生成夜間視圖，但它們不如真實圖像那么暗。這可能是因為擴(kuò)散模型難以生成過于黑暗的圖像。MAGICDRIVE無法為nuScenes生成未見過的天氣情況。未來的工作可能集中在如何提高街景生成的跨領(lǐng)域泛化能力上。

原文鏈接：https://mp.weixin.qq.com/s/0LykWSIi-T12L3cPaRvTTQ