論文鏈接：https://arxiv.org/pdf/2404.07949.pdf

工程鏈接：https://chengzhag.github.io/publication/panfusion

生成模型，例如Stable Diffusion模型，已經(jīng)使從文本prompt生成逼真圖像成為可能。然而，從文本生成360度全景圖仍然是一項(xiàng)挑戰(zhàn)，特別是由于缺乏成對(duì)的文本-全景數(shù)據(jù)和全景與透視圖之間的領(lǐng)域差異。本文介紹了一種名為PanFusion的新型雙分支擴(kuò)散模型，用于從文本prompt生成360度圖像。本文利用Stable Diffusion模型作為一個(gè)分支，以提供自然圖像生成的先驗(yàn)知識(shí)，并將其與另一個(gè)全景分支注冊(cè)，以進(jìn)行整體圖像生成。本文提出了一種具有投影意識(shí)的獨(dú)特交叉注意力機(jī)制，以在協(xié)作去噪過(guò)程中最小化失真。實(shí)驗(yàn)驗(yàn)證了PanFusion超越現(xiàn)有方法，并且得益于其雙分支結(jié)構(gòu)，可以集成額外的約束，如房間布局，以定制全景輸出。

部分成果展示

介紹

從文本prompt創(chuàng)建360度全景圖像是計(jì)算機(jī)視覺中一個(gè)新興但至關(guān)重要的前沿領(lǐng)域，對(duì)于需要廣泛環(huán)境表征的應(yīng)用具有深遠(yuǎn)的意義，例如環(huán)境照明、虛擬現(xiàn)實(shí)/增強(qiáng)現(xiàn)實(shí)、自動(dòng)駕駛和視覺導(dǎo)航。盡管在文本到圖像的合成方面取得了重大進(jìn)展，但要實(shí)現(xiàn)生成完整的360度水平和180度垂直視場(chǎng)（FOV）的全景圖仍然具有挑戰(zhàn)性。

實(shí)現(xiàn)這一目標(biāo)面臨兩大主要障礙。第一個(gè)障礙是數(shù)據(jù)稀缺。與眾多的文本到常規(guī)圖像對(duì)比，文本到全景圖像對(duì)的可用性顯著較少。數(shù)據(jù)的匱乏使得生成模型的訓(xùn)練和finetuning變得復(fù)雜。第二個(gè)障礙在于幾何和領(lǐng)域的變化。全景圖像不僅在它們的長(zhǎng)寬比（2:1）上有所不同，還在于使用的等距圓柱投影（ERP）幾何，這與大多數(shù)生成模型訓(xùn)練中使用的典型正方形透視投影圖像有顯著差異。

為了緩解特定于全景的訓(xùn)練數(shù)據(jù)的稀缺性，之前的解決方案遵循一個(gè)常見原則，即利用預(yù)訓(xùn)練生成模型的先驗(yàn)知識(shí)。然而，馴服像Stable Diffusion這樣的強(qiáng)大模型生成高保真全景圖像仍然是一項(xiàng)非瑣碎的任務(wù)。早期嘗試將360度生成定義為一個(gè)迭代的圖像修復(fù)或變形過(guò)程。這種解決方案會(huì)遭受錯(cuò)誤累積，并且未能處理閉環(huán)問(wèn)題。為了解決這個(gè)問(wèn)題，MVDiffusion提出了通過(guò)引入一個(gè)對(duì)應(yīng)感知的注意力模塊來(lái)同時(shí)生成多個(gè)透視圖像，從而促進(jìn)多視角一致性，然后將這些透視圖像拼接成一個(gè)完整的全景圖。盡管性能有所提高，但MVDiffusion中相鄰?fù)敢曋g的像素級(jí)一致性無(wú)法確保全局一致性，通常會(huì)導(dǎo)致重復(fù)元素或語(yǔ)義不一致，如下圖1所示。

因此，本文提出了一種新型雙分支擴(kuò)散模型，名為PanFusion，旨在解決先前模型在生成高質(zhì)量360度全景圖像方面的限制。具體來(lái)說(shuō)，PanFusion設(shè)計(jì)為同時(shí)在全景和透視領(lǐng)域操作，采用一個(gè)全局分支來(lái)創(chuàng)建一個(gè)連貫的全景“畫布”，和一個(gè)專注于渲染細(xì)節(jié)豐富的多視角透視的局部分支。PanFusion的局部-全局協(xié)同顯著改善了結(jié)果全景圖像，解決了先前模型中普遍存在的錯(cuò)誤傳播和視覺不一致問(wèn)題。為了增強(qiáng)兩個(gè)分支之間的協(xié)同作用，本文進(jìn)一步提出了一個(gè)等距透視投影注意力（EPPA）機(jī)制，該機(jī)制遵循等距圓柱投影，以維持整個(gè)生成過(guò)程中的幾何完整性。此外，采用參數(shù)映射進(jìn)行位置編碼也是向前邁出的一大步，增強(qiáng)了模型的空間意識(shí)，進(jìn)一步確保生成的全景圖的一致性。進(jìn)一步，PanFusion的全景分支可以輕松地適應(yīng)全景級(jí)別的補(bǔ)充控制輸入，如房間布局，從而允許創(chuàng)建符合精確空間條件的圖像。本文的主要貢獻(xiàn)如下。

• 本文首創(chuàng)了一種雙分支擴(kuò)散模型PanFusion，利用全球全景和局部透視潛在領(lǐng)域，從文本prompt生成高質(zhì)量、一致的360度全景圖像。
• 為了增強(qiáng)兩個(gè)分支之間的交互，本文引入了一個(gè)“等距透視投影注意力”機(jī)制，該機(jī)制在全局全景和局部透視分支之間建立了新的對(duì)應(yīng)關(guān)系，解決了全景合成的獨(dú)特投影挑戰(zhàn)。
• 本文的PanFusion不僅在質(zhì)量和一致性上超越了以往的模型，還通過(guò)加入房間布局支持對(duì)生成過(guò)程的擴(kuò)展控制。廣泛的實(shí)驗(yàn)結(jié)果證明了本文提出的框架的優(yōu)越性。

相關(guān)工作

Stable Diffusion。近年來(lái)，隨著擴(kuò)散模型在圖像生成領(lǐng)域引起轟動(dòng)，這些模型變得更快，在圖像質(zhì)量和分辨率方面的能力也得到了顯著提升。這種成功促使人們開發(fā)了各種擴(kuò)散模型的應(yīng)用程序，如文本到圖像、基于圖像的生成、圖像修復(fù)以及以主體為驅(qū)動(dòng)的生成。這些應(yīng)用大多試圖利用預(yù)訓(xùn)練擴(kuò)散模型的先驗(yàn)知識(shí)來(lái)緩解特定任務(wù)數(shù)據(jù)的稀缺性，通過(guò)finetuning技術(shù)如LoRA，或引入輔助模塊來(lái)提取知識(shí)。本文也采用同樣的原則，利用預(yù)訓(xùn)練的潛在擴(kuò)散模型來(lái)生成全景圖像。

全景圖像生成。全景圖像生成涉及多種設(shè)置，包括全景外繪制和文本到全景圖像生成。

全景外繪制關(guān)注于從部分輸入圖像生成360度全景圖。不同的方法，如StyleLight 和BIPS ，已針對(duì)特定用例進(jìn)行了處理，專注于HDR環(huán)境照明和機(jī)器人導(dǎo)航場(chǎng)景。近期的工作通過(guò)使用擴(kuò)散模型提高了現(xiàn)實(shí)感，但通常缺乏利用預(yù)訓(xùn)練模型的豐富先驗(yàn)信息，限制了其泛化能力。

另一方面，生成模型的最新發(fā)展開啟了從文本輸入合成沉浸式視覺內(nèi)容的新前沿。作為一種基于圖像的表現(xiàn)形式，從文本生成全景圖已受到廣泛關(guān)注。Text2Light 采用VQGAN 結(jié)構(gòu)從文本合成HDR全景圖像。為了用預(yù)訓(xùn)練的擴(kuò)散模型生成任意分辨率的圖像，DiffCollage、MultiDiffusion和SyncDiffusion提出融合擴(kuò)散路徑的方法，而PanoGen 則通過(guò)迭代修復(fù)解決這一問(wèn)題。然而，它們未能模擬360度全景的等距圓柱投影。Lu等人采用自回歸框架，但存在效率低下的問(wèn)題。MVDiffusion 設(shè)計(jì)了一個(gè)感知對(duì)應(yīng)關(guān)系的注意力模塊，能夠同時(shí)生成多視圖圖像以拼接，但結(jié)果呈現(xiàn)重復(fù)元素和不一致性。相比之下，本文提出的PanFusion是一個(gè)雙分支框架，通過(guò)考慮全局全景視圖和局部透視視圖，解決了現(xiàn)有方法的局限性，為文本驅(qū)動(dòng)的360度全景圖像生成提供了全面的解決方案。

方法

初步介紹

雙分支擴(kuò)散模型

直接使用預(yù)訓(xùn)練的潛在擴(kuò)散模型，例如Stable Diffusion（SD），以迭代方式或同步方式從多個(gè)視角圖像生成全景圖像，會(huì)因缺乏全局理解而無(wú)法處理循環(huán)閉合或產(chǎn)生重復(fù)元素（見上圖1）。為了解決這個(gè)問(wèn)題，本文提出了一個(gè)雙分支擴(kuò)散模型，該模型包括一個(gè)基于SD的UNet的全景分支和視角分支，如下圖2所示。全景分支旨在提供全局布局指導(dǎo)，并注冊(cè)視角信息以獲得最終全景，無(wú)需拼接；而視角分支則利用SD豐富的視角圖像生成能力，并提供指導(dǎo)以減輕視角投影下的變形。這兩個(gè)分支在擴(kuò)散過(guò)程中共同工作，生成一個(gè)去噪的全景潛在映射。最后，這個(gè)潛在映射通過(guò)SD的預(yù)訓(xùn)練解碼器D運(yùn)行，以產(chǎn)生最終的全景圖像。

在仔細(xì)檢查 SD 模型后，本文發(fā)現(xiàn)循環(huán)不一致主要是由于 UNet 主干中的卷積層引起的，因?yàn)槿狈σ环N機(jī)制來(lái)在全景圖像的兩端傳遞信息。因此，本文對(duì) UNet 進(jìn)行了調(diào)整，通過(guò)在每個(gè)卷積層之前添加額外的環(huán)形填充，然后將輸出特征圖裁剪到原始大小。此外，本文還在解碼前對(duì)潛在映射添加環(huán)形填充，以減輕解碼器引起的較不明顯的環(huán)路不一致。上述技術(shù)的組合——潛在旋轉(zhuǎn)和環(huán)形填充——使得生成環(huán)路一致的結(jié)果幾乎不增加計(jì)算成本，因此可以作為另一個(gè)強(qiáng)大的基線。然而，這些措施本身并沒有充分利用 SD 擁有的視角生成能力。

EPP注意力機(jī)制

本文在交叉注意力的輸出處添加了初始化為零的 1×1 卷積層，并將其作為殘差加到目標(biāo)特征圖上。這確保了UNet在訓(xùn)練初期保持未修改狀態(tài)，并可以逐漸適應(yīng)EPPA模塊。本文在UNet的每個(gè)下采樣層之后和每個(gè)上采樣層之前加入獨(dú)立的EPPA模塊，以連接兩個(gè)分支，詳細(xì)內(nèi)容在補(bǔ)充材料中。考慮到指導(dǎo)信息是根據(jù)相同的等距圓柱-透視投影規(guī)則在兩個(gè)方向上傳遞的，這種規(guī)則在本質(zhì)上是雙射的，本文共享兩個(gè)方向上EPPA模塊的權(quán)重。

布局條件生成

在全景生成的重要應(yīng)用之一是根據(jù)給定的房間布局生成全景。這對(duì)于全景新視角合成特別有用，并且可能對(duì)室內(nèi)3D場(chǎng)景生成有益。然而，這個(gè)問(wèn)題對(duì)于基于擴(kuò)散的全景生成來(lái)說(shuō)還沒有得到充分的研究，主要是因?yàn)樵谕瑫r(shí)利用SD在透視格式中的豐富先驗(yàn)知識(shí)時(shí)，引入布局約束存在困難。對(duì)于從多視角生成全景，一個(gè)簡(jiǎn)單的解決方案是將布局條件投影到不同視圖中，以局部地控制透視圖像的生成。相反，對(duì)于本文的雙分支擴(kuò)散模型，本文可以自然地利用全景分支的全局性質(zhì)來(lái)強(qiáng)制執(zhí)行更強(qiáng)的布局約束。具體來(lái)說(shuō)，本文將布局條件渲染為距離圖，然后使用它作為ControlNet的輸入來(lái)約束全景分支。

訓(xùn)練

實(shí)驗(yàn)

實(shí)驗(yàn)設(shè)置

數(shù)據(jù)集。本文遵循 MVDiffusion使用 Matterport3D 數(shù)據(jù)集，該數(shù)據(jù)集包含了10,800幅全景圖像和2,295個(gè)房間布局注釋。本文使用 BLIP-2 為每幅圖像生成簡(jiǎn)短的描述。

實(shí)現(xiàn)細(xì)節(jié)。對(duì)于文本條件生成，保持訓(xùn)練和推理計(jì)劃與 MVDiffusion相同，以便進(jìn)行公平比較。對(duì)于文本-布局條件生成，本文在其他參數(shù)固定的情況下訓(xùn)練額外的 ControlNet。

評(píng)估指標(biāo)。按照之前的工作，本文評(píng)估全景和透視域中的圖像質(zhì)量。對(duì)于布局條件生成，本文提出一個(gè)新的指標(biāo)來(lái)評(píng)估生成的全景圖像如何遵循輸入布局。具體來(lái)說(shuō)，本文使用以下指標(biāo)：

• 全景圖。本文遵循 Text2Light 報(bào)告全景圖像的 Fréchet Inception Distance (FID) 和 Inception Score (IS)，以衡量現(xiàn)實(shí)感和多樣性。此外，還使用 CLIP Score (CS) 來(lái)評(píng)估文本與圖像的一致性。雖然 FID 廣泛用于圖像生成，但它依賴于一個(gè)在透視圖像上訓(xùn)練的 Inception 網(wǎng)絡(luò)，因此對(duì)全景圖像不太適用。因此，為了更好地比較現(xiàn)實(shí)感，使用了專為全景定制的 FID 變體，即 Fréchet Auto-Encoder Distance (FAED) 。
• 透視視圖。為了模擬用戶可以自由導(dǎo)航全景并從不同透視視圖查看的真實(shí)世界場(chǎng)景，本文也報(bào)告了20個(gè)隨機(jī)抽樣視圖的 FID 和 IS，以與生成 180°垂直視場(chǎng)的方法進(jìn)行比較。本文還遵循 MVDiffusion 報(bào)告 8 個(gè)水平抽樣視圖的 FID、IS 和 CS 分?jǐn)?shù)。值得注意的是，這組指標(biāo)偏好 MVDiffusion，因?yàn)樗峭ㄟ^(guò)測(cè)量其直接輸出來(lái)實(shí)現(xiàn)的，而本文的方法涉及透視視圖的插值。
• 布局一致性。本文提出了一個(gè)布局一致性指標(biāo)，該指標(biāo)使用布局估計(jì)網(wǎng)絡(luò) HorizonNet 來(lái)估計(jì)從生成的全景中的房間布局，然后計(jì)算其與輸入布局條件的 2D IoU 和 3D IoU。

對(duì)比先前方法

Baseline。本文將其提出的 PanFusion 與以下 baseline 進(jìn)行比較（詳情見原文補(bǔ)充材料）：

• MVDiffusion 利用多視圖擴(kuò)散模型生成 8 個(gè)水平視圖，這些視圖可以拼接成具有 90°垂直視場(chǎng)的全景。它在訓(xùn)練時(shí)需要單獨(dú)的prompt，同時(shí)提供從單一prompt生成的選項(xiàng)。
• Text2Light 從文本prompt中生成 180° 垂直視場(chǎng)的全景，采用兩階段自回歸方式。
• SD+LoRA 是本文的 baseline 模型，它使用 LoRA 對(duì)Stable Diffusion模型（Stable Diffusion）進(jìn)行finetuning，用于全景圖像。
• 全景分支是 SD+LoRA，其中包括第 3.2 節(jié)描述的額外修改，以確保循環(huán)一致性。

定量結(jié)果。上表1展示了定量比較結(jié)果。在這里，本文將真實(shí)感賦予圖像生成中的最高價(jià)值，通過(guò) FAED 和 FID 來(lái)衡量。在這兩個(gè)指標(biāo)上，本文的方法在全景和透視兩方面都超過(guò)了基準(zhǔn)方法。對(duì)于 IS，本文的方法的表現(xiàn)略低于基準(zhǔn)。這可能是因?yàn)?IS 評(píng)估生成圖像中對(duì)象的多樣性，使用分類器進(jìn)行評(píng)估，而本文的模型與基準(zhǔn)模型不同，傾向于不生成意外的對(duì)象。類似地，可以說(shuō)基準(zhǔn)模型呈現(xiàn)略高的 CS 是因?yàn)閷?duì)象的重復(fù)加強(qiáng)了與prompt的對(duì)齊。考慮到 SD+LoRA 在 FAED 上優(yōu)于全景分支，并且在其他指標(biāo)上不相上下，本文只在下面與 SD+LoRA 進(jìn)行定性比較。

定性結(jié)果。下圖4展示了定性比較結(jié)果。由于缺乏左右邊界之間的信息傳遞，Text2Light 和 SD+LoRA 可以觀察到循環(huán)不一致性。它們還受到透視視圖中線條扭曲的影響，這意味著生成的全景圖未能遵循正確的等距圓柱投影。另一方面，MVDiffusion 遭受重復(fù)對(duì)象和不合理家具布局的問(wèn)題，這可能是因?yàn)槿狈θ稚舷挛摹１疚牡姆椒ㄉ闪俗畋普娴膱?chǎng)景，并且在文本條件下的對(duì)齊性最好，透視視圖中的扭曲也較少。

消融研究

在上文和下表中，本文展示了所提出的完整模型比 Pano Branch（本文方法的baseline 模型，不含透視分支）的表現(xiàn)更好。在這里，如下表2和下圖5所示，本文進(jìn)一步進(jìn)行了消融研究，以驗(yàn)證本文方法中每個(gè)組件的有效性。為了保持一致的比較，本文通過(guò)采樣相同的噪聲進(jìn)行潛在地圖初始化，在不同的消融版本之間保持布局相似。

聯(lián)合潛在地圖初始化。 本文通過(guò)分別初始化全景和透視分支的潛在地圖來(lái)消融聯(lián)合潛在地圖初始化。在所有指標(biāo)和定性結(jié)果中都可以觀察到顯著的性能下降，這證明了聯(lián)合潛在地圖初始化的重要性。有趣的是，本文的聯(lián)合版本在 FID 上甚至比 Pano Branch 還要差。這可能是因?yàn)槁?lián)合潛在地圖初始化幫助相應(yīng)的像素從擴(kuò)散過(guò)程開始就共享類似的噪聲分布，這對(duì)于 EPPA 對(duì)齊重疊區(qū)域的內(nèi)容至關(guān)重要。

EPP SPE 和注意力mask。從 EPPA 模塊中去除了球形位置編碼（Ours-SPE）和注意力mask（Ours-mask）。從表2可以看到，缺少 SPE 對(duì) FAED 和 FID 產(chǎn)生了負(fù)面影響，這可能是因?yàn)?SPE 幫助模型學(xué)習(xí)兩個(gè)分支之間像素的相對(duì)位置。而缺少注意力遮罩雖然使 FID 有所改善，但卻對(duì) FAED 產(chǎn)生了不利影響，F(xiàn)AED 更準(zhǔn)確地評(píng)估了全景的質(zhì)量，因?yàn)樗菫槟繕?biāo)數(shù)據(jù)集定制的。這兩種情況都會(huì)導(dǎo)致圖像中出現(xiàn)明顯的點(diǎn)光源周圍的偽影、地面紋理的不一致性，以及高亮投影中的扭曲，如圖5所示。

雙射 EPPA。本文對(duì)雙射 EPPA（Ours-bijective）進(jìn)行了消融實(shí)驗(yàn)，使用了 EPPA 模塊中兩個(gè)方向的獨(dú)立參數(shù)。Ours-bijective 的 FAED 和 FID 表現(xiàn)均有下降。此外，消融版本在圖5中的走廊兩個(gè)方向上生成一致的地板和天花板紋理方面存在困難。相反，本文的完整模型能夠生成具有一致風(fēng)格的地板和天花板，顯示出對(duì)場(chǎng)景的更好的全局理解。

應(yīng)用：布局條件生成

為了展示本文的方法在生成具有額外布局條件的全景圖像方面的優(yōu)勢(shì)，根據(jù)前文的描述，在MVDiffusion中添加了一個(gè)ControlNet來(lái)構(gòu)建基線模型。本文將布局條件渲染成距離圖，然后將其投影到透視視圖中，以此來(lái)約束多視圖圖像的生成。訓(xùn)練設(shè)置與本文的PanFusion保持一致。

如下表3所示，本文的方法在布局一致性上超越了基線模型，同時(shí)保持了透視投影的真實(shí)性優(yōu)勢(shì)。將布局條件以線框形式疊加在生成的全景圖像上，可以在上圖6中看到，本文生成的全景圖像更好地遵循了它們的布局條件，特別是在透視視圖中突出顯示。更多細(xì)節(jié)請(qǐng)參考原文補(bǔ)充材料。

結(jié)論

PanFusion，這是一種新穎的文本到360度全景圖像生成方法，可以從單一文本prompt生成高質(zhì)量的全景圖像。特殊之處在于，引入了一種雙分支擴(kuò)散架構(gòu)，以利用Stable Diffusion在透視領(lǐng)域的先驗(yàn)知識(shí)，同時(shí)解決了先前工作中觀察到的重復(fù)元素和不一致問(wèn)題。此外，還引入了一個(gè)EPPA模塊，以增強(qiáng)兩個(gè)分支之間的信息傳遞。本文還擴(kuò)展了PanFusion用于布局條件的全景圖像生成的應(yīng)用。全面的實(shí)驗(yàn)表明，PanFusion能夠生成具有更好真實(shí)感和布局一致性的高質(zhì)量全景圖像，優(yōu)于以前的方法。

限制。盡管PanFusion的雙分支架構(gòu)結(jié)合了全景和透視領(lǐng)域的優(yōu)勢(shì)，但它也帶來(lái)了更高的計(jì)算復(fù)雜性。此外，本文的方法有時(shí)無(wú)法生成室內(nèi)場(chǎng)景的入口，如圖7所示，這對(duì)于虛擬旅游等用例來(lái)說(shuō)是必需的。

參考文獻(xiàn)

[1] Taming Stable Diffusion for Text to 360? Panorama Image Generation

本文轉(zhuǎn)自 AI生成未來(lái) ，作者：Cheng Zhang等

原文鏈接:??https://mp.weixin.qq.com/s/Owd9jmXBAxvYg_gATDKHxQ??