港理工&OPPO&Stability AI聯(lián)合發(fā)布一致且高效的3D場(chǎng)景編輯方法——SyncNoise
文章鏈接：https://arxiv.org/pdf/2406.17396
項(xiàng)目鏈接：https://lslrh.github.io/syncnoise.github.io/
一句話亮點(diǎn)直擊
- SyncNoise能夠?qū)崿F(xiàn)一致且高效的3D編輯，符合文本指令并保留編輯場(chǎng)景中的更多細(xì)節(jié)。
今天和大家一起學(xué)習(xí)港理工、OPPO和Stability AI聯(lián)合發(fā)的一篇關(guān)于3D場(chǎng)景編輯的工作，主打一個(gè)一致且高效，視頻demo非常贊，可以看看！基于文本的2D擴(kuò)散模型在圖像生成和編輯方面展示了令人印象深刻的能力。同時(shí)，這些2D擴(kuò)散模型在3D編輯任務(wù)中也表現(xiàn)出相當(dāng)大的潛力。然而，實(shí)現(xiàn)多個(gè)視圖之間的一致編輯仍然是一個(gè)挑戰(zhàn)。盡管迭代數(shù)據(jù)集更新方法能夠?qū)崿F(xiàn)全局一致性，但其收斂速度緩慢且紋理過(guò)于平滑。本文提出了SyncNoise，一種新穎的幾何引導(dǎo)多視圖一致噪聲編輯方法，用于高保真3D場(chǎng)景編輯。SyncNoise在編輯多個(gè)視圖時(shí)同步使用2D擴(kuò)散模型，同時(shí)強(qiáng)制多視圖噪聲預(yù)測(cè)在幾何上保持一致，從而確保語(yǔ)義結(jié)構(gòu)和低頻外觀的全局一致性。為了進(jìn)一步增強(qiáng)高頻細(xì)節(jié)的局部一致性，本文設(shè)置了一組anchor視圖，并通過(guò)跨視圖重投影將它們傳播到相鄰幀。為了提高多視圖對(duì)應(yīng)的可靠性，本文在訓(xùn)練過(guò)程中引入深度監(jiān)督，以增強(qiáng)精確幾何結(jié)構(gòu)的重建。通過(guò)在噪聲和像素級(jí)別增強(qiáng)幾何一致性，本文的方法實(shí)現(xiàn)了高質(zhì)量的3D編輯效果，能夠很好地遵循文本指令，尤其是在具有復(fù)雜紋理的場(chǎng)景中。
demo視頻展示
方法
在這項(xiàng)工作中，通過(guò)借助2D擴(kuò)散模型，專注于基于文本的3D場(chǎng)景編輯。給定原始3D表示（如NeRF或Gaussian Splatting）、多視圖圖像及其對(duì)應(yīng)的相機(jī)姿態(tài)，本文旨在根據(jù)自然語(yǔ)言指令生成編輯后的場(chǎng)景。
如下圖2所示，本文利用基于指令的2D擴(kuò)散模型來(lái)編輯多視圖圖像，隨后使用編輯后的視圖作為監(jiān)督來(lái)優(yōu)化原始3D表示。確保多視圖一致編輯至關(guān)重要，因?yàn)橐晥D之間紋理的不一致可能會(huì)導(dǎo)致不理想的平滑效果。為此，本文首先利用3D幾何建立精確的多視圖對(duì)應(yīng)關(guān)系。其次在整個(gè)去噪（編輯）過(guò)程中對(duì)噪聲預(yù)測(cè)施加多視圖一致性約束，以增強(qiáng)視圖間的語(yǔ)義和外觀一致性。此外，為了保留更多的高頻細(xì)節(jié)，本文采用跨視圖投影，將編輯效果從anchor視圖傳播到其鄰近視圖，以實(shí)現(xiàn)像素級(jí)的多視圖一致編輯。
可靠的幾何引導(dǎo)對(duì)應(yīng)關(guān)系
為了在多個(gè)視圖之間建立可靠的對(duì)應(yīng)關(guān)系，本文引入了深度監(jiān)督來(lái)增強(qiáng)重建的幾何形狀。此外，本文利用重新投影的深度和循環(huán)一致性約束來(lái)過(guò)濾掉不可靠的匹配點(diǎn)，確保匹配的準(zhǔn)確性。
深度監(jiān)督。隱式3D表示（例如 NeRF）在擬合幾何形狀方面表現(xiàn)有限，特別是在視圖稀疏的情況下。因此，NeRF 預(yù)測(cè)的深度往往不可靠。如下圖 3(a) 所示，從參考視圖重新投影到其他視圖時(shí)存在顯著偏差。為了解決這一限制，本文在 NeRF 的訓(xùn)練過(guò)程中引入深度監(jiān)督。具體來(lái)說(shuō)，從通過(guò)運(yùn)行 Structure-from-Motion (SfM) 解算器獲得的 3D 關(guān)鍵點(diǎn)派生深度監(jiān)督，并添加深度損失以強(qiáng)制估計(jì)的深度匹配關(guān)鍵點(diǎn)的深度。如下圖 3(b) 所示，通過(guò)添加深度監(jiān)督，能夠估計(jì)出更精確的深度，從而能夠在不同視圖之間建立密集且準(zhǔn)確的對(duì)應(yīng)關(guān)系。
幾何一致的噪聲預(yù)測(cè)
在上一章節(jié)構(gòu)建的精確幾何對(duì)應(yīng)關(guān)系的基礎(chǔ)上，本節(jié)旨在確保從T到 0 步的整個(gè)去噪過(guò)程中多視圖的編輯結(jié)果是一致的。實(shí)現(xiàn)這一目標(biāo)的一個(gè)簡(jiǎn)單有效的方法是對(duì)多視圖之間的對(duì)應(yīng)潛在特征進(jìn)行平均。然而，這種方法有兩個(gè)主要局限性。一方面，直接操作潛在圖會(huì)導(dǎo)致生成圖像出現(xiàn)平滑的結(jié)果，如下圖 4(b) 所示。另一方面，由于視圖之間的匹配點(diǎn)質(zhì)量不一，對(duì)不同視圖賦予相同的權(quán)重是不合理的，這會(huì)使模型偏向于質(zhì)量較差的視圖。
先前的研究已經(jīng)表明，噪聲預(yù)測(cè)器（U-Net）的中間特征不僅捕捉語(yǔ)義信息，還影響圖像的最終外觀。這啟發(fā)本文在 U-Net 特征而不是潛在圖上增強(qiáng)多視圖一致性。如上圖 4(d) 所示，通過(guò)在 U-Net 的中間解碼器特征上強(qiáng)制一致性，可以實(shí)現(xiàn)多視圖一致的編輯結(jié)果而不會(huì)引入模糊偽影。當(dāng)將約束應(yīng)用于跳躍特征時(shí)，影響相對(duì)較小，如上圖 4(c) 所示。有關(guān) U-Net 結(jié)構(gòu)和對(duì)齊 U-Net 不同層效果的詳細(xì)信息，請(qǐng)參考原文附錄。
此外，為了在不修改無(wú)關(guān)區(qū)域的情況下實(shí)現(xiàn)更精確的前景編輯，本文引入了掩碼來(lái)限制匹配和編輯的區(qū)域。本文只保留掩碼內(nèi)的對(duì)應(yīng)關(guān)系，并過(guò)濾掉來(lái)自不相關(guān)區(qū)域的多余關(guān)聯(lián)。此外，在每個(gè)去噪步驟中應(yīng)用一個(gè)掩碼來(lái)限制文本指導(dǎo)的區(qū)域，并修改噪聲估計(jì)方程如下：
跨視角像素級(jí)投影
本文已經(jīng)對(duì)來(lái)自多個(gè)視角的初始噪聲和U-Net的噪聲預(yù)測(cè)進(jìn)行了對(duì)齊，這種方法可以比迭代細(xì)化策略更有效地實(shí)現(xiàn)全局一致的編輯。然而，如下圖5(b)所示，噪聲級(jí)別的對(duì)齊只能確保語(yǔ)義結(jié)構(gòu)和低頻紋理的一致性，但無(wú)法保證高頻細(xì)節(jié)的一致性。即使在這些細(xì)節(jié)上的輕微不對(duì)齊最終也會(huì)導(dǎo)致3D編輯中的平滑紋理。
3D表示優(yōu)化
多視角同步噪聲預(yù)測(cè)在結(jié)構(gòu)和外觀上實(shí)現(xiàn)了一致的編輯，而跨視角像素級(jí)投影進(jìn)一步增強(qiáng)了相鄰視角之間的一致性。基于所有視角的編輯結(jié)果，本文首先對(duì)3D模型進(jìn)行1000-2000次迭代的訓(xùn)練，具體取決于場(chǎng)景的復(fù)雜性，以將2D編輯注入到3D表示中。隨后采用一個(gè)迭代的細(xì)化方法進(jìn)一步增強(qiáng)3D表示。需要注意的是，本文的方法在一個(gè)關(guān)鍵方面與IN2N 不同。在 IN2N 中，在早期的優(yōu)化步驟中，多視角圖像編輯顯示出顯著的不一致性，導(dǎo)致3D編輯過(guò)度平滑。相反，本文的方法首先生成多視角一致的2D編輯，以確保3D幾何和外觀的整體一致性，然后采用迭代細(xì)化過(guò)程來(lái)調(diào)整更精細(xì)的細(xì)節(jié)。
實(shí)驗(yàn)
實(shí)現(xiàn)細(xì)節(jié)。在編輯過(guò)程中，本文首先編輯80個(gè)多視角圖像，同時(shí)強(qiáng)制保持在U-Net的第5層和第8層特征上的一致性（詳見(jiàn)文章最后的圖10）。隨后，在anchor視角選擇方面，本文每隔10個(gè)相鄰視角選擇具有最高CLIP方向分?jǐn)?shù)的視角作為anchor視圖，并將它們重新投影到大約80%重疊的相鄰視角上。
評(píng)估。本文使用三個(gè)指標(biāo)來(lái)衡量與文本指令的對(duì)齊度，即 CLIP相似性分?jǐn)?shù)，CLIP文本-圖像方向相似性，以及CLIP時(shí)間方向相似性。此外，本文還使用兩個(gè)無(wú)參考圖像質(zhì)量評(píng)估指標(biāo)，即CLIP-IQA 和MUSIQ 。
定性結(jié)果
在圖1中，本文展示了使用不同文本提示進(jìn)行的一些編輯結(jié)果。從“Batman”和“Robot”提示的編輯中可以觀察到，即使原始場(chǎng)景的幾何形狀發(fā)生明顯變化，本文的方法仍然展現(xiàn)出多視角一致性。此外，本文可以在“Hulk”的頭發(fā)、“Spiderman”的手臂和“Thor”的服裝中看到更精細(xì)的細(xì)節(jié)。這是因?yàn)楸疚耐ㄟ^(guò)像素級(jí)投影在相鄰幀之間強(qiáng)制實(shí)現(xiàn)了一致性。
在下圖6中，本文針對(duì)提出的 SyncNoise 與兩種代表性的基于指令的方法，InstructNerf2Nerf 和GaussianEditor 進(jìn)行了比較。本文使用它們的官方代碼和默認(rèn)參數(shù)重現(xiàn)了這些方法的結(jié)果。本文的 SyncNoise 實(shí)現(xiàn)了符合輸入文本指令的逼真和一致的編輯。在“Turn the table into a rainbow table”的示例中，本文的編輯展示了比其他兩種方法更好的多視角一致性。IN2N 由于每次迭代中的不一致編輯而出現(xiàn)了顏色混合問(wèn)題。對(duì)于指令“turn him into a wood carving”，本文的 SyncNoise 成功地編輯了頭發(fā)并產(chǎn)生了細(xì)膩的紋理。此外，本文的結(jié)果嚴(yán)格遵循了編輯提示“turn him into Iron Man wearing the helmet”，并生成了高度逼真的頭盔。然而，GaussianEditor幾乎沒(méi)有改變?nèi)四樀耐庥^，因?yàn)樗拗屏伺f高斯點(diǎn)的更新，從而影響了它們對(duì)文本的編輯保真度。本文的方法通過(guò)在噪聲級(jí)別實(shí)現(xiàn)全局結(jié)構(gòu)和外觀一致性，并在像素級(jí)別改善局部紋理一致性，實(shí)現(xiàn)了更優(yōu)越的編輯效果。詳細(xì)的定性結(jié)果請(qǐng)參考原文附錄。
定量比較
如下表1所示，本文提供了 SyncNoise 與 Instruct-Nerf2Nerf (IN2N) 、Efficient-Nerf2Nerf (EN2N) 和GaussianEditor 的定量比較結(jié)果。本文在總共四個(gè)場(chǎng)景（即“bear”、“face”、“fangzhou”和“person”）和10個(gè)不同的文本提示上評(píng)估了所有比較方法。可以看出，本文的方法不僅在編輯保真度上表現(xiàn)出色，而且在視覺(jué)質(zhì)量上也表現(xiàn)優(yōu)異。與 IN2N 相比，本文的方法在編輯指令遵循性和時(shí)間一致性上表現(xiàn)更好，而且編輯時(shí)間僅需一半。此外，本文的方法在 CLIP 文本-圖像方向相似度分?jǐn)?shù)和 MUSIQ 指標(biāo)上分別比 GaussianEditor 高出了1.27%和2.243，表明本文生成的編輯圖像更加忠實(shí)于給定的指令，同時(shí)不犧牲視覺(jué)質(zhì)量。由于 GaussianEditor限制了原始場(chǎng)景部分3D高斯點(diǎn)的更新，因此它無(wú)法很好地遵循指令。此外，通過(guò)引入像素級(jí)一致性，SyncNoise 進(jìn)一步提高了對(duì)指令的忠實(shí)度和視覺(jué)質(zhì)量，在不同視角下實(shí)現(xiàn)了更精細(xì)的編輯細(xì)節(jié)。
消融研究
本文研究了pipeline 中兩個(gè)關(guān)鍵組件的作用，即噪聲對(duì)齊和跨視圖重投影。如下圖7所示，僅使用噪聲對(duì)齊時(shí)，編輯在幾何上對(duì)齊，但丟失了一些細(xì)節(jié)。僅使用跨視圖重投影時(shí)，保持了相鄰幀的局部一致性，但編輯缺乏全面的覆蓋和完整性。例如，蝙蝠俠的角很小，骷髏的角沒(méi)有被編輯。通過(guò)將這兩個(gè)組件結(jié)合在一起，本文在全局結(jié)構(gòu)和局部紋理上實(shí)現(xiàn)了更好的一致性。
結(jié)論
今天分享的這篇工作專注于實(shí)現(xiàn)3D場(chǎng)景編輯中的多視角一致性編輯。提出了一種名為SyncNoise的新方法，利用幾何引導(dǎo)的多視角一致性來(lái)增強(qiáng)編輯場(chǎng)景的連貫性。通過(guò)使用2D擴(kuò)散模型同步編輯多個(gè)視角，并在噪聲預(yù)測(cè)器的特征上強(qiáng)制執(zhí)行幾何一致性，避免了模糊的結(jié)果。鄰近視角之間的像素級(jí)重投影進(jìn)一步幫助生成更精細(xì)的細(xì)節(jié)。本文的實(shí)驗(yàn)結(jié)果表明，SyncNoise在實(shí)現(xiàn)高質(zhì)量的3D編輯并遵循文本指令方面優(yōu)于現(xiàn)有方法。
局限性。本文的方法嚴(yán)重依賴于2D擴(kuò)散模型，這限制了3D編輯的質(zhì)量和提示的靈活性。此外，SyncNoise在編輯外觀方面表現(xiàn)出色，但在修改3D形狀和幾何方面的能力有限。這一限制也存在于IN2N中。此外，SyncNoise可能在復(fù)雜場(chǎng)景中遇到困難，特別是那些具有復(fù)雜幾何結(jié)構(gòu)的場(chǎng)景。需要進(jìn)一步的研究來(lái)解決這些挑戰(zhàn)，這將是本文未來(lái)的重點(diǎn)關(guān)注。
本文轉(zhuǎn)自AI生成未來(lái) ，作者：AI生成未來(lái)
