ECCV`24 | 新加坡國立&華為提出Vista3D: 實現快速且多視角一致的3D生成
文章鏈接：https://arxiv.org/pdf/2409.12193
gitbub鏈接：https://github.com/florinshen/Vista3D
亮點直擊
- 提出了Vista3D，一個用于揭示單張圖像3D darkside 的框架，能夠高效地利用2D先驗生成多樣的3D物體。
- 開發了一種從高斯投影到等值面3D表示的轉換方法，通過可微等值面方法和解耦紋理來優化粗糙幾何，實現紋理化網格的創建。
- 提出了一種角度組合方法用于擴散先驗，通過約束其梯度幅度，在不犧牲3D一致性的情況下實現3D潛力的多樣性。
總結速覽
解決的問題
- 解決單張圖像生成3D對象時多視圖不一致的問題。
- 平衡3D生成中的一致性與多樣性。
提出的方案
- Vista3D框架采用兩階段方法：粗略階段通過高斯投影生成初始幾何，精細階段優化符號距離函數（SDF）。
- 使用角度組合方法進行擴散先驗，通過約束梯度幅度實現多樣性。
應用的技術
- 高斯投影和可微等值面方法。
- 解耦紋理技術。
- 使用兩個獨立隱函數捕捉物體的可見和隱藏方面。
達到的效果
- 在短短5分鐘內實現快速且一致的3D生成。
- 提升生成質量，維持3D物體一致性和多樣性之間的平衡。
方法
本節概述了利用2D擴散先驗從單張圖像生成詳細3D對象的框架。如下圖2所示，本文對單張圖像3D darkside的探索始于通過3D高斯投影高效生成基礎幾何。在精細化階段，本文設計了一種方法，將初步的3D高斯幾何轉換為符號距離場，隨后引入可微分的等值面表示，以進一步增強幾何和紋理。為了實現給定單張圖像的多樣化3D darkside，本文提出了一種新穎的方法來約束兩個擴散先驗，通過限制梯度幅度來創造多樣而連貫的暗面紋理。通過這些方法，可以高效地從單張圖像生成多樣化且高保真的網格。
Gaussian Splatting 的粗略幾何
在本文框架的粗略階段，專注于使用Gaussian Splatting構建基礎對象幾何。該技術將3D場景表示為一組各向異性3D高斯。與其他神經逆渲染方法（如NeRF）相比，Gaussian Splatting在逆渲染任務中表現出顯著更快的收斂速度。
一些研究，比如[3, 41, 49] 嘗試將 Gaussian Splatting 引入3D生成模型。在這些方法中，發現直接使用 Gaussian Splatting 生成詳細的3D對象需要優化大量的3D高斯，這需要大量時間進行優化和密集化，仍然耗時。然而， Gaussian Splatting 可以在一分鐘內使用有限數量的3D高斯從單張圖像快速創建粗略幾何。因此，在本文的方法中，僅利用 Gaussian Splatting 進行初始粗略幾何生成。
基于Top-K梯度的加密策略：在優化過程中，發現使用簡單梯度閾值的周期性加密由于SDS的隨機特性而難以調整。因此，本文采用了一種更穩健的加密策略。在每個間隔期間，僅對具有Top-K梯度的高斯點進行加密，這種簡單的策略可以在各種給定圖像中穩定訓練。
尺度與透射率正則化：本文添加了兩個正則化項，以鼓勵 Gaussian Splatting在此階段學習更詳細的幾何形狀。引入了尺度正則化以避免過大的3D高斯，并采用另一種透射率正則化以鼓勵幾何學習從透明到實心。此階段的總體損失函數可以寫為：
網格細化和紋理解耦
在細化階段，重點是將通過Gaussian Splatting生成的粗糙幾何體轉化為符號距離場（SDF），并使用混合表示來優化其參數。這個階段對于克服粗糙階段遇到的挑戰至關重要，特別是Gaussian Splatting常常引入的表面偽影。由于Gaussian Splatting無法直接提供表面法線的估計，無法采用傳統的平滑方法來減輕這些偽影。為了解決這個問題，本文引入了一種混合網格表示，即將3D對象的幾何體建模為可微分的等值面，并使用兩個不同、解耦的網絡來學習紋理。這種雙重方法不僅可以平滑表面不規則性，還能顯著提高3D模型的逼真度和整體質量。
通過預先構圖實現黑暗面多樣性
在實現pipeline時，遇到了與未見視角缺乏多樣性相關的關鍵挑戰。這一問題主要源于依賴Zero-1-to-3 XL先驗，該模型是在ObjaverseXL中的合成3D物體上訓練的。雖然該先驗在基于參考圖像和相對相機姿態進行3D感知生成方面表現出色，但在未見視角中往往會產生過于簡化或過于平滑的結果。當處理真實世界中捕獲的物體時，這一限制尤為明顯。
為了解決這個問題，研究者們引入了來自Stable-Diffusion的額外先驗，以其合成多樣化圖像的能力而聞名。
實驗
實驗細節
定性比較
在下圖3中，本文展示了高效的Vista3D-S能夠以比現有粗到細方法快20倍的速度生成具有競爭力的3D對象。對于Vista3D-L，如上圖1和下圖4所示，本文強調了本文的角度梯度約束，這使得本文的框架區別于以往的圖像到3D方法，因為它可以在不犧牲3D一致性的情況下探索單幅圖像背面的多樣性。在下圖3中，本文主要將Vista3D-S與兩個基準方法Magic123和DreamGaussian進行比較，用于從單一參考視圖生成3D對象。在生成的3D對象質量方面，本文的方法在幾何和紋理上都優于這兩種方法。關于Vista3D-L，本文將其與兩個僅推理的單視圖重建模型進行比較，具體來說是One-2-3-45和Wonder3D。如下圖4所示，One-2-3-45往往會產生模糊的紋理，并可能導致復雜對象的幾何不完整，而本文的Vista3D-L通過用戶指定的文本提示實現了更精細的紋理，特別是在3D對象的背面。Wonder3D由于主要在合成數據集上訓練，通常采用更簡單的紋理，這偶爾會導致某些對象的分布外問題。相比之下，Vista3D-L通過控制兩個擴散先驗提供零樣本3D對象重建，從而實現更詳細和一致的紋理。此外，鑒于僅提供對象的單一參考視圖，本文認為對象在優化過程中應該可以通過用戶指定的提示進行編輯。為了說明這一點，本文在圖1中展示了幾個強調編輯潛力的結果。
定量比較
在本文的評估中，本文使用CLIP相似度指標來評估本文的方法在使用RealFusion數據集進行3D重建時的性能，該數據集包含15張不同的圖像。與以往研究中使用的設置一致，本文在每個對象的方位角范圍為[-180, 180]度的零仰角處均勻采樣8個視圖。然后使用這些渲染視圖和參考視圖的CLIP特征計算余弦相似度。下表1顯示，Vista3D-S獲得了0.831的CLIP相似度分數，平均生成時間僅為5分鐘，從而超越了Magic123的性能。此外，與另一種基于優化的方法DreamGaussian相比，盡管Vista3D-S可能需要5分鐘的時間，但它顯著提高了一致性，這從更高的CLIP相似度分數中得到了證明。對于Vista3D-L，本文應用了僅增強設置。通過使用角度擴散先驗組合，本文的方法實現了更高的0.868 CLIP相似度。
Vista3D-L的能力，特別是在通過先驗組合生成具有更詳細和逼真紋理的對象方面，在圖4中得到了展示。此外，本文在Google Scanned Object (GSO)數據集上進行了定量實驗，遵循SyncDreamer的設置。本文使用30個對象評估每種方法，并計算3D對象的渲染視圖與16個真值anchor視圖之間的PSNR、SSIM和LPIPS。結果如下表2所示，顯示本文的Vista3D-L在這些方法中以較大優勢實現了SOTA性能。盡管Vista3D-S只有單一擴散先驗，但也展示了具有競爭力的性能。
用戶研究
在本文的用戶研究中，本文評估了參考視圖一致性和整體3D模型質量。評估涵蓋了四種方法：DreamGaussian 、Magic123，以及本文自己的Vista3D-S和Vista3D-L。本文招募了10名參與者進行這項用戶研究。每位參與者被要求根據視圖一致性和整體質量分別對不同方法生成的3D對象進行排序。因此，每個指標的得分范圍為1到4。下表3中的結果顯示，本文的Vista3D-S在視圖一致性和整體質量上均優于之前的方法。此外，Vista3D-L中采用的角度先驗組合進一步提高了生成3D對象的一致性和質量。
消融研究
粗到細框架。 本文的框架集成了一個粗略階段以學習初始幾何形狀，然后是一個細化階段以優化幾何形狀和著色紋理。本文在下圖5（a）中驗證了這種粗到細流程的必要性。本文首先使用等值面表示直接學習幾何形狀，發現如果沒有初步的幾何初始化，幾何優化容易崩潰。因此，粗略初始化變得至關重要。此外，本文展示了從粗略階段的3DGS中提取的粗糙網格的法線貼圖。可以觀察到，粗略階段往往會生成粗糙甚至不閉合的幾何形狀，且難以緩解。這些發現表明，結合這兩個階段對于Vista3D的最佳性能是至關重要的。
結論
本文提出了一種從粗到細的框架 Vista3D，以探索單張輸入圖像的3D暗面。該框架通過文本提示實現用戶驅動的編輯，或通過圖像字幕提高生成質量。生成過程從通過高斯噴射獲得的粗略幾何開始，隨后使用等值面表示進行細化，并輔以解耦的紋理。這些3D表示的設計能夠在短短5分鐘內生成紋理網格。此外，擴散先驗的角度組合使本文的框架能夠揭示未見視角的多樣性，同時保持3D一致性。本文的方法在現實感和細節方面超越了以往的方法，在生成時間和紋理網格質量之間達到了最佳平衡。本文希望本文的貢獻能夠激勵未來的進步，并促進對單張圖像3D暗面的進一步探索。
本文轉自AI生成未來 ，作者：Qiuhong Shen等
