一秒內(nèi)從單個(gè)圖像生成3D對(duì)象，Stability AI推出3D生成新方法

作者：機(jī)器之心 2025-01-10 14:00:00

2D 升維成 3D 的過(guò)程中，可見(jiàn)部分和不可見(jiàn)部分可以分開(kāi)建模。

2025 年來(lái)了，3D 生成也迎來(lái)了新突破。

剛剛，Stability AI 在 CES 上宣布為 3D 生成推出一種兩階段新方法 ——SPAR3D（Stable Point Aware 3D），旨在為游戲開(kāi)發(fā)者、產(chǎn)品設(shè)計(jì)師和環(huán)境構(gòu)建者開(kāi)拓 3D 原型設(shè)計(jì)新方式。

無(wú)論是精致的藝術(shù)品，還是紋理復(fù)雜的日常用品，SPAR3D 都能提供精確的幾何形狀和完整的 360 度視圖的詳細(xì)預(yù)測(cè)，包括通常隱藏的區(qū)域（例如物體的背面）：

值得一提的是，SPAR3D 還引入了實(shí)時(shí)編輯功能，能在不到一秒的時(shí)間內(nèi)從單個(gè)圖像生成 3D 對(duì)象的完整結(jié)構(gòu)。

SPAR3D 是一種新穎的兩階段方法：第一階段使用輕量級(jí)點(diǎn)擴(kuò)散模型生成稀疏 3D 點(diǎn)云，采樣速度快；第二階段使用采樣點(diǎn)云和輸入圖像來(lái)創(chuàng)建高度詳細(xì)的網(wǎng)格。

這種兩階段設(shè)計(jì)能夠?qū)Σ贿m定的單圖像 3D 任務(wù)進(jìn)行概率建模，同時(shí)保持高計(jì)算效率和出色的輸出保真度。使用點(diǎn)云作為中間表征還進(jìn)一步允許交互式用戶(hù)編輯。在不同的數(shù)據(jù)集上進(jìn)行評(píng)估后，SPAR3D 表現(xiàn)出了優(yōu)于 SOTA 方法的性能。

論文標(biāo)題：SPAR3D: Stable Point-Aware Reconstruction of 3D Objects from Single Images
論文鏈接：https://static1.squarespace.com/static/6213c340453c3f502425776e/t/677e3bc1b9e5df16b60ed4fe/1736326093956/SPAR3D+Research+Paper.pdf

簡(jiǎn)單來(lái)說(shuō)，SPAR3D 具有如下優(yōu)勢(shì)：

前所未有的控制：允許用戶(hù)通過(guò)刪除、復(fù)制、拉伸、添加特征或重新著色點(diǎn)來(lái)直接編輯點(diǎn)云。
完整的結(jié)構(gòu)預(yù)測(cè)：通過(guò)提供精確的幾何形狀和完整的 360 度視圖的詳細(xì)預(yù)測(cè)來(lái)增強(qiáng) 3D 構(gòu)建。
閃電般快速生成：僅需 0.3 秒即可將編輯后的點(diǎn)云轉(zhuǎn)換為最終網(wǎng)格，實(shí)現(xiàn)無(wú)縫實(shí)時(shí)編輯。從單個(gè)輸入圖像，SPAR3D 僅需 0.7 秒即可為每個(gè)對(duì)象生成高度詳細(xì)的 3D 網(wǎng)格。

SPAR3D

基于點(diǎn)云采樣的單圖像三維物體重建

從一張圖像重建 3D 物體是一個(gè)具有挑戰(zhàn)性的逆向工程問(wèn)題：盡管可以通過(guò)分析圖像中的光影來(lái)推測(cè)物體的可見(jiàn)表面形狀，但要準(zhǔn)確預(yù)測(cè)被遮擋的部分，需要豐富的 3D 先驗(yàn)知識(shí)作為支撐。

目前該領(lǐng)域主要有兩個(gè)發(fā)展方向：前饋回歸和基于擴(kuò)散的生成。基于回歸的模型雖然推理速度快，但對(duì)重建有遮擋的區(qū)域效果不佳。而基于擴(kuò)散的方法通過(guò)迭代采樣可以生成多樣化的 3D 結(jié)果，但計(jì)算效率低且與輸入圖像的對(duì)齊效果較差。

為了既能充分利用擴(kuò)散模型在分布式學(xué)習(xí)方面的優(yōu)勢(shì)，又能避免輸出質(zhì)量差和計(jì)算效率低的問(wèn)題，Stability AI 的研究團(tuán)隊(duì)設(shè)計(jì)了一個(gè)兩階段重建系統(tǒng)：SPAR3D。這個(gè)系統(tǒng)將 3D 重建過(guò)程分為點(diǎn)采樣和網(wǎng)格化兩個(gè)階段，實(shí)現(xiàn)了高效率與高質(zhì)量的平衡。

當(dāng)輸入一張圖像時(shí)，該方法可以生成一個(gè)包含 PBR 材質(zhì)的 3D 網(wǎng)格模型，其中包括反照率、金屬度、粗糙度和表面法線等屬性。

該團(tuán)隊(duì)設(shè)計(jì)了一個(gè)包含點(diǎn)采樣和網(wǎng)格化兩個(gè)階段的模型（如圖 2 所示）。在點(diǎn)采樣階段，系統(tǒng)將使用點(diǎn)擴(kuò)散模型來(lái)學(xué)習(xí)輸入圖像對(duì)應(yīng)的點(diǎn)云分布。由于點(diǎn)云的分辨率較低，這個(gè)階段能快速完成迭代采樣。

在網(wǎng)格化階段，系統(tǒng)通過(guò)回歸方法將采樣得到的點(diǎn)云轉(zhuǎn)換為高細(xì)節(jié)網(wǎng)格，并利用局部圖像特征確保與輸入圖像的準(zhǔn)確匹配。

這種設(shè)計(jì)將復(fù)雜的不確定性計(jì)算集中在點(diǎn)采樣階段，讓網(wǎng)格化階段能夠?qū)Ｗ⒂谏筛哔|(zhì)量的細(xì)節(jié)。這不僅提升了整體效果，有效減少了紋理中不必要的光照影響，特別是在處理反光表面時(shí)效果更好。

選擇點(diǎn)云作為連接兩個(gè)階段的中間表示是該方法的關(guān)鍵設(shè)計(jì)。點(diǎn)云不僅是計(jì)算效率最高的 3D 表示，因?yàn)樗行畔⒍加糜诒硎颈砻妫淙狈B接性的特點(diǎn)還為用戶(hù)編輯提供了優(yōu)勢(shì)。

當(dāng) 3D 生成的結(jié)果與用戶(hù)期望不符時(shí)，可以在低分辨率點(diǎn)云上輕松進(jìn)行局部編輯，無(wú)需擔(dān)心拓?fù)浣Y(jié)構(gòu)。將編輯后的點(diǎn)云輸入網(wǎng)格化階段即可生成更符合用戶(hù)需求的網(wǎng)格。這也使得 SPAR3D 在保持高計(jì)算效率和輸入觀察保真度的同時(shí)，顯著優(yōu)于以往的回歸方法。

實(shí)驗(yàn)

主要結(jié)果

該團(tuán)隊(duì)在 GSO 和 Omniobject3D 數(shù)據(jù)集上對(duì) SPAR3D 與其他基線方法進(jìn)行了定量比較。如表 1 和表 2 所示，SPAR3D 在兩個(gè)數(shù)據(jù)集的大多數(shù)評(píng)估指標(biāo)上都顯著優(yōu)于其他回歸或生成式基線方法。

圖 5 展示了不同方法的定性結(jié)果對(duì)比：基于回歸的方法 (如 SF3D、TripoSR) 生成的 3D 資產(chǎn)雖然與輸入的圖像保持了較好的一致性，但背面過(guò)于平滑；基于多視圖擴(kuò)散的方法（如 LGM、CRM）生成的 3D 資產(chǎn)雖然在背面保留了較多細(xì)節(jié)，但存在明顯偽影；而純生成方法（如 Shap-E、LN3Diff）雖然能生成清晰的表面輪廓，但細(xì)節(jié)經(jīng)常出錯(cuò)。

相比之下，SPAR3D 不僅能忠實(shí)重現(xiàn)輸入圖像，還能合理生成被遮擋部分的細(xì)節(jié)。

圖 6 進(jìn)一步展示了其在真實(shí)場(chǎng)景圖像上的出色泛化性能。

可編輯的結(jié)果

SPAR3D 采用顯式點(diǎn)云作為中間表示，為用戶(hù)提供了進(jìn)一步編輯模型的能力。通過(guò)點(diǎn)云，用戶(hù)可以靈活地修改重建網(wǎng)格的不可見(jiàn)部分。

圖 7 展示了幾個(gè)編輯示例，比如為 3D 模型添加關(guān)鍵組件，還能優(yōu)化生成效果不理想的細(xì)節(jié)部分。

這種編輯方式簡(jiǎn)單高效，讓用戶(hù)能夠根據(jù)需求輕松調(diào)整重建結(jié)果。

消融實(shí)驗(yàn)

研究團(tuán)隊(duì)通過(guò)消融實(shí)驗(yàn)驗(yàn)證了點(diǎn)采樣階段的關(guān)鍵作用。他們將 SPAR3D 簡(jiǎn)化為純回歸模型 SPAR3D w/o Point（移除點(diǎn)采樣階段），并在 GSO 和 Omniobject3D 數(shù)據(jù)集上進(jìn)行對(duì)比。

實(shí)驗(yàn)結(jié)果顯示，完整的 SPAR3D 明顯優(yōu)于簡(jiǎn)化版本，驗(yàn)證了該設(shè)計(jì)的有效性。

分析

該團(tuán)隊(duì)設(shè)計(jì)了實(shí)驗(yàn)來(lái)進(jìn)一步理解 SPAR3D 的工作原理。在設(shè)計(jì) SPAR3D 時(shí)，其核心假設(shè)是兩階段設(shè)計(jì)能有效分離單目 3D 重建中的不確定部分 (背面建模) 和確定性部分 (可見(jiàn)表面建模)。

理想情況下，網(wǎng)格化階段應(yīng)主要依靠輸入圖像重建可見(jiàn)表面，同時(shí)依靠點(diǎn)云生成背面。為驗(yàn)證這一點(diǎn)，研究團(tuán)隊(duì)進(jìn)行了一個(gè)特殊的實(shí)驗(yàn)：故意將不匹配的數(shù)據(jù)輸入系統(tǒng)（一張松鼠的圖片配上一匹馬的點(diǎn)云數(shù)據(jù)），以測(cè)試系統(tǒng)如何處理這種沖突的輸入。