幾何紋理重建新SOTA！浙大提出SIFU：單圖即可重建高質(zhì)量3D人體模型

作者：新智元 2024-01-18 12:37:31

本文提出側(cè)視圖條件隱式函數(shù)和3D一致性紋理編輯方法，彌補了以往工作在2D特征轉(zhuǎn)換到3D空間、紋理預(yù)測時對先驗知識引入的不足，極大的提高了單張圖片人體重建的精度和效果，使模型在真實世界應(yīng)用中具有顯著的優(yōu)勢，也為該領(lǐng)域未來的研究提供了新的思路。

在AR、VR、3D打印、場景搭建以及電影制作等多個領(lǐng)域中，高質(zhì)量的穿著衣服的人體3D模型非常重要。

傳統(tǒng)的方法創(chuàng)建這些模型不僅需要大量時間，還需要能夠捕捉多視角照片的專業(yè)設(shè)備，此外還依賴于技術(shù)熟練的專業(yè)人員。

SIFU重建3D人體模型用于場景搭建

與此相反，在日常生活中，我們最常見的是通過手機相機拍攝的或在各種網(wǎng)頁上找到的人像照片。

因此，一種能從單張圖像準確重建3D人體模型的方法可以顯著降低成本，并簡化獨立創(chuàng)作的過程。

以往方法（左）與本文方法技術(shù)路線比較（右）

以往的深度學(xué)習(xí)模型用于3D人體重建，往往需要經(jīng)過三個步驟：從圖像中提取2D特征，將2D特征轉(zhuǎn)到3D空間，以及3D特征用于人體重建。

然而這些方法在2D特征轉(zhuǎn)換到3D空間的階段，往往忽略了人體先驗的引入，導(dǎo)致特征的提取不夠充分，最終重建結(jié)果上會出現(xiàn)各種缺陷。

SIFU與其他SOTA模型重建效果比較

此外，在對紋理預(yù)測的階段，以往模型僅僅依靠訓(xùn)練集中學(xué)得的知識，缺少真實世界的先驗知識，也往往導(dǎo)致不可見區(qū)域的紋理預(yù)測較差。

SIFU在紋理預(yù)測階段引入先驗知識，增強不可見區(qū)域（背部等）的紋理效果。

對此，來自浙江大學(xué)ReLER實驗室的研究人員提出SIFU模型，依靠側(cè)視圖條件隱函數(shù)從單張圖片重建3D人體模型。

圖片

論文地址：https://arxiv.org/abs/2312.06704

項目地址：https://github.com/River-Zhang/SIFU

該模型通過在2D特征轉(zhuǎn)換到3D空間引入人體側(cè)視圖作為先驗條件，增強幾何重建效果。并在紋理優(yōu)化階段引入預(yù)訓(xùn)練的擴散模型，來解決不可見區(qū)域紋理較差的問題。

模型結(jié)構(gòu)

模型pipeline如下：

圖片

該模型運行可分為兩個階段，第一階段借助側(cè)隱式函數(shù)重建人體的幾何（mesh）與粗糙的紋理（coarse texture），第二階段則借助預(yù)訓(xùn)練的擴散模型對紋理進行精細化。

在第一階段中，作者設(shè)計了一種獨特的Side-view Decoupling Transformer，通過global encoder提取2D特征后，在decoder中引入了人體先驗?zāi)Ｐ蚐MPL-X的側(cè)視圖作為query，從而在圖像2D特征中解耦出人體不同方向的3D特征（前后左右），最后用于重建。

該方法成功的在2D特征轉(zhuǎn)換到3D空間時結(jié)合人體先驗知識，從而使得模型有更好的重建效果。

在第二階段，作者提出一種3D一致性紋理優(yōu)化流程（3D Consistent Texture Refinement），首先將人體不可見的區(qū)域（側(cè)面、背面）可微渲染成視角連續(xù)的圖片集，再借助在海量數(shù)據(jù)中學(xué)習(xí)到先驗知識的擴散模型，對粗糙紋理圖片進行一致性編輯，得到更精細的結(jié)果。最后通過精細化前后的圖片計算損失來優(yōu)化3D模型的紋理貼圖。