單張照片生成3D頭部模型！Adobe提出FaceLift，從單一人臉圖像重建360度頭部模型
本文經AIGC Studio公眾號授權轉載，轉載請聯系出處。
FaceLift是Adobe和加州大學默塞德分校推出的單圖像到3D頭部模型的轉換技術,能從單一的人臉圖像中重建出360度的頭部模型。FaceLift基于兩階段的流程實現:基于擴散的多視圖生成模型從單張人臉圖像生成一致的側面和背面視圖;生成的視圖被輸入到GS-LRM重建器中,產出詳細的3D高斯表示。
FaceLift能精確保持個體的身份特征,生成具有精細幾何和紋理細節的3D頭部模型。FaceLift支持視頻輸入,實現4D新視圖合成,能與2D面部重動畫技術無縫集成,實現3D面部動畫。
相關鏈接
- 主頁: https://www.wlyu.me/FaceLift
- GitHub: https://github.com/weijielyu/FaceLift
- 論文: https://arxiv.org/pdf/2412.17812
論文介紹
FaceLift是一種新穎的前饋方法，可從單張圖像快速、高質量地重建 360 度頭部。流程首先采用多視圖潛在擴散模型，該模型可從單個面部輸入生成一致的頭部側面和背面視圖。然后，這些生成的視圖作為 GS-LRM 重建器的輸入，GS-LRM 重建器使用高斯 Splats 生成全面的 3D 表示。為了訓練系統，使用了合成的 3D 人體頭部資產開發了一個多視圖渲染數據集。基于擴散的多視圖生成器專門在合成頭部圖像上進行訓練，而 GS-LRM 重建器在 Objaverse 上進行初始訓練，然后在合成頭部數據上進行微調。FaceLift擅長在重建過程中保留身份和維持視圖一致性。盡管僅在合成數據上進行訓練，但我們的方法仍表現出對真實世界圖像的顯著泛化能力。通過大量的定性和定量評估表明FaceLift在 3D 頭部重建方面的表現優于最先進的方法，凸顯了其實用性和在真實圖像上的穩健性能。除了單幅圖像重建外，FaceLift還支持視頻輸入以進行 4D 新穎視圖合成，并與 2D 動畫技術無縫集成以實現 3D 面部動畫。
方法
FaceLift概述。 給定一張人臉圖像作為輸入，我們訓練一個圖像調節的多視圖擴散模型來生成覆蓋整個頭部的全新視圖。通過利用預先訓練的權重和高質量的合成數據，我們的多視圖潛在擴散模型可以以高保真度和多視圖一致性幻化出人頭的未見視圖。然后，我們對 GS-LRM 進行微調，它將多視圖圖像及其相機姿勢作為輸入，并生成 3D 高斯圖塊來表示人頭。生成的 3D 高斯表示支持全頭部全新視圖合成。
結果
單幅圖像到 3D 頭部
FaceLift 是一種前饋方法，它將單個面部圖像提升為具有保留身份特征的詳細 3D 重建。
視頻作為 4D 新視圖合成的輸入
給定視頻作為輸入，FaceLift 單獨處理每一幀并生成 3D 高斯序列，從而實現 4D 新穎視圖合成。
FaceLift 可以與LivePortrait 等 2D 面部動畫方法結合，實現 3D 面部動畫。
結論
FaceLift是一種前饋方法，可將單個面部圖像提升為具有保留身份特征的詳細 3D 重建。FaceLift 使用多視圖擴散來生成不可觀察的視圖，并使用 GS-LRM 來重建 3D 高斯圖，從而實現高質量的新視圖合成。為了克服捕捉現實世界多視圖人頭圖像的困難，渲染了高質量的合成數據進行訓練，并表明，盡管僅使用合成數據進行訓練，FaceLift 仍可以從現實世界捕獲的圖像中高保真地重建 3D 頭部。與基線相比，FaceLift 生成具有更精細幾何和紋理細節的 3D 頭部表示，并表現出更好的身份保存能力。
