SHMT：通過潛在擴散模型進行自監督分層化妝轉移（阿里&武漢理工）
本文經AIGC Studio公眾號授權轉載，轉載請聯系出處。
當前的妝容轉移技術面臨兩個主要挑戰：
- 缺乏成對數據，導致模型訓練依賴于低質量的偽配對數據，從而影響妝容的真實感；
- 不同妝容風格對面部的影響各異，現有方法難以有效處理這種多樣性。
今天給大家介紹的方法是由阿里聯合武漢理工等提出的自監督層次化妝轉移方法（SHMT），可以將多樣化的妝容風格自然且精準地應用于給定的面部圖像。SHMT通過采用“解耦與重構”的自監督學習策略，避免了偽配對數據的誤導。同時，SHMT利用拉普拉斯金字塔分解層次化的紋理細節，靈活控制妝容風格的保留與舍棄。除了顏色匹配之外，該方法還可以靈活控制保留或丟棄各種化妝風格的紋理細節，而不會改變臉型。
相關鏈接
- 論文：http://arxiv.org/abs/2412.11058v1
- 主頁：https://github.com/Snowfallingplum/SHMT
論文介紹
摘要
本文研究了化妝遷移這一具有挑戰性的任務，旨在將各種化妝風格精確而自然地應用于給定的面部圖像。由于缺乏配對數據，當前的方法通常合成次優的偽基本事實來指導模型訓練，導致化妝保真度低。此外，不同的化妝風格通常對人臉有不同的影響，但現有的方法很難處理這種多樣性。為了解決這些問題，我們提出了一種通過潛在擴散模型的新型自監督分層化妝遷移 (SHMT) 方法。遵循“解耦和重建”范式，SHMT 以自監督的方式工作，擺脫了不精確的偽配對數據的誤導。此外，為了適應各種化妝風格，通過拉普拉斯金字塔分解分層紋理細節并有選擇地引入內容表示。最后，我們設計了一個新穎的迭代雙重對齊 (IDA) 模塊，該模塊可以動態調整擴散模型的注入條件，從而糾正由內容和化妝表示之間的域差距引起的對齊誤差。廣泛的定量和定性分析證明了我們方法的有效性。
方法
SHMT 的框架。面部圖像 I 被分解為背景區域 Ibg、化妝表示 Im 和內容表示 (I3d, hi)。通過從這些組件重建原始圖像來模擬化妝傳輸過程。構建了分層紋理細節 hi 以響應不同的化妝風格。在每個去噪步驟 t 中，IDA 利用嘈雜的中間結果 ?It 來動態調整注入條件以糾正對齊錯誤。
結果
在簡單的化妝風格上與基于 GAN 的基線進行定性比較。
與基于gan的復雜妝容基線的定性比較。
簡單妝容與穩定妝容基線的定性比較
與穩定妝容基線在復雜妝容上的定性比較。
結論
本文提出了一種自監督分層妝容遷移 (SHMT) 方法。該方法采用自監督策略進行模型訓練，擺脫了以前方法中偽配對數據的誤導。得益于分層紋理細節，SHMT 可以靈活控制紋理細節的保留或丟棄，使其能夠適應各種妝容風格。此外，所提出的 IDA 模塊能夠有效地糾正對齊錯誤，從而提高妝容保真度。定量和定性分析都證明了我們的 SHMT 方法的有效性。
