目前用于人類生成相關的「可動畫3D感知GAN」方法主要集中在頭部或全身的生成，不過僅有頭部的視頻在真實生活中并不常見，全身生成任務通常不會控制人物的面部表情，并且很難提高生成質量。

為了提高視頻化身（video avatar）的可應用性，來自港科大、清華等機構的研究人員提出了一個新模型AniPortraitGAN，可以生成具有可控面部表情、頭部姿勢和肩部運動的肖像圖像；訓練過程只依賴非結構化的2D圖像，無需3D或視頻數據。

論文鏈接：https://arxiv.org/pdf/2309.02186.pdf

該方法基于生成輻射流形表征，配備了可學習的面部和頭肩變形；引入了一種雙攝像頭渲染和對抗學習方案以提高生成的人臉的質量，對于人像生成來說至關重要；開發了一個姿勢變形處理網絡，以在困難的區域生成合理的變形，如長發等。

實驗結果表明，該方法在非結構化的2D圖像上訓練，可以生成不同的和高質量的3D肖像與所需的控制不同的屬性。

方法概述

研究人員的目標是通過對給定的2D圖像集合進行訓練，來生成包含人類頭部和肩部區域的肖像圖。

模型架構與標準GAN類似，對隨機潛碼進行采樣，并將其映射到最終輸出圖像中，其中生成器的輸入包括多個潛碼，對應于生成人物的不同屬性以及相機視角，輸出為帶有預期屬性的人物肖像。

整個過程遵循規范神經輻射（canonical neural radiance）表征與（逆）變形（deformation）相結合的常用范式。

1. 潛碼

包括用于人物身材的身份編碼（identify code）、用于面部表情的編碼、用于身體和肩膀姿態的編碼、以及一個額外的噪聲用于控制其他諸如外貌（appearance）等屬性的編碼。

為了實現語義上的可控，研究人員采用之前的3D人體參數模型，并將二者的潛空間對齊。

具體來說，將身份編碼設計為3DMM面部身份系數和SMPL身材系數的級聯；姿態編碼是一個簡化的SMPL姿態參數，包括6個關節的聯合變換：頭部、頸部、左右衣領和左右肩膀；表情編碼與3DMM表情系數相同。

2. 經典輻射流形（Canonical Radiance Manifolds）

研究人員使用輻射流形來表示普通的人類特征（canonical humans），該表征可以控制輻射場在一組3D隱式表面上的學習和渲染，能夠生成具有嚴格多視圖一致性的高質量人臉。

具體來說，模型使用三個網絡來生成輻射：

1）流形預測MLP以正則空間（canonical space）中的點為輸入，預測結果為一個實數標量來定義表面。

2）輻射生成MLP基于身份編碼、噪聲和視圖方向來生成表面點的顏色和透明度。

3）流形超分辨率CNN，將平坦、離散的輻射圖（128*128）上采樣到高分辨率（512*512）輻射圖。

3. 變形域（deformation）

對于目標空間中具有預期頭肩姿勢和面部表情的每個采樣3D點，都應用變形操作將其轉換到用于輻射檢索的規范空間。

姿態變形生成器（pose deformation generator）

結合SMPL模型，使用其線性混合蒙皮（LBS）方案來引導姿態變形。

給定形狀編碼和姿態編碼，可以使用SMPL構建姿態人體網格，為身體表面上的每個頂點提供預定義的蒙皮權重向量。

一種將身體變形傳播到整個3D空間的簡單方法是給每個點都分配到最近身體表面頂點的蒙皮權重，再進行變形；不過這種策略雖然廣泛用于最先進的可動畫人體建模和生成方法，并且可以給出合理的全身合成結果，但在高分辨率人像合成中存在明顯的視覺缺陷。

對于長頭發的人類角色，該策略會導致肩膀以上的頭發區域出現明顯的變形不連續性。

研究人員提出了一個可變形體積處理（deformation volume processing）模塊來解決這個問題，對于目標空間中，從最近SMPL身體頂點取回的，蒙皮權重向量為w的一個點x^t，變形后的點可以通過逆LBS計算得到：

經過處理后，對變換進行reshape，并將其應用于采樣點以完成姿態變形。

表情變形生成器（Expression Deformation Generator）

研究人員引入了一個由3DMM模型引導的變形場，具體來說，利用MLP對位姿空間（pose-aligned space）中的點進行變形，訓練目標是根據3DMM生成帶表情的人臉。

4. 雙相機判別器（Dual-Camera Discriminator）

之前的3D感知頭部GANs已經通過仔細地將生成的和真實的人臉圖像居中對齊以進行訓練，已經展現出了非常高的人臉生成質量。

但頭部區域是肖像圖的一部分，其空間位置和方向變化很大，簡單地應用全圖像鑒別器不能為高質量的人臉生成提供足夠的監督信號，而高質量的人臉生成對于肖像圖是至關重要的。

一個直接的補救措施是裁剪和對齊渲染圖像中的人臉，并應用局部人臉鑒別器，但圖像重采樣算子本質上是低通的（low-pass），圖像空間裁剪策略會讓裁剪的人臉更模糊，對GAN的訓練是有害的。

研究人員設計了一個雙攝像頭渲染方案用于GAN訓練，除了用于完整人像圖像渲染的主攝像機之外，還添加了另一個用于面部渲染的攝像機，放置在頭部周圍，并指向頭部中心。

模型在設計上和以前3D感知頭部GANs具有相同的局部坐標系，并且位置可以使用變形的SMPL頭部計算。

另一個可能的想法類似2D人體生成方法，混合兩個獨立的面部和身體生成器的輸出，但將這種策略應用到3D動畫案例中并不容易。

添加用于訓練的專用人臉相機不僅避免了圖像重采樣，并為規范輻射流形提供了更直接的監督，而且還實現了用于對抗性學習的更高分辨率的人臉渲染，因此，輻射生成器可以接收到對面部區域更強的監督信號。

5. 訓練損失

對抗學習（Adversarial Learning）

將具有R1正則化的非飽和GAN損失應用于3D感知圖像生成器和所有三個判別器中，根據經驗將平衡權重分別設置為whole=0.1、face=1.0和torso=0.5

變形學習（Deformation Learning）

使用3D landmark損失和模仿損失來獲得具有3DMM引導的表情控制，損失強制所生成的人臉圖像具有與用所述輸入身份和表情代碼構造的3DMM人臉相似的3D人臉landmark：

其中zid、zexp是使用人臉重建網絡從生成的圖像估計的3DMM系數，f_lm表示簡單的人臉landmark提取函數。

在變形模仿上，強制輸入點x^p的位移在3DMM網格跟隨其最近的點x_ref：

再引入幾個變形正則化項：

6. 訓練策略

研究人員采用兩階段訓練策略來訓練模型：

先訓練一個低分辨率圖像生成器和相應的判別器，面部和肖像分支都生成128×128的圖像，除了流形超分辨率CNN網絡之外，訓練所有的子網絡。

在第二階段，生成512×512的肖像圖和256×256的人臉，隨機初始化和訓練高分辨率鑒別器，凍結其他子網絡。

實驗部分

訓練數據

研究人員通過處理SHHQ數據集中的人類圖像來構建訓練集，原始數據集包含4萬張1024×512分辨率的全身圖像。

為了獲得高質量的頭肩肖像，首先在SHHQ圖像上擬合SMPL模型，然后裁剪圖像，并使用投影的頭部和頸部關節對齊，裁剪后的人像圖像分辨率約為256×256，再使用超分辨率方法將其上采樣到1024×1024后下采樣到512 × 512；最后通過分割蒙版來移除背景。

生成結果

模型的生成結果非常多樣且高質量，相機視角、面部表情，頭部旋轉和肩部姿勢被明確控制。

在控制屬性時，該方法實現了對不同身份的所有四個屬性的一致控制。

實驗對比

研究人員將該方法與三種最先進的三維感知GANs進行了比較：EG3D、GRAM-HD和AniFaceGAN，因為目前還沒有可動畫頭肩肖像生成任務的模型，所以對比結果也僅供參考。

可以看到，在完整肖像圖像和面部區域上評估的FID和KID指標中，該方法在人臉方面的得分與EG3D和GRAMHD相當，在全圖像方面的得分略低。

值得注意的是，雖然EG3D的得分最低，但研究人員發現該模型經常生成較差的幾何形狀：人像表面有時幾乎是平面的，當改變視角時，視覺視差是錯誤的。

從視覺上看，文中方法的圖像質量與EG3D和GRAM-HD相當，并且肖像具有正確的幾何形狀，但該方法可以生成和控制更大的區域。