自由編輯人臉打光：基于生成模型的三維重光照系統上線
真實人臉的三維建模、合成與重光照是計算機圖形學領域中具有較高應用價值的研究方向。受限于人臉的復雜皮膚組織結構，對于光照效果的準確計算往往依賴前置精細的幾何材質建模，以及復雜的光路模擬，需要較高的硬件成本與計算時間開銷。
現有方法在消費級硬件上已經成功地利用隱式生成網絡快速合成超真實感三維人臉，從中隱式解耦出光照的想法由于只需要較低的硬件成本與可以實現高質量的真實效果成為了潛在的研究方向。但是，光影效果與材質之間存在很強的歧義性問題，在保證生成網絡的多樣性情況下，很難采集到大量真實數據去解決光影與材質之間的歧義性。
而發表在計算機圖形學頂級期刊 ACM Transactions on Graphics (ToG) 上的 NeRFFaceLighting [1] 即在隱式解耦人臉光照方向，利用生成模型學習到的分布先驗，實現了真實光影的解耦。
NeRFFaceLighting 構建了一個解耦了光影控制的三維人臉生成模型。在確定了人臉的幾何和材質之后，用戶只需要給定期望的光影效果和相機視角，即可以實時生成對應的人臉圖像。
基于該方法的三維人臉重光照系統，即使用戶不熟悉三維建模以及光照模型，也可以輕松的從二維真實人臉圖像中恢復出三維人臉模型，并對光影效果進行適當的調整。先來看看使用 NeRFFaceLighting 的效果！
圖 1 使用 NeRFFaceLighting 系統對輸入的真實人臉圖像重光照效果
圖 2 NeRFFaceLighting 更多的重光照效果
Part I 背景
近些年，隨著神經輻射場 [2] 與對抗式生成網絡 [3] 的結合，各種高質量、快速渲染的三維人臉生成網絡被提出，其中包括 EG3D [4]。
圖 3 EG3D 的不同視角的生成效果與幾何表示
該方法的三平面表示結合了傳統的二維對抗式生成網絡和最新的三維隱式表征，因此繼承了 StyleGAN [5] 的強大生成能力和神經輻射場的表征能力。但是，這些生成模型本身是無條件生成，并不能對人臉的光影進行解耦控制。
已有工作有的通過對三維人臉生成網絡隱空間中隱變量編輯的方式實現三維人臉光影控制，但是難以保證超出人臉區域的幾何一致性。另一些工作通過顯式光影模型與固定幾何建模可以實現幾何一致性較好的三維人臉重光照，但是真實感不夠。
為了解決上述的問題，NeRFFaceLighting 分解了三平面表示為幾何材質三平面和光影三平面來保證光影編輯時的幾何材質一致性，并且通過條件判別器監督光影效果的真實性。在基于這種網絡隱式生成的幾何材質與光影分解表示的基礎上，NeRFFaceLighting 充分利用了對抗式生成網絡從稀疏的數據集中學到稠密空間的能力，約束單個生成樣本表現出數據集整體分布特點，來消解這種隱式幾何、材質與光影分解的歧義性。因而，在訓練好了解耦光影控制的三維人臉生成網絡之后，NeRFFaceLighting 額外訓練了一個編碼器將真實人臉編碼到生成網絡，從而實現真實的光影控制和新視角生成。
Part 2 NeRFFaceLighting 的算法原理
在原本的三平面生成器基礎上，NeRFFaceLighting 附加了兩層合成塊，用于在合成了原本的三平面之后合成光影三平面，作為獨立的光影表示。此外，描述光照條件的二階球諧光照系數通過映射網絡變為中間光影隱變量之后，作為條件指導光影三平面的生成。從而，在僅改變光影隱變量時，原本的三平面保持不變，而光影三平面發生變化；原本的三平面被認為是包含除光影之外的，也即幾何與材質的信息。原本的隱空間也被認為是幾何與材質的隱空間。
給定幾何與材質三平面和光影三平面之后，原本的解碼器從幾何與材質的三平面中采樣的特征解碼出密度 σ 和反照率 a（對應于原本的顏色，但是賦予了不同的含義），而新構建的光影解碼器從光影三平面中采樣的特征解碼出光影 s，最終的顏色由 c=s?a 給出。通過體渲染，密度與反照率組合構成反照率圖，而密度與顏色組合構成最終的人臉圖像。
人臉圖像被送入圖像判別器和光影判別器中判別真偽，其中圖像判別器是原本的判別器，而光影判別器是輸入二階球諧光照系數作為條件的。因此，NeRFFaceLighting 使用 DPR [6] 對真實人臉數據集 FFHQ 中每張人臉標注了光影條件。
整體網絡結構如下圖所示：
圖 4 NeRFFaceLighting 的網絡架構
除此之外，隱式分解幾何、材質和光影本身是具有歧義性的，因為野外采集的大規模真實人臉圖像是不包含同一個人，不同光影狀況下的多張圖片的，所以無法保證網絡沒有把材質建模為光影，或者是把光影建模為材質。
針對光影信息殘留在材質表示中的問題，NeRFFaceLighting 觀察到對抗式生成網絡具有從稀疏數據集學習到稠密生成空間的能力，即對于一個生成樣本，生成網絡可以輕松生成具有相同幾何與不同材質和光影效果的其他樣本，并且這些幾何相同的其他樣本的光影效果往往與數據集的光影效果分布近似，即便材質并不相同。又觀察到一個充分的大規模數據集中光影分布是呈中心對稱，即光影分布的均值即為未知的無光影狀態，NeRFFaceLighting 提出利用這些幾何相同的樣本來互相提供監督，約束每個樣本的材質中殘留的光影信息趨于均值，即無殘留光影的狀態，從而間接約束光影的效果準確。（具體的分析和解釋可以見論文的補充材料。）
另外，NeRFFaceLighting 還強化了隱式光影模型對數據集中未知光影效果泛化能力以及減輕材質信息建模到光影表示中的可能。（具體的細節請見論文。）約束流程如下圖所示：
圖 5 幾何、材質與光影分解有效性約束策略
最后，NeRFFaceLighting 使用 Encoder-For-Editing [7] 作為基線模型，使用了一些額外的約束來訓練一個編碼器，將真實圖像編碼到生成器的幾何與材質隱空間中，再結合 Pivotal Tuning Inversion [8] 實現真實圖像的準確三維重建。在此之后，即可通過給定二階球諧系數與相機視角的方式，來實現新視角重光照了。
Part 3 效果展示與實驗對比
使用 NeRFFaceLighting，可以對生成出來的三維人臉進行光影控制（請注意 (a) 中額頭的高光；(b) 中眼鏡打在臉上的陰影；(c) 中頭發的光影；(d) 中脖子上的陰影）：
圖 6 三維人臉光影控制（反照率被放置在了人臉圖像右下邊作為參考）
這里展示對幾何和材質隱空間，和光影隱空間分別進行插值：
圖 7 三維人臉幾何與材質隱變量插值效果，以及光影隱變量插值效果
除此之外，這里展示了引入的分解有效性訓練策略引起的光影與材質歧義性消解：
圖 8 反照率在訓練前和訓練后的結果對比（注意，因為是生成模型，所以人臉身份信息會不一樣）
最后，結合編碼器，可以實現真實二維人臉圖像的三維重建以及重光照：
圖 9 真實人臉圖像重光照效果：從二維人臉圖像中重建三維人臉模型，并進行重光照
NeRFFaceLighting 在生成質量和多樣性上，通過 Frechet Inception Distance [9] 與其他方法進行了對比，如表 3-1 所示達到了最好的結果；在光照準確性和穩定性上，通過 DECA [10] 預測面部區域的光照系數（不考慮頭發、脖子等區域）與其他方法進行了對比，如表 3-2 所示達到了較好的結果，DisCoFaceGAN [11] 和 3DFaceShop [12] 由于有對應的 3DMM 真值監督，指標更好，但很難在保持幾何一致性的情況下，在非面部區域也取得逼真的光影效果。
表 3-1 生成模型質量和多樣性對比。
表 3-2 重光照準確性和穩定性對比。加粗了第一的指標，用下劃線標注了第二的指標，和雙下劃線標注了第三的指標。
Part 4 結語與致謝
數字內容生成在工業制作和數字媒體領域有著廣泛的應用，尤其是虛擬數字人的生成與編輯，在近期受到了廣泛的關注，而三維人臉光影的解耦真實編輯就是該領域的一個重要問題。解決該問題促進了下游二維真實人臉圖像新視角合成和重光照的應用。
NeRFFaceLighting 系統通過對三維人臉生成網絡進行光照解耦設計，可以對三維人臉（包括頭發、脖子等）進行不依賴顯式光影模型的實時重光照，NeRFFaceLighting 的論文已經被計算機圖形學頂級刊物 ACM Transactions on Graphics 錄用。
目前，NeRFFaceLighting 已經提供在線服務供大家使用。在線系統由中國科學院計算技術研究所信息高鐵云函數平臺提供底層計算服務支持，由中科南京信息高鐵研究院提供底層算力及工程服務支持。
在線服務鏈接：http://geometrylearning.com/NeRFFaceLighting/interface
