近年來(lái)，虛擬數(shù)字人行業(yè)爆火，各行各業(yè)都在推出自己的數(shù)字人形象。毫無(wú)疑問(wèn)，高保真度的 3D 頭發(fā)模型可以顯著提升虛擬數(shù)字人的真實(shí)感。與人體的其他部分不同，由于交織在一起的頭發(fā)結(jié)構(gòu)極其復(fù)雜，因此描述和提取頭發(fā)結(jié)構(gòu)更具挑戰(zhàn)性，這使得僅從單一視圖重建高保真的 3D 頭發(fā)模型極其困難。一般來(lái)說(shuō)，現(xiàn)有的方法都是通過(guò)兩個(gè)步驟來(lái)解決這個(gè)問(wèn)題：首先根據(jù)從輸入圖像中提取的 2D 方向圖估計(jì)一個(gè) 3D 方向場(chǎng)，然后根據(jù) 3D 方向場(chǎng)合成頭發(fā)絲。但這種機(jī)制在實(shí)踐中仍在存在一些問(wèn)題。

基于實(shí)踐中的觀察，研究者們正在尋求一個(gè)完全自動(dòng)化和高效的頭發(fā)模型建模方法，可以從具備細(xì)粒度特征的單一圖像重建一個(gè) 3D 頭發(fā)模型（如圖 1），同時(shí)顯示出高度的靈活性，比如重建頭發(fā)模型只需要網(wǎng)絡(luò)的一個(gè)前向傳遞。

為了解決這些問(wèn)題，來(lái)自浙江大學(xué)、瑞士蘇黎世聯(lián)邦理工學(xué)院和香港城市大學(xué)的研究者提出了 IRHairNet，實(shí)施一個(gè)由粗到精的策略來(lái)生成高保真度的 3D 方向場(chǎng)。具體來(lái)說(shuō)，他們引入了一種新穎的 voxel-aligned 的隱函數(shù)（VIFu）來(lái)從粗糙模塊的 2D 方向圖中提取信息。同時(shí)，為了彌補(bǔ) 2D 方向圖中丟失的局部細(xì)節(jié)，研究者利用高分辨率亮度圖提取局部特征，并結(jié)合精細(xì)模塊中的全局特征進(jìn)行高保真頭發(fā)造型。

為了有效地從 3D 方向場(chǎng)合成頭發(fā)絲模型，研究者引入了 GrowingNet，一種基于深度學(xué)習(xí)利用局部隱式網(wǎng)格表征的頭發(fā)生長(zhǎng)方法。這基于一個(gè)關(guān)鍵的觀察：盡管頭發(fā)的幾何形狀和生長(zhǎng)方向在全局范圍內(nèi)有所不同，但它們?cè)谔囟ǖ木植糠秶鷥?nèi)具有相似的特征。因此，可以為每個(gè)局部 3D 方向 patch 提取一個(gè)高級(jí)的潛在代碼，然后訓(xùn)練一個(gè)神經(jīng)隱函數(shù) (一個(gè)解碼器) 基于這個(gè)潛在代碼在其中生長(zhǎng)頭發(fā)絲。在每一個(gè)生長(zhǎng)步驟之后，以頭發(fā)絲的末端為中心的新的局部 patch 將被用于繼續(xù)生長(zhǎng)。經(jīng)過(guò)訓(xùn)練后，它可適用于任意分辨率的 3D 定向場(chǎng)。

論文：https://arxiv.org/pdf/2205.04175.pdf

IRHairNet 和 GrowingNet 組成了 NeuralHDHair 的核心。具體來(lái)說(shuō)，這項(xiàng)研究的主要貢獻(xiàn)包括:

• 介紹了一種新穎的全自動(dòng)單目毛發(fā)建?？蚣埽湫阅苊黠@優(yōu)于現(xiàn)有的 SOTA 方法；
• 介紹了一個(gè)從粗到細(xì)的毛發(fā)建模神經(jīng)網(wǎng)絡(luò)(IRHairNet) ，使用一個(gè)新穎的 voxel-aligned 隱函數(shù)和一個(gè)亮度映射來(lái)豐富高質(zhì)量毛發(fā)建模的局部細(xì)節(jié)；
• 提出了一種基于局部隱函數(shù)的新型頭發(fā)生長(zhǎng)絡(luò)（GrowingNet） ，可以高效地生成任意分辨率的頭發(fā)絲模型，這種網(wǎng)絡(luò)比以前的方法的速度實(shí)現(xiàn)了一定數(shù)量級(jí)的提升。

方法

圖 2 展示了 NeuralHDHair 的 pipeline。對(duì)于人像圖像，首先計(jì)算其 2D 方向圖，并提取其亮度圖。此外，自動(dòng)將它們對(duì)齊到相同的半身參考模型，以獲得半身像深度圖。然后，這三個(gè)圖隨后被反饋到 IRHairNet。

• IRHairNet 設(shè)計(jì)用于從單個(gè)圖像生成高分辨率 3D 頭發(fā)幾何特征。這個(gè)網(wǎng)絡(luò)的輸入包括一個(gè) 2D 定向圖、一個(gè)亮度圖和一個(gè)擬合的半身深度圖，這些都是從輸入的人像圖中得到的。輸出是一個(gè) 3D 方向字段，其中每個(gè)體素內(nèi)包含一個(gè)局部生長(zhǎng)方向，以及一個(gè) 3D 占用字段，其中每個(gè)體素表示發(fā)絲通過(guò) (1) 或不通過(guò)(0)。
• GrowingNet 設(shè)計(jì)用于從 IRHairNet 估計(jì)的 3D 定向場(chǎng)和 3D 占用字段高效生成一個(gè)完整的頭發(fā)絲模型 ，其中 3D 占用字段是用來(lái)限制頭發(fā)的生長(zhǎng)區(qū)域。

更多方法細(xì)節(jié)可參考原論文內(nèi)容。

實(shí)驗(yàn)

在這一部分，研究者通過(guò)消融研究評(píng)估了每個(gè)算法組件的有效性和必要性 (第 4.1 節(jié))，然后將本文方法與當(dāng)前的 SOTA(第 4.2 節(jié)) 進(jìn)行比較。實(shí)施細(xì)節(jié)和更多的實(shí)驗(yàn)結(jié)果可以在補(bǔ)充材料中找到。

消融實(shí)驗(yàn)

研究者從定性和定量的角度評(píng)估了 GrowingNet 的保真度和效率。首先對(duì)合成數(shù)據(jù)進(jìn)行三組實(shí)驗(yàn)：1)傳統(tǒng)的頭發(fā)生長(zhǎng)算法，2)沒(méi)有重疊潛在 patch 方案的 GrowingNet，3)本文的完整模型。

如圖 4 和表 1 所示，與傳統(tǒng)的頭發(fā)生長(zhǎng)算法相比，本文的 GrowingNet 在時(shí)間消耗上具有明顯的優(yōu)勢(shì)，同時(shí)在視覺(jué)質(zhì)量上保持了相同的生長(zhǎng)性能。此外，通過(guò)比較圖 4 的第三列和第四列，可以看到，如果沒(méi)有重疊潛在 patch 方案，patch 邊界處的發(fā)絲可能是不連續(xù)的，當(dāng)發(fā)絲的生長(zhǎng)方向急劇變化時(shí)，這個(gè)問(wèn)題就更加嚴(yán)重。不過(guò)值得注意的是，這種方案以略微降低精度為代價(jià)，大大提高了效率，提高效率對(duì)于其方便、高效地應(yīng)用于人體數(shù)字化是有重要意義的。

與 SOTA 方法對(duì)比

為了評(píng)估 NeuralHDHair 的性能，研究者將其與一些 SOTA 方法 [6,28,30,36,40] 進(jìn)行了對(duì)比。其中 Autohair 基于數(shù)據(jù)驅(qū)動(dòng)的方法進(jìn)行頭發(fā)合成，而 HairNet [40]忽略頭發(fā)生長(zhǎng)過(guò)程來(lái)實(shí)現(xiàn)端到端的頭發(fā)建模。相比之下，[28,36]執(zhí)行一個(gè)兩步策略，首先估計(jì)一個(gè) 3D 方向場(chǎng)，然后從中合成發(fā)絲。PIFuHD [30]是一種基于粗到細(xì)策略的單目高分辨率 3D 建模方法，可以用于 3D 頭發(fā)建模。

如圖 6 所示，HairNet 的結(jié)果看起來(lái)差強(qiáng)人意，但是局部的細(xì)節(jié)，甚至整體的形狀與輸入圖像中的頭發(fā)不一致。這是因?yàn)樵摲椒ㄓ靡环N簡(jiǎn)單而粗糙的方式來(lái)合成頭發(fā)，直接從單一的圖像中恢復(fù)無(wú)序的發(fā)絲。

這里還將重建結(jié)果與 Autohair[6]和 Saito[28]進(jìn)行了比較。如圖 7 所示，雖然 Autohair 可以合成真實(shí)的結(jié)果，但結(jié)構(gòu)上不能很好地匹配輸入圖像，因?yàn)閿?shù)據(jù)庫(kù)包含的發(fā)型有限。另一方面，Saito 的結(jié)果缺乏局部細(xì)節(jié)，形狀與輸入圖像不一致。相比之下，本文方法的結(jié)果更好地保持了頭發(fā)的全局結(jié)構(gòu)和局部細(xì)節(jié)，同時(shí)確保了頭發(fā)形狀的一致性。

PIFuHD [30]和 Dynamic Hair [36]則致力于估計(jì)高保真度的 3D 頭發(fā)幾何特征，以生成真實(shí)的發(fā)絲模型。圖 8 展示了兩個(gè)有代表性的比較結(jié)果?？梢钥闯觯琍IFuHD 中采用的像素級(jí)隱函數(shù)無(wú)法充分描繪復(fù)雜的頭發(fā)，導(dǎo)致結(jié)果過(guò)于光滑，沒(méi)有局部細(xì)節(jié)，甚至沒(méi)有合理的全局結(jié)構(gòu)。Dynamic Hair 可以用較少的細(xì)節(jié)產(chǎn)生更合理的結(jié)果，而且其結(jié)果中的頭發(fā)生長(zhǎng)趨勢(shì)可以很好地匹配輸入圖像，但許多局部結(jié)構(gòu)細(xì)節(jié) (例如層次結(jié)構(gòu)) 無(wú)法捕獲，特別是對(duì)于復(fù)雜的發(fā)型。相比之下，本文的方法可以適應(yīng)不同的發(fā)型，甚至是極端復(fù)雜的結(jié)構(gòu)，并充分利用全局特征和局部細(xì)節(jié)，生成高保真、高分辨率的具有更多細(xì)節(jié)的 3D 頭發(fā)模型。

? ?