日本CG大神又整活了!3D建模軟件拿來搞面部實時捕捉
本文經AI新媒體量子位(公眾號ID:QbitAI)授權轉載,轉載請聯系出處。
最近,拿Maya加一個換臉軟件就能做到的實時面部捕捉在日推火了:

不管怎么擠眉弄眼,褶子和肌肉的細微變化都跟得上。
連續兩個演示視頻點贊分別突破4k和3k,甚至被網友評價為“效果好得有點可怕”。

怎么說呢……直接杵一個臉在攝像頭前,就能實時替換臉部表情確實更方便。
至少和滿臉小點+機械裝置比起來,不再那么密恐福利了……

開發者橫原大和(Hirokazu Yokohara) 是日本的一位“全才”藝術家,3D建模、場景、特效、甚至像這種沾邊前沿科技的活兒都會做。
比如我們之前介紹過的那位在電車上啾咪順拐的萌妹,也是出自這位大神之手:

接下來,我們先從他這次所用的技術開始了解。
又見DeepFake
橫山提到,他在幾天前看到有人將UE5和DeepFace Live結合起來,直接合成了一個視頻:

于是他便也起了心思,打算用Maya試試看。并且他還實現了實時面部捕捉的效果。

具體來說,技術方案是Maya + 換臉軟件DeepFace Live。
其中Maya是有軟件自帶的面部綁定系統。
而DeepFace Live聽名字就知道,與曾經爆火的DeepFake有關。
這是一種利用機器學習中的深度學習實現的深度視頻換臉的技術,基于這種技術誕生了無數的下載即用,甚至在線可玩的工具和軟件。
(肌肉金輪就是其成果之一)
DeepFace Live就是其中一種。

這是一個去年剛剛公開的開源工具,特點是可以在流媒體或直播視頻中實時換臉,也就是說讓用戶通過網絡攝像頭應用面部過濾器,與大多數基于視頻的流媒體和信息服務結合使用。
比如常見的Skype,Zoom,Tik Tok,Twitch上都可以使用:

當然,DeepFaceLive的人臉交換功能也可以應用于預先錄制的視頻。
開發者是來自俄羅斯的Iperov,同時,他也是曾經應用最廣泛的DeepFaceLab的開發者質之一。

開發者也是老二刺猿了
至于這位橫原大神本身,我們開頭介紹過,這是一位在各領域都造詣頗深的通才。
他來自東京的khaki工作室,主要負責為CM,MV,動畫,大型游戲等各種媒體或設備設計視覺特效(VFX)。
不說工作室的名字,只說他們的作品,總有一款你熟悉的。
比如陰陽師2017年的這個宣傳PV:

2020年的VR游戲設備hexaRide中的第一款合作游戲,《攻殼機動隊》的CG:

還為世界第一的公主殿下做過MV:
怎么說呢,老二刺猿了。



























