Meta元宇宙阿凡達項目曝光！小扎光劍變身，3秒裝滿512GB硬盤
Connect 2021大會上，小扎將Facebook改名為Meta，全力奔向元宇宙。而在許多人看來，這只是元宇宙的PPT。其實，Meta一直在開展Codec Avatars項目，目前已能創(chuàng)建出逼真的虛擬角色，連頭發(fā)絲都根根分明。
扎克伯格也來挑戰(zhàn)「光劍變裝」了。
你以為是這樣的？NoNoNo!
小扎沒有唐藝昕那樣的炫酷，倒是多了幾分滑稽。
右手背后藏劍，左手亮劍：一瓶BBQ蘸汁。
這是小扎在「元宇宙」中虛擬化身（Avatar），這一亮劍視頻讓許多人紛紛轉發(fā)。
自從Facebook更名為Meta，正式進軍元宇宙之后，「元宇宙」這個詞的熱度就一直未減。
而與「元宇宙」一起被頻繁提及的，就是「化身」（Avatar）這個詞。
「化身」，通俗意義上講，就是人們在虛擬世界里的形象。
12月10號，「元宇宙」先鋒Meta開放了自家的虛擬世界平臺Horizon Worlds。
當用戶進入Horizon Worlds后，就需要創(chuàng)建一個3D虛擬化身。
有了化身，用戶就可以在這個自定義的世界中暢快玩耍。
不過，略顯尷尬的是，這些avatar的表情都非常僵硬。
所以，雖然目前的3D虛擬化身也勉強能用，但離著科幻電影，比如「頭部玩家」里那種逼真的化身形象，還有十萬八千里。
而Codec Avatars項目便代表了Meta在虛擬化身領域所做的努力。
「元宇宙」不是PPT，Meta真在做
小扎改名Facebook的決心也不是鬧著玩兒的。
若想在元宇宙中實現(xiàn)真正的交互，虛擬化身可是打開元宇宙這道門的任督二脈。
Codec Avatars這一項目旨在實現(xiàn)一個能夠捕獲和表示用于XR的逼真頭像的系統(tǒng)。
基于3D捕捉和AI技術，Codec Avatars可以讓人們快速能夠輕松地構建屬于自己的虛擬化身，并使虛擬空間中的交互像在現(xiàn)實世界一樣自然。
最初這個項目是以高質(zhì)量的頭像演示開始，后來逐漸實現(xiàn)構建全身的虛擬化身。
除了簡單地掃描一個人的身體之外，一個主要的挑戰(zhàn)是讓它以現(xiàn)實的方式移動——更不用說讓整個系統(tǒng)能夠?qū)崟r運行，以便化身可以在交互式環(huán)境中使用。
在Connect 2021大會上，研究人員Yaser Sheikh展示了該團隊最新的成果——全身視頻編解碼器（Full-body Codec Avatars）。
他表示現(xiàn)在Codec Avatars支持更復雜的眼部運動、面部表情、手部和身體姿勢。
此外，Meta還展示了虛擬化身在對不同的光照條件和環(huán)境下實現(xiàn)頭發(fā)和皮膚的真實渲染。
那么，衣服也可以在元宇宙中實現(xiàn)真實模擬。
扯一扯彈性不錯，抖動一下也會有褶皺。
身體細節(jié)、衣服都能做到現(xiàn)實還原，還有高保真的虛擬空間。
Meta就建造了一個虛擬公寓，公寓中所有物品都是現(xiàn)實世界的映射。
這樣用戶在虛擬空間中移動物體或者交互都能與物理空間實現(xiàn)同步。
目前，這似乎是為公司構建一個映射的真實世界環(huán)境的「最佳案例」場景來進行實驗。
進入元宇宙后，手動跟蹤也同樣重要。如果在物理世界中大甩手臂實現(xiàn)交互，不僅累，而且也不雅觀。
為此，Meta一直在研究一種更加微妙自然的方法，即通過EMG腕帶進行XR輸入。
前段時間，Meta還推出了一款觸覺啟動手套，都是為了實現(xiàn)在元宇宙中的新交互所做的努力。
如何構建Codex Avatars？
Meta開始制作Codex Avatars的契機要追溯到7年前。
2014年，卡內(nèi)基梅隆大學機器人研究所旗下的一家3D捕捉實驗室Panoptic Studio的負責人Yaser Sheikh遇到了Oculus首席科學家Michael Abrash，兩人聊得非常投機。
Michael Abrash
2015年，Yaser Sheikh加入了Facebook（現(xiàn)Meta），從那以后便一直領導著Codex Avatars研究團隊。
Yaser Sheikh
「要想打造一個逼真的化身，基礎在于測量」，Codex Avatars研究科學家托馬斯·西蒙說。
「化身要以假亂真靠的是精確的數(shù)據(jù)，這需要良好的測量。因此，構建真實化身的關鍵是找到一種方法來測量人類表情中的物理細節(jié)，比如一個人瞇起眼睛或皺起鼻子的方式。」
在匹茲堡實驗室的Codec Avatars團隊，使用了兩個主要的模塊來測量人類的表情：編碼器和解碼器。
首先，編碼器使用攝像頭來捕捉受試者正在做什么，然后將捕獲的信息組裝成一個唯一的編碼，用來表示一個人的身體和環(huán)境狀態(tài)，這個編碼可以隨時發(fā)送到任何需要的地方。
然后，解碼器再將該編碼轉換為視頻信號。
普通的智能手機攝像頭也能拍攝生動的視頻。不過，Codec Avatars可是海量物理數(shù)據(jù)和復雜軟件的結合，比想象中要復雜得多。
Codec Avatars項目在捕捉人臉細節(jié)時，使用了數(shù)百個高分辨率相機，而每個相機又會以每秒1 GB的速度捕獲數(shù)據(jù)。
這是什么概念呢？
打個比方，這些相機三秒鐘的記錄的數(shù)據(jù)就足以裝滿一個512GB的磁盤。
而Codec Avatars團隊持續(xù)記錄大約15分鐘，這已經(jīng)到達了他們現(xiàn)有硬件條件的極限，但盡可能多的數(shù)據(jù)也為創(chuàng)建最逼真的虛擬頭像打下了基礎。
Codec Avatars團隊正在使用這些數(shù)據(jù)來訓練AI系統(tǒng)，從而讓AI可以從視頻中快速構建虛擬頭像。
Sheikh說：「我們目前已經(jīng)可以還原發(fā)型夸張的人的3D頭像，甚至還原戴著腦電采集帽的人的頭像也不在話下?！?/p>
「這是世界上最先進的能夠自動生成人類的真實數(shù)字肖像的方法之一。它提供了一種虛擬的面對面交流的新方式，將來可以廣泛推廣?！?/p>
而隨著Codec Avatars的出現(xiàn)，人們對「元宇宙」社交的接受度會不會越來越高呢？
