本文轉(zhuǎn)自雷鋒網(wǎng)，如需轉(zhuǎn)載請(qǐng)至雷鋒網(wǎng)官網(wǎng)申請(qǐng)授權(quán)。

據(jù)外媒ROAD TOVR消息，Meta Reality Labs的研究人員已經(jīng)制造了一款VR頭戴設(shè)備原型機(jī)，該原型機(jī)可以支持Codec Avatars項(xiàng)目的渲染，并且搭載了專門用于AI處理的定制加速器芯片。

早在Facebook更名為Meta前，該公司就一直致力于Codec Avatars項(xiàng)目，該項(xiàng)目旨在使VR實(shí)現(xiàn)“如照片般逼真”的虛擬化身。這一系統(tǒng)結(jié)合AI處理和設(shè)備上的眼動(dòng)追蹤、嘴巴追蹤等傳感器，將使用者的臉以最接近真實(shí)的方式投射進(jìn)虛擬世界。

Codec Avatars研究的早期版本得到了NVIDIA Titan X GPU 強(qiáng)大算力的支持。但在Meta最新的Quest 2一體機(jī)等設(shè)備上，并不能完全發(fā)揮其功能。

也正因此，Meta正在著手研究如何在低功率一體機(jī)上實(shí)現(xiàn)Codec Avatars項(xiàng)目的功能。

上個(gè)月發(fā)表在IEEE CICC會(huì)議上的一篇論文中，Meta透露它正在設(shè)計(jì)一個(gè)采用7nm工藝的定制芯片用于作為Codec Avatars的加速器。

實(shí)際上，Meta的造芯計(jì)劃早在2018年就已經(jīng)開(kāi)始。2018年4月，F(xiàn)acebook將Shahriar Rabii招入麾下?lián)胃笨偛眉嫘酒?fù)責(zé)人，Rabii此前任職于Google，并參與了Pixel手機(jī)Visual Core等芯片開(kāi)發(fā)。

研究人員稱，該芯片從論文走向現(xiàn)實(shí)，還有相當(dāng)長(zhǎng)的一段路要走。

在芯片設(shè)計(jì)過(guò)程中，設(shè)計(jì)人員考慮了生成Codec Avatars 模型所需要的數(shù)據(jù)。

“測(cè)試芯片采用7nm制程，具有神經(jīng)網(wǎng)絡(luò)加速器，由1024乘法累加陣列、2MB片上SRAM和32位RISC-V CPU組成。”研究人員說(shuō)。

另一方面，為了配合該芯片的特定架構(gòu)，設(shè)計(jì)人員還重構(gòu)了Codec Avatars AI 模型的一部分。

“我們通過(guò)重新構(gòu)建基于卷積神經(jīng)網(wǎng)絡(luò)的眼睛注視模型并針對(duì)硬件進(jìn)行定制，使得模型更加適合芯片。這降低了片外內(nèi)存訪問(wèn)的能耗和延遲?！?Reality Labs研究人員寫道。

加速芯片通過(guò)加速Codec Avatars工作負(fù)載較重的部分，不僅加快了模型的運(yùn)行速度，而且還降低了功率和發(fā)熱。由于芯片的定制優(yōu)勢(shì)，在功率和體積控制上該定制芯片較通用CPU更有優(yōu)勢(shì)。

據(jù)研究人員說(shuō)，該芯片已經(jīng)能夠?qū)崿F(xiàn)在每秒30幀的情況下運(yùn)行Codec Avatars模型。并且同時(shí)做到功耗低和外形小巧。

得益于專用芯片的加速，Meta的Codec Avatars或許可以在一體機(jī)上運(yùn)行。但目前我們不知道虛擬化身的視覺(jué)渲染效果如何。在非一體機(jī)上運(yùn)行時(shí)，該模型將用戶建模掃描的非常詳細(xì)，這可能過(guò)于復(fù)雜，不能在Quest2等一體機(jī)上得到完整的呈現(xiàn)。目前還不知道Codec Avatars強(qiáng)大的“逼真”畫面在這客觀條件的限制下最終呈現(xiàn)的效果會(huì)如何。

我們可以想象，一系列XR特定的功能都可以通過(guò)這種專門設(shè)計(jì)的加速芯片來(lái)實(shí)現(xiàn)。比如在XR世界中實(shí)現(xiàn)空間音頻是XR玩家們?cè)敢饪吹降?，這可以增加沉浸感。但逼真的聲音模擬在實(shí)際使用中不僅會(huì)增加成本，并且也會(huì)影響續(xù)航。

另外，位置跟蹤和手勢(shì)跟蹤也是XR體驗(yàn)的關(guān)鍵部分，在這些地方將硬件和算法結(jié)合起來(lái)進(jìn)行設(shè)計(jì)可以使XR設(shè)備在速度和功率方面取得巨大的提升。