5年秘密研發(fā)！谷歌3D「魔鏡」實測，真人聊天不用「抱臉蟲」
進入元宇宙，只能靠頭顯嗎？
非也。讓我們的想象力再放飛一點。
巨頭谷歌給出了另一種方案：不用頭顯，用3D「電話亭」！
如果你平時用慣了skype或者zoom，第一次見到starline時，你一定會大吃一驚。
谷歌在去年官宣了Project Starline項目。它是一個視頻通話亭，使用3D圖像、高分辨率相機、定制的深度傳感器和突破性的光場顯示。
這為屏幕兩邊的通話者創(chuàng)造了極其逼真的體驗。
時隔一年，谷歌全息視頻聊天項目Project Starline將在今年晚些時候在合作伙伴辦公室安裝原型，完成最初測試。
裸眼3D
Starline是谷歌在元宇宙中布下的兩枚棋子之一（另一枚是AR眼鏡Iris）。
這個項目，谷歌已經(jīng)醞釀了五年多了。
2021的I/O大會上，谷歌官宣了一個超高分辨率視頻聊天室Project Starline項目。
以往，skype或zoom之類的傳統(tǒng)視頻聊天軟件并不能克服感官上的距離感。和你聊天的人，是以2D平面的形式出現(xiàn)在你對面。而ta的聲音，也明顯是從手機、平板或是電腦中傳出來的。
這種「音畫分離」的體驗，并不真實。
有沒有可能徹底消除這種「距離感」？
谷歌提出了這樣一個問題，「可不可以把Zoom變成一個巨大的坐式街機？」他們成功了。
耗時五年，谷歌研發(fā)出了一款黑科技——Starline3D視頻通話技術。
這一技術有兩大亮點：一個是真實，另一個是無需佩戴任何設備。
一個65寸的光場顯示屏，外加預先布置的十幾個傳感器和攝像頭，就構成了這樣一個聊天室。
看起來，效果相當真實。
這么真實的人物外貌，是被攝像頭和傳感器拍下來，直接顯示在對方的顯示屏上的嗎？
并不是。每一個攝像頭和傳感器的作用，是通過不同角度捕捉人像，利用深度學習進行實時壓縮，把這些數(shù)據(jù)傳輸?shù)綄γ?，在顯示屏上重建成3D化身。
也就是說，在這個電話亭里，你看到的是對人像的「重建」。
這種實時重建的人物影像，讓彼此的感受變得無與倫比的真實。就好像和自己聊天的人，真真切切地坐在自己對面一樣。
這些采集到的數(shù)據(jù)的傳輸，和與普通的視頻會議一樣，都是基于WebRTC，而谷歌獨特的壓縮算法使得雙向實時傳輸3D影像成為可能。
通過視頻聊天連接傳輸3D化身，讓谷歌能夠解決眼神接觸的問題。在普通的視頻聊天中，這一直是個麻煩。在以往，顯示器上面的網(wǎng)絡攝像頭使得人在看顯示器時不可能有眼神接觸，而3D化身可以彌補攝像頭中心和顯示器中心之間的脫節(jié)，使雙方有眼神接觸。
谷歌正在一個強大的雙Xeon工作站中處理這些數(shù)據(jù)，這個工作站有四個英偉達GPU（兩個Quadro RTX 6000和兩個Titan RTX）。
Starline的另一大特點是不需要佩戴任何設備。
是的，你沒聽錯，VR頭顯、智能眼鏡，通通不需要！
甚至，在谷歌此前發(fā)布的概念圖上，攝像頭和傳感器都放在一張桌子里。
稍加裝飾之后，你甚至會產(chǎn)生這樣一種錯覺：眼前是你的書桌，而和你聊天的人就坐在書桌對面。
根據(jù)谷歌給出的技術圖，這一套設備包括：一個包含顯示器、攝像頭、揚聲器、麥克風、照明器和計算機的顯示單元，和包含紅外背光并用作bench seat的背光單元。兩個單元都包含向墻壁和天花板傾斜的白色LED燈條，用于產(chǎn)生柔和的反射照明。
顯示器是一個 65 英寸、8 K、60 Hz的自動立體透鏡面板，就是在它上面生成真人大小的裸眼3D視圖化身。
而捕獲子系統(tǒng)由三個同步立體的RGBD捕獲pod組成：兩個在顯示器上方，一個在顯示器下方的「中墻」(middle wall)中。
更下方的pod包括一個額外的彩色相機，用于放大拍攝對象的臉部。另外，四個單色追蹤攝像頭中的兩個在顯示器上方，其余兩個一側一個，用于捕捉眼睛、耳朵和嘴巴的高速廣角圖像。
渲染的方式如下圖所示。
而pod就是上述提到的RGBD捕獲裝置。
這樣渲染出的人物影響，更加逼真，栩栩如生。
Starline還配備了高級的聲音系統(tǒng)。
這套系統(tǒng)使用了talker-tracked波束成形、混響消減、WebRTC傳輸、talker/listener-tracked虛擬音頻合成、雙耳串擾消除分頻組合、振幅平移、空間化音頻和動態(tài)波束成形等技術。
有了這些技術的加持，就仿佛通話的兩個人在面對面說話一樣。
去年，谷歌工程師表示，這套設備在標準辦公網(wǎng)絡環(huán)境下就可以運行?？磥鞸tarline技術是被寄望于廣泛推廣的。
當時，谷歌并未披露有關價格的更多細節(jié)。
很難想象這個7*7英尺、大小如同一個浴室的六位數(shù)電話亭有多大市場，但谷歌正在推進更多的測試。
不要「抱臉蟲」
時至今日，這一項目進展如何？
Google Cloud Next 2022上，谷歌CEO桑達爾·皮查伊介紹了在全息視頻聊天項目（Project Starline）上取得的一些進展。
谷歌稱，它將在選定的合作伙伴辦公室進行定期測試，其中就包括Salesforce、WeWork、T-Mobile和Hackensack Meridian Health。
WeWork 和 Salesforce表示，他們有興趣嘗試這項技術，并認為這項技術可以讓人與人之間的聯(lián)系變得更有意義。
到目前為止，Starline項目已經(jīng)在谷歌內(nèi)部進行了數(shù)千小時的測試，并在其美國辦公室每天使用。
谷歌在一份聲明里說：「今天，在美國各地的谷歌辦事處都可以找到Starline項目的原型，員工每天都在使用該技術進行會議。」
當這一項目推向實測后，便可以了解這種技術將如何在現(xiàn)實世界中使用，以及它可能面臨什么樣的挑戰(zhàn)。
許多人認為其非常炫酷，但也有人質(zhì)疑Starline項目是否最終能夠成為職場人士日常生活一部分。
面對廣闊的企業(yè)會議設備市場，Starline確實有一些空間。但一些限制使得Starline難以用于嚴肅的會議。企業(yè)會議設備通常適用于坐在桌旁的一大群人，廣泛的兼容性使得任何人都可以使用幾乎任何硬件來發(fā)起會議。
然而Starline僅支持一個人進行一對一聊天，恐怕只能用于打總統(tǒng)電話？
近日，谷歌曾邀請一位記者對Starline進行體驗測試。這位記者描述如下：
「整個過程感覺比Zoom通話要自然得多。對方的動作和我們的談話都沒有明顯的延遲，所以說話就像在說話。沒有任何奇怪的音頻或視覺延遲?！?/span>
「我會相信我真的和某人在一起，因為我正在與全尺寸的虛擬人進行真正的眼神交流，而不是瞇著眼睛看著一個小小的Zoom窗口?！?/span>
Starline之所以如此令人信服的部分原因在于，你不僅在看屏幕，而且在看屏幕前的一系列鏡頭，或者說透鏡陣列。這個原理類似于全息卡，當你來回搖晃它們時，它可以顯示不同的圖像或3D效果。而Starline會通過跟蹤你的眼睛，來了解將顯示給你的圖像指向何處。
最后，這位記者總結道：「它對于一對一的對話很有用，尤其是醫(yī)生辦公室或需要服務客戶的地方?！?/span>
一直以來，Starline項目在谷歌的長期地位一直不為人知。
一年前，這一項目還進行了重組，谷歌將其AR/VR技術和內(nèi)部研發(fā)團隊Area 120重新組建為「Labs」團隊。
而在上個月，谷歌還將Area 120人員數(shù)量削減了一半。
這表明，在當前的經(jīng)濟環(huán)境下，谷歌可能不會把這類試驗視為優(yōu)先事項。即便是一些谷歌內(nèi)部員工也不確定Project Starline是否還存在。
即便是這樣，Starline依然讓人振奮，是對另一種虛擬現(xiàn)實的押注。
人們并不需要Avatar，僅通過真實自我就可以實現(xiàn)在虛擬世界中的連接。
前幾天，Meta還推出了自家最貴的高端頭顯Quest Pro。
而谷歌沒有像Meta現(xiàn)在所做的那樣，開發(fā)利用攝像頭來實現(xiàn)眼睛和臉部運動追蹤的技術。
也沒有研究如何在虛擬現(xiàn)實中為你的身體「加個腿」，而是致力于呈現(xiàn)一個真實的人。
最重要的是，不用像個「抱臉蟲」一樣戴在臉上，增加負擔。
與此同時，隨著越來越多的企業(yè)試圖找到工作模式的混合未來，而Starline正好可以彌補現(xiàn)如今2D視頻聊天的差距。
2024，攜首款AR頭顯上市
其實，在AR頭顯上的布局，谷歌也不甘落后。
今年年初，兩位知情人士透露，谷歌已開始加緊研發(fā)AR頭顯，內(nèi)部代號為Project Iris，希望在2024 年上市。
并且谷歌希望在2024年之前與Iris一起發(fā)布Starline。
最新Iris頭顯將采用谷歌最新處理器，全自研的Tensor芯片，而且還支持在安卓系統(tǒng)上運行。
至于全新的操作系統(tǒng)，也在谷歌未來研發(fā)計劃中。
這款AR設備使用外向攝像頭將計算圖形與現(xiàn)實世界融合，創(chuàng)造出比Snap和Magic Leap等現(xiàn)有AR眼鏡更身臨其境的混合現(xiàn)實體驗。
由于電量的限制，谷歌會使用其數(shù)據(jù)中心去遠程渲染一些圖形，并通過互聯(lián)網(wǎng)連接將它們傳送到AR眼鏡中。
Project Iris項目，可以說，是谷歌AR眼鏡研發(fā)的一個轉折點。
早在2012年，谷歌就發(fā)布了一款AR眼鏡的原型機。類似于一副滑雪護目鏡，而且不需要與外部電源連接。
隨著一波硬件和軟件的升級，2014年成功登陸美國市場，售價1500美元。然而，在2015年卻因為各種負面新聞被迫下架。
緊接著，2015年，谷歌在其I/O大會上發(fā)布了一款「VR眼鏡盒子」。其裝置非常簡單，主要由一塊硬紙板與兩塊特殊的塑料鏡片組成。
到了2017年，谷歌決定將AR眼鏡的應用轉向工業(yè)。
盡管急于追趕，但谷歌在打造新形式的AR硬件方面似乎落后于同行。
此后，谷歌在AR眼鏡的硬件研發(fā)上明顯保持沉默，并且選擇專注于研發(fā)Google Lens、視覺搜索引擎和谷歌地圖中的AR方向相關的軟件功能。
隨著2021年元宇宙概念大爆發(fā)，許多大廠紛紛在該賽道上展開布局。
其實，谷歌也在悄悄下自己的這盤棋。不論是AR頭顯Iris，還是全息視頻通話項目Starline。
小扎曾在采訪中說：「VR 的魔力在于，它可以立即讓你相信你在另一個地方，并且和那里的人在一起。」他的構想是全息圖，而Starline也正好英雄所見略同了。
現(xiàn)在，世界上最大的兩家科技公司正在努力改善虛擬形象，雖然方法不同：Meta正全力以赴地提出元宇宙的概念，而Google 正在努力接管企業(yè)。
對于大多數(shù)人來說，聊天室和昂貴的混合現(xiàn)實顯示器既不實用也不理想，但真正起飛的東西，可能會發(fā)生在兩者之間的某個地方。
?參考資料：
https://techcrunch.com/2022/10/13/googles-3d-video-calling-booths-project-starline-will-now-be-tested-in-the-real-world/
https://www.theverge.com/2022/10/13/23400870/google-project-starline-3d-chat-booth-impressions
