「世界上有兩種人：認為VR將改變世界的人，以及還沒嘗試過VR的人。」

這是VR界宣傳自己的一句陳詞濫調了。

但對于第一次體驗VR的人來說，那一刻帶來的沖擊力是毋庸置疑的。

未來VR很有可能成為我們生活那種的一部分，8月6日至10日在洛杉磯舉行的SIGGRAPH 2023大會上，來自Meta Reality Labs Research的兩個原型機將會給我們機會看到這「未來的一瞥」。

Yang Zhao和Grace Kuo

第一個是Butterscotch Varifocal，它將Half Dome系列原型的變焦技術與我們在2022年首次亮相的視網膜分辨率VR顯示器結合了起來。

Yang Zhao佩戴Butterscotch變焦研究原型機

第二個是Flamera，它是一款計算相機，采用光場技術實現無需再投影的VR穿透（passthrough）。

就像我們在2021年首次分享的反向穿透（reverse passthrough）演示一樣，它的外觀和功能與現代頭戴式設備迥然不同，甚至看上去有些奇怪，但仔細研究后會發現它并不像乍看之下奇異。

Grace Kuo佩戴Flamera研究原型機

現在，Butterscotch Varifocal和Flamera都還處于研究階段。

Butterscotch 變焦鏡頭：聚焦細節

現今的頭戴式設備在虛擬世界的沉浸感方面做得非常出色，但仍受限于固定的焦距。

大部分人能夠識別距離眼睛約1米左右的物體，但物體與我們的臉部靠得太近，就很難清晰進行視覺聚焦。

大多數VR開發者設計時都會考慮到這一點，調整虛擬場景中的物體和動作的距離，讓用戶在一個較為自然和舒適的距離內看到虛擬世界中的事物，并保持清晰的視覺焦點。

但在使用VR進行工作時，有時會需要在虛擬屏幕上閱讀文本，或者是觀察一個有趣的物體，欣賞其中的細節。

這時傳統VR頭顯通常具有的固定焦距就成為了阻礙。

Butterscotch Varifocal中的「varifocal」 即「變焦」。它利用眼動追蹤技術，能夠在用戶接近物體或虛擬屏幕時，根據用戶的視覺焦點動態調整焦距。

同時，Butterscotch Varifocal還結合了視網膜分辨率顯示屏（retinal-resolution），確保保用戶能夠清晰地看到近距離的細節，也能在遠距離看到整個虛擬場景。

Butterscotch Varifocal致力于提高分辨率和增強視覺舒適性，實現了變焦技術并配備了視網膜級別的分辨率顯示屏，大約每度顯示60個像素（PPD），這足以達到人眼視力分辨的極限。

Flamera：穿透功能（Passthrough）的全新嘗試

一般來說，VR頭顯的帶來的沉浸感越強越好。但完全與現實切斷聯系也會帶來許多麻煩。

混合現實（MR）和穿透功能（Passthrough）能夠讓虛擬世界與物理現實融合。

這樣一來，虛擬內容可以帶到物理環境中。同時，用戶在沉浸式的虛擬空間中也可以捕捉到現實世界的畫面。

這個功能主要是通過VR頭顯上的攝像頭實現的，它通常在眼睛前方幾英寸的地方。

即當用戶啟用穿透功能時，頭顯上的攝像頭就會捕捉周圍的實際環境，并將圖像傳遞到虛擬現實環境中，使用戶可以在虛擬世界中看到現實世界的畫面。

但這里存在著一個問題：

攝像頭捕捉到的視圖與人眼看到的不同，盡管圖像在返回時會重新計算并投影給用戶，但這很可能會在這個過程中發生視覺異常。

為了解決這一挑戰，Grace Kuo表示：他們設計了一種光學架構，可以直接捕捉與肉眼看到的光線相同的光線。

為了讓這個具有特殊架構適配VR頭顯，Reality Labs Research團隊從頭開始設計頭顯，最終得到了能夠實現更好的穿透圖像質量和更低的延遲的攝像頭。

Grace Kuo

Demo or Die：通往SIGGRAPH之路

長久以來，團隊一直秉持著「要么展示，要么死亡」（Demo or Die）的精神。

Lanman介紹說，「Demo or Die」一詞起源于MIT媒體實驗室，成千上萬的研究人員在那里學會了這個口頭禪。

他表示，關鍵是要使用demo來解釋「為什么」，而不是「什么」，比如為什么他們想要變焦、光場直通和HDR。

SIGGRAPH技術的核心，就是演示新興的、硬件驅動的技術，鼓勵SIGGRAPH社區用他們的才能解決計算機圖形和交互方面的問題。

Starburst取得了令人振奮的成功，并斬獲了SIGGRAPH 2022的新興技術最佳展示獎。

以下是一些團隊希望告訴讀者的話——

直通是一項重要的技術，可以讓人們在戴著頭顯時與周圍環境保持聯系。

通過構建不受商業化產品限制的demo，我們可以測試新技術，展示VR中的不同體驗。

我希望，嘗試過我們demo的人能夠一窺未來的VR會是什么樣子——即使頭顯的外觀與我們今天習慣的外觀大不相同。

——Grace Kuo

通過我們的工作，我希望人們可以從第一人稱的角度看到，VR可以為他們解鎖哪些體驗和能力。

——Yang Zhao

雖然這種VR不會立即在商店里買到，但如果需求存在，技術繼續進步，就很可能會有那樣一天。

——Olivier Mercier

「VR的可能性與目前市場上可用的功能之間存在很大區別。我們的兩個SIGGRAPH新興技術demo提供了一個獨特的機會，讓我們看到如果每個軸都被推到更高的質量，在不考慮實際生產限制的情況下，可以創造出多么逼真的虛擬體驗。

我希望那些計劃參加SIGGRAPH的人仔細看這兩個demo。SIGGRAPH是一個非常有才華的學術社區，如果只有一小部分成員將注意力轉移到這些挑戰上，都會推動時間線，在VR/MR中開發更好的視覺體驗。

對于那些SIGGRAPH以外的人，我希望他們從中尋求解決方案，來應對這些跨越硬件和軟件的艱巨挑戰。

——Douglas Lanman

One More Thing...

那么，我們應該選擇去工業界還是去研究實驗室呢？

Lanman認為，在研究團隊中，可以構建任何給定概念的原型。

但必須承認，這些原型中的大多數并不會成為消費產品，它們對于大規模生產是不切實際的，比如需要妥協產品尺寸、重量、成本或功率，或者需要等待幾種技術成熟。

以變焦為例，團隊從1990年代的論文中了解了這個概念，2015年才首次開始研究，2018年開始公開談論。

在那段時間里，Oculus（現在的Meta Quest）作為一家初創公司快速發展，并推出了三代頭顯。

產品團隊的責任是快速行動，而只有研究界才擁有特權考慮未來某一天的事情，而不是現在需要發生的事情。

因此，在作為一名研究界科學家工作了二十年后，我的看法是：研究的主要職責是指出產品還欠缺什么。

沒有人要求變焦或解決會聚-調節沖突，光場直通或反向直通。

我們需要和更廣泛的SIGGRAPH社區儀器，實現計算成像概念，拉動時間表。

近十年來，我們一直在討論新興的顯示技術，比如變焦。

雖然無法說出，何時這些技術能應用于產品，但demo會說服大多數人：這些挑戰值得解決。