Labs 導讀

虛擬現實(Virtual Reality，VR)、增強現實(Augmented Reality，AR)等業務以其三維化、自然交互、空間計算等完全不同于當前移動互聯網的特性，被認為將是下一代通用計算平臺。自2012年谷歌發布AR眼鏡Google Glass, 2014年Facebook收購VR頭顯廠商Oculus以來，VR/AR行業歷經了2015年至2017年的創業和資本的狂熱，2018年的行業退潮。隨著2019年底全球5G正式展開部署，VR/AR作為5G核心的商業場景重新被認識和重視，行業重回升勢。

2020年雖然受疫情的影響，全球各地生產生活都受到了不同程度的沖擊，然而 VR/AR 行業因禍得福，因疫情造成的社交隔離激發了 VR 游戲、虛擬會議、AR 測溫等需求爆發。Steam 平臺 VR 活躍用戶翻倍增長，虛擬會議，云端展覽案例層出不窮，當前 VR/AR/MR/XR 各種 *R 概念紛飛，讓人眼花繚亂。本期希望能先辨析清楚這幾個概念，后續將進一步分析當前的 XR 核心技術，梳理當前應用場景和產業情況，以及展望未來發展。

1、虛擬現實(Virtual Reality，VR)

概念：VR 是已包裝好的視覺、音頻場景數字內容的渲染版本。渲染旨在模擬觀察者或用戶在應用程序定義的范圍內移動時盡可能自然地模擬現實世界中的視覺和音頻感官刺激。VR 通常(但非必須)要求用戶佩戴頭部顯示器，以模擬的視覺組件完全取代用戶的視野，并佩戴耳機，以向用戶提供配套的音頻。通常還需要在 VR 中對用戶進行某種形式的頭部和動作跟蹤，以便更新模擬的視覺和音頻組件，以確保從用戶的角度來看，圖像和聲源與用戶的動作保持一致。還可以提供與虛擬現實仿真進行交互的其他手段，但非必須 [1]。

發展歷程：虛擬現實VR為夢想而生，讓夢成 “真”。1935 年小說家 Stanley Weinbaum 在小說中描述了一款VR眼鏡，以眼鏡為基礎，包括視覺，嗅覺，觸覺等全方位沉浸式體驗的虛擬現實概念，該小說被認為是世界上率先提出虛擬現實概念的作品。有了方向，接下來就是追夢者的舞臺，1957年，電影攝影師Morton Heiling發明了名為Sensorama的仿真模擬器，是通過三面顯示屏來形成空間感，無比巨大，用戶需要坐在椅子上將頭探進設備內部，才能體驗到沉浸感，如圖1-1左側。

1968 年美國計算機圖形學之父、圖靈獎獲得者 Ivan Sutherland 開發了第一個計算機圖形驅動的頭盔顯示器 The Sword of Damocles(達摩克利斯之劍)，如圖 1-1 右側，它同時也是增強現實的雛形。VR 向用戶呈現的是和現實環境阻隔的純虛擬環境，通常以頭部顯示器的方式，沉浸感優越，因而主要作為娛樂和社交工具進入大眾視野，消費級產品層出不窮，當前整個產業已經趨于成熟。

比較典型的 VR 頭顯有如下幾類： 

手機盒子：這類頭顯的顯示效果的好壞，完全取決于眼鏡里插入的手機的屏幕分辨率、處理器速度、傳感器精度。Google的 Cardboard和三星的Gear VR就屬于此類，市面價格最低。

PC/PS4 主機頭顯：為了達到極優秀的顯示效果，它們需要連接 PC(Sony的PSVR是連接PS4)，使用PC的CPU和顯卡來進行運算。見示意圖會有很多連線，觀影效果好但是移動便捷性差。比較典型有 HTC VIVO PRO EYE，還有SONY的 PlayStation VR。

一體機頭顯：一體機使用移動芯片(如高通驍龍系列)來進行圖像和定位計算。脫離了 PC/PS4 或者手機等外部設備的連線束縛，即開即用，非常方便。當前比較典型的有 Oculus quest，Pico 的 Neo CV。當前一體機已經漸漸成為主流。

VR Glass：當前最輕便的 VR 頭顯，類似主機頭顯，需要連接手機，用手機芯片來處理數據。比較典型的是華為的 VR 眼鏡，眼鏡重量 200g, 極為輕便。

VR 的阻斷隔離式的沉浸感是優點也是缺點，但是因為和現實的脫節，導致其實用性不足，因此分化出第二條發展路線 AR。

2、增強現實(Augmented Reality，AR)

概念：AR 是指向用戶提供其他信息或人工生成的對象或內容覆蓋其當前環境的圖像。此類附加信息或內容通常是視覺或聽覺的，并且對當前環境的觀察可以是直接的，沒有中間轉換，處理和渲染，或者是間接的，因為它們對環境的感知是通過傳感器進行中繼的，并且可以得到增強或處理 [1]。人物的第一視角看到的環境仍為現實場景，通過技術手段(顯示器、眼鏡等)在人眼所見的現實場景中融入虛擬內容，虛擬內容不基于對現實環境的實時理解，只是相對簡單的拼湊在一起。

發展歷程：增強現實AR是為實用性而生。時間軸如下圖所示。 

AR 的發展一波三折，從最初的原型開始 AR 就采用先進的光學透視式的顯示的方式，但是進展并不順利，沉寂多年。AR 概念是在 1990 年由波音公司的研究員 Tom Caudell 提出的，隨后在 ToB 專業領域嶄露頭角，比如美國空軍研發的虛擬幫助系統，哥倫比亞大學的 KARMA 修理幫助系統等。而增強現實走進大眾視野是通過平面顯示器(電腦、電視、手機)將現實圖像和虛擬物品疊加顯示的方式達成的，1998 年 AR 第一次用于直播展示橄欖球比賽進攻黃線，而帶來革命的是第一個增強現實 SDK ARToolkit，作為第一個 AR 開源框架被發布，使 AR 技術走出專業的研究機構之中，許多普通程序員也都可以利用它開發自己的 AR 應用。現在有多個 AR 引擎，支持手機應用的開發，使 AR 進入到我們的日常生活，但是通過平面顯示器的展現方式沉浸感較低。

所以人們并沒有放棄沉浸感更高的穿戴設備的 AR 實現，Google 在 2012 年 6 月推出 Google Glass，但是效果不盡如人意，未能成為精品，時至今日雖有消費級 AR 眼鏡的出現，但是成熟度不高，近兩年極有可能會有突破。 

3、混合現實(Mixed Reality，MR)

概念：MR 是 AR 的一種高級形式，虛擬元素被融入到物理場景中，目的是提供一種虛擬和現實結合的場景，即這些元素是真實場景的一部分 [1]。在 MR 場景下，大部分虛擬內容基于現實理解而產生，因此比純虛擬化的場景更具有體驗上的真實感。

發展歷程：混合現實 MR 是將夢境和現實融合?；旌犀F實出現時間比 VR 和 AR 晚，理解存在爭議，尤其是同 AR 的邊界較難劃分。早在 1994 年，Paul Milgram 和 Fumio Kishino 在論文中提出了混合現實的定義，并利用虛擬連續體(Virtuality Continuum)坐標的形式闡述了三者關系。最初的概念見圖 1-5，左側可理解為人裸眼所見的真實物理世界，隨著坐標軸向右，對現實世界的虛擬化(或稱數字化)程度逐漸增大，AR 階段所見的視覺信息仍是現實環境為主，到最右側就是與現實脫鉤，處在完全虛擬化的環境中就是 VR。而從真實世界向完全虛擬化環境 VR 的轉變過程，統稱為 MR，即現實與虛擬的融合過程。(論文中提到了增強虛擬的概念，目前大眾接受度不高，沒有形成單獨的產品。) 

根據這個定義，MR 最初是一個過程的概念，并非特定技術棧，而在此過程中，按照人眼所見現實與虛擬的結合程度，出現了 VR/AR 這樣不同體驗的產品類別。但是，隨著產業的發展，以微軟為代表的一些廠商把 MR 定義成 VR/AR 的融合技術，提供將現實場景虛擬化的體驗，此時，人眼所見的虛擬場景是基于現實數字化得來的。

微軟是這樣區分三者的關系的：在物理世界的視頻流中疊加圖形的體驗是“增強現實”。遮擋視線以呈現數字圖像的體驗是“虛擬現實”。在增強現實和虛擬現實之間實現的體驗形成了“混合現實”。 

相比 AR 主要是實現虛擬的對象直接顯示在現實世界的圖像上，而 MR 是讓虛擬物品不僅僅是作為圖像出現在現實世界，而是 “以更逼真的存在的方式” 融入現實世界，或者反過來讓現實空間的對象，融入到虛擬空間的方式，打破兩個空間的隔離性，兩個空間的實體可以互相交互，給人一種渾然一體的體驗。技術難度在三者中是最高的。MR 是 AR 的增強，與其說 MR 眼鏡，不如說有 MR 功能的 AR 眼鏡或者 VR 眼鏡更恰當。目前主流市場上也僅有微軟 HoloLens 和 Magic Leap 等提供 MR 功能的產品，但都不太成熟。 

通過下面組圖來進一步幫大家一起區分AR和MR。首先看圖 1-8 是真實的現實物理的辦公室場景。 

圖 1-9 是識別現實辦公室中真實存在的平面后，將虛擬對象狗、地球、顯示器、花瓶等是嵌入現實世界圖像的平面上。因此，展示內容是一種典型的 AR 場景。 

圖 1-10，調整環境，使其虛擬化，整個辦公室面目全非，但是辦公室的邊界清晰可見，真實的人化身為一個虛擬形象，現實沒有建模的物品會消失如便攜電腦，此時數字化的現實場景和虛擬場景是互相理解，融為一體。因而，與 VR 提供的是與人眼所見現實脫鉤的另外一個完全數字化的虛擬場景體驗完全不同，觀察者在此視角下走動時，可以根據眼前虛擬的現實場景，避開現實中的桌子、墻面和人物。因此，在此概念中，MR 可視為 VR 和 AR 的融合技術。 

圖 1-10. MR 場景

4、擴展現實(eXtended Reality，XR)

概念：XR 是指由計算機技術和可穿戴設備生成的所有真實和虛擬組合環境以及人機交互。代表性的形式有 AR，MR 和 VR 以及在他們之間的交叉場景。虛擬級別的范圍從部分感官輸入 AR 到完全沉浸式 VR。XR 的一個關鍵方面是人類體驗的擴展，尤其是與存在感(以 VR 為代表)和認知的獲得(以 AR 為代表)有關 [1]。

發展歷程：由于很多時候 MR 和 AR 之間是很難有明確區分的邊界，而且三者發展互相有關聯技術有交集，因而 2016 年 11 月擴展現實 XR 概念被提了出來，尤其高通對這個概念最為熱衷，推出了虛擬現實 / 增強現實一體化的 XR 芯片。根據高通的定義，擴展現實 XR 是一個概括性術語，囊括了增強現實(AR)，虛擬現實(VR)，混合現實(MR)以及介于他們之間的所有內容。盡管 AR 和 VR 提供了迥然不同的革命性體驗，但是相同的基礎技術正在推動 XR 的發展。

更早的時候，XR 在視覺領域被提出作為擴展人類可見光譜范圍之意，如紫外線紅外線等，但是并非和虛擬現實 / 增強現實領域相關的概念，在此不細述。

以上是對XR概念的介紹，后續會對XR的關鍵技術、應用場景、產業情況以及未來趨勢繼續討論。

參考文獻

[1] Milgram P, Kishino F. A taxonomy of mixed reality visual displays[J]. IEICE TRANSACTIONS on Information and Systems, 1994, 77(12): 1321-1329.

[2] Mann S, Furness T, Yuan Y, et al. All reality: Virtual, augmented, mixed (x), mediated (x, y), and multimediated reality[J]. arXiv preprint arXiv:1804.08386, 2018.