在元宇宙概念火爆的當下，XR硬件設備作為進入元宇宙這一未來世界的重要“入場券”，在短時間內受到了各大科技企業的關注。Rokid作為專注于人機交互技術與人工智能硬件研發的科技企業，在AR眼鏡的研發道路上深耕已久，并積累了大量的技術實踐經驗。

在不久前由51CTO舉辦的MetaCon元宇宙技術大會上，Rokid產品技術總監趙維奇帶來了《戴上AR眼鏡·與未來交互》專題演講，重點介紹了Rokid如何借助AI與5G技術的融合，對AR眼鏡進行賦能，以實現3D空間的虛實結合與沉浸感升級。51CTO將本次分享的核心內容進行了整理，希望能給大家帶來一些啟發：

AR的使命是將真實世界與虛擬世界融合。利用AR技術創造場景下更自然的虛實結合交互，是Rokid一直的努力的方向。想要實現這一目標，則需要具備以下幾方面的能力：

 1.感知力：利用硬件上的傳感器與模組以及軟件上的各種應用功能，使用戶能夠更好地去獲取環境和自身的相關信息。

2.理解力：借助AI技術，基于感知獲得信息，包括對人的理解、對物體的理解、對環境的理解、對行為意圖的理解，以及周邊信息的理解。

3.協同能力：人類脫離不開社交與協作，每天我們都需要與人溝通合作。如何更好地、更低成本、更高效地協同在目前環境下異常重要。

4.展現力：更多的形式、多模態的內容呈現方式，例如2D音視頻、3D的模型等，空間讓更豐富的交互成為可能。

5.內容生產及數字資產管理能力：AR使平面升維到空間，這帶來了大量的數字內容需求與數字資產管理要求。此情景下，高效生產和管理數字資產的能力是不必可少的。

Rokid通過軟件、硬件能力的融合以實現這些的能力：

1.芯片：Rokid與國內頭部企業海思共同開發了XR平臺，提供了芯片平臺等級的能力。

2.解決方案：Rokid在toC、toBtoC、toB與toG的各個行業，均有非常成熟的解決方案。

3.語音交互：Rokid深耕語音交互技術多年，在離線語音和精準識別上已經達到99%的準確率。

 4.硬件：硬件設計是Rokid的強項，Rokid會結合ID、ME以及供應鏈，提供完善的硬件能力，以保證硬件設備擁有更高的舒適度以及更強的基礎能力。

5.光學顯示：Rokid提供全球領先的光波導技術，也將這一技術應用在了大量產品之中。

6.視覺算法：AR眼鏡通過視覺算法了解、感知并理解環境，以此提供對應的內容呈現方式。

通過上述基礎，Rokid能夠更好地將AR與AI的能力進行融合。

細節方面，Rokid軟件層提供了更加多模態的交互能力，包括兼容2D、3D生態的操作系統、功能豐富的SDK、便捷的開發工具，以及支持全球開發者的社區與應用發布平臺。

無論是合作伙伴還是開發者，都能夠方便快捷地應用這些能力。此外，在整體XR系統之中，Rokid始終堅持圍繞AI與AR打造面向未來的技術能力。包括主流芯片平臺、AR硬件平臺，AR頭環/頭盔、單目/雙目眼鏡、一體/分體設備設計、消費級/工業級設備的配置與設計等。

Rokid在基礎OS之上，擁有較為完善的感知系統與理解系統。感知系統目前已有多個引擎，包括平臺支持、AI服務、AR服務以及云存儲服務。同時，Rokid也為開發者提供了大量平臺SDK與基礎SDK，以便開發者在OS之上以及面向行業進行應用開發。

目前，Rokid已經擁有大量的合作伙伴，無論對于應用開發者、應用制作者、解決方案商或是系統集成商，Rokid都能夠賦予其軟硬件能力。借助這些能力，無論是toB、toBtoC還是toC場景下的應用，都能夠輕松實現。Rokid打造了XR元宇宙的基礎能力，以幫助人們在元宇宙環境下釋放更多的創造力。

產品層面，Rokid也有著大量的積累與技術創新。

新發布的Rokid  Air，是面向toC市場的AR產品，擁有著輕巧便攜、視角廣闊、清晰度高等優勢，兩個高品質揚聲器所帶來的環繞立體聲能夠讓音效更加震撼。同時，Rokid Air還擁有著強大的語音交互能力，通過非常簡單的語音指令就能夠完成大量操作，真正實現解放使用者雙手，讓用戶能夠沉浸式享受AR帶來的快樂。

除此之外，Rokid Air支持500度以下的近視的調節，通過旋鈕調節，近視用戶也能夠輕松使用這款產品。即插即用，適配手機與各類娛樂硬件設備的特性，也為Rokid Air的使用帶來了更高的靈活性與便捷性。

目前Rokid Air的適用場景主要有以下幾類：

1.音視頻體驗：Rokid Air能夠隨時收納，無論在家中、飛機上還是火車上，你都能夠使用Rokid Air連接手機與其他娛樂設備。此時，一個120寸的高清屏幕、一個獨享私人版的巨幕影院就將呈現在你的面前。

2.游戲體驗：Rokid應用商店擁有大量游戲內容，支持用戶在真實世界里通過創造3D空間來完成游戲體驗。此外，Rokid Air也支持移動端游戲，包括連接游戲主機及游戲手柄。不但是手機，Switch、SteamDeck甚至PS，Rokid Air都能夠“照單全收”，并為用戶帶來低延時、高畫質的巨屏享受。

Rokid Air Pro是一款toBtoC的AR產品，其與Rokid最大的不同點在于交互。第一，Rokid Air Pro擁有定向出音設計，用戶自己所說的話只有自己能夠聽到，不會打擾到周邊的人。此外，Rokid Air Pro提供了更多的交互功能。除語音交互外，由于Rokid Air Pro擁有攝像頭，因此其能提供更加豐富的視覺識別功能。通過攝像頭，Rokid Air Pro能識別更多場景并感知到周遭環境，以呈現和提供更加定制化和場景化的應用與交互。

目前Rokid Air Pro已在許多toBtoC的場景下進行了應用，包括各大博物館與展覽，Rokid Air Pro能夠提供一種新的觀展打開方式，原有的知識壁壘會被打破，用戶的好奇心和求知欲將被充分調動。Rokid Air Pro能夠讓用戶完全通過AR和AI能力享受更多展館背后的知識的傳播和體驗。

Rokid與蘇州博物館和大英博物館合作的國際導覽項目，可以利用AR設備讓用戶方便、快捷地獲取到來自大英博物館展品背后的講解。這是原來的導覽員與講解員很難做到的。除語音介紹外，AR設備還能夠用視頻、圖文、3D模型的方式，將難以理解的部分海外文化講解得更加透徹，讓用戶能夠在短時間內更好地能獲得所需知識，給用戶帶來更加優質的參觀體驗。

Rokid與騰訊及故宮合作的數字特展，讓用戶能夠通過AR設備參觀故宮中的知名的避暑的圣地——倦勤齋。通過AR的方式，用戶能夠環繞整個虛擬空間，一目了然地了解到故宮中建筑的外觀形狀、用料、顏色以及尺寸大小等以往難以觀測到的建筑細節。這在一定程度上可以使故宮文化得到更好的傳承和傳播。

Rokid與故宮合作的另一個項目是故宮書畫展。書畫觀賞的過程始終有一個痛點，就是人們只能看到表面，并不知道書畫背后的故事，也無法看到書畫所呈現的場景。通過AR的方式，我們能夠將2D升維成3D，使用戶能夠看到書畫的真實形態，用最簡單和高效的方式去呈現書畫背后、文化背后的故事與淵源。

Rokid與騰訊游戲合作的AR觀影臺對《英雄聯盟》的游戲場景進行了復現，使用戶能夠通過AR眼鏡看到一條巨龍從東方明珠上盤旋而下。此外，AR也能將游戲中的許多元素，包括比賽的現場、比賽選手特寫以及一些重要的指標進行虛實結合，這也是目前AR主要的發展方向之一。

未來，Rokid希望能夠更多地探索元宇宙領域，通過軟件與硬件相結合的方式，將AR與AI兩種能力結合起來，創造更實用、更智能、更自然的內容呈現解決方案與交互能力。為場景賦能、為場景下的用戶賦能、為合作伙伴及開發者賦能。使用大家夠在元宇宙的環境中獲得更多樣化、多模態的體驗。