【51CTO.com原創稿件】VR直播是2016年VR行業的熱點，用戶和從業者都希望它能夠緩解VR內容不足的問題。然而，目前VR直播還面臨著很多問題，系統落地難度比較高，用戶體驗也不夠好。從系統落地角度，拍攝、編碼壓縮、網絡傳輸和播放等各個環節需要進行系統的設計和優化。從用戶體驗角度，需要在臨場感、沉浸感和互動性三個方面一起發力，才能為用戶提供合格的VR直播。

【講師簡介】

[[176496]]

任福新，RGB聯合創始人兼CTO。中科院計算所博士，互聯網創業老兵。在數據挖掘，推薦系統，游戲，虛擬現實等領域有多年研發經驗。2015合伙組建RGBVR團隊，致力于VR視頻點播和直播產品研發與關鍵技術研究，已推出國內***全功能的VR視頻播放器-小花看看，國內***3DVR秀場直播平臺-小花秀，并預計為行業開發者開放其直播服務。

VR直播火爆

據相關咨詢公司有關數據報告，2016年，VR市場規模預計會達到56億，到2020年，可以達到556億，接近10倍的增長。網絡直播，截至2015年年底，有平臺200余家，在線人數有400萬。在今年上半年手機直播火爆之后，直播平臺數量保守估計已經有400家，在線人數也已經遠遠被刷新了，例如，Papi醬的網絡首秀，對外宣稱的同時在線人數有2000萬。

VR市場、VR技術被寄予厚望，是一個新技術，一種黑科技。VR直播是大眾娛樂一種很重要的內容形式，通過網絡直播方式去溝通交流、交友、獲取信息，已經成為一種潮流。VR直播的一個優勢，就是能給大家帶來身臨其境的體驗，成為一種很重要的內容消費形式。

VR直播的挑戰

無論是開發者，還是硬件廠商，都會面臨一件苦惱的事情：做出來了頭盔，搭建了一個平臺，買了很多版權，有很多內容，但是消費者就是不買賬，號稱有400萬注冊用戶，但其實每天日活只有一兩萬。這時，一些問題就浮出水面：適合VR的內容形式與表演方式是什么樣的?怎么拍攝高質量的VR視頻?怎么分發和存儲高分辨率和高碼率的VR視頻?如何呈現、交互?

VR直播流程

VR直播流程和普通直播流程很像，但要達到身臨其境的感覺，在頭盔端需要達到4K甚至更高的分辨率，所以整個流程的各個環節的要求都提高了，這時候就需要從端到端進行變革。合格的拍攝設備、高效的視頻處理流程、夠寬的網絡傳輸、舒適的頭顯設備、精心打造的直播應用，這些都是VR直播的重要環節。

1. VR攝像機

如上圖所示，從左到右依次是360度攝像機、180度3D攝像機、360度3D攝像機。360度攝像機的特點是能夠覆蓋360度角度，把圖像采集下來，異構后續處理。180度3D攝像機雖然是180度，犧牲了一半的空間，但是具有3D功能，能夠讓用戶感覺到景深，帶來體驗上的升級。360度3D攝像機是比較高級的設備，基本上能夠全場景包圍，還有立體感。

無論是哪一種形式的相機都需要解決幾個問題：由于都是多顆鏡頭、多個傳感器共同協作，首先需要有多顆鏡頭去覆蓋想要覆蓋的角度，360度或180度，需要做到多個傳感器之間同步，同時開始拍攝，才能在后續進行比較好的拼接。此外，還需要色彩、白平衡等各種參數達到一致，方便后續處理。

2. 視頻處理

1)首先是拼接：將多鏡頭拍攝的畫面進行亮度色彩調整、對齊、畸變矯正、投影到球面等一系列處理后，合成為一幅完整畫面的過程。

拼接的核心在于，分開不同的角度拍了很多照片之間會有重疊，需要找一個合適的位置把它們疊在一起，如何找到這個位置?用的最多方法是基于圖像特征控制點的方法，基于圖像的灰度變化特征，找到灰度變化差異最小的塊疊在一起。

基于圖像特征control points控制點

用這種方法完成拼接后，出來的效果整體上看不到接縫，能夠找到一個點去匹配，但是如果仔細看還是能夠發現，或者存在兩個畫面有不一致的點，或者接縫處會存在模糊的現象。因為兩個鏡頭從不同的角度拍到的圖像是同一個物體的不同側面，其實是沒有辦法***拼接到一起的，這個方法不可能做到***的圖像輸出。很多離線視頻之所以看上去找不到任何拼接痕跡，主要是后期進行了大量制作，需要很多人力逐幀做拼接，但在實時里沒有機會做。

另外一種拼接方法是基于機器視覺optical flow光流法。大體原理是用光流法，計算兩個微小變化畫面之間主點對應時，點的對應關系求***解的過程。一旦求出來同一個點在兩張畫面中不同位置，就可以算出視差和深度，這樣就可以借助這個深度做差值，進而生成360度的3D圖像。

2)投影變換

目前VR行業中最常用的投影方式是Equirectangular 等距矩形投影。

可以認為是一個球沿著某一條經線撕扯開平鋪在一個平面上，在平鋪的過程中赤道線上的長度是不變的，兩個極點就是兩個點，尤其是當緯度越高面積很小，要平鋪到球面時就要撕扯開，保留了多個相機之間畫面仍然是連續的，雖然進行了拉深，但是仍然連續，所以這方便拍視頻時監看，看現在演員的站位好不好，看有沒有穿幫，仍然能從圖像里看出來，非常方便做后期處理。但是，有一個很大的缺點，就是浪費了很多存儲，在極點做了很大的拉扯，那里的圖像面積很小，但卻花了很多面積存儲這部分。比如南極洲實際面積應該是在1400萬平方公里，而非洲是4000萬平方公里，在這個圖上可以明顯看出來南極洲比非洲大很多，那些存儲都浪費掉了。

Cylindrical Equal-area 圓柱形等面積投影是改進的一種方法。

既然靠近極點那部分的面積實際很小，在投影變換時做小，在y×sinφ，隨著離極點越近，存儲面積就越小，從這個圖里可以看到南極洲面積被壓縮得非常小，到極點就形成一條線。簡單作一下對比，等距投影和柱形等積投影，用方格子可以明顯看出來在靠近極點時處理不同，在接近中心的地方可以從畫紅框部分對比出來，在底下的示意圖也能看出來，柱形等積投影清晰度會比等距投影清晰度高很多，這是在同等尺寸、同等存儲空間的限制下。初步計算大約在10度能夠提升50%的清晰度。

Cube map 立方體圖投影

Cube map廣泛用于計算機圖形學中，比如unity中的天空盒、反射等應用都使用cubemap的方式來做。

優勢是各面沒有幾何變形，各面像素點均勻分布，投影很方便，當從一個球面投影到Cube map操作很方便，反投影回去也很方便。現在視頻編碼時限是考慮到運動物體關聯關系做，如果沒有幾何變形，這個關系能夠利用得很好，存儲壓縮可以壓到更低。像素均勻分布，在監看時也能夠看得比較清楚，因為沒有變形，能夠清晰地看到表演者或這些物體的真實情況。可以節省25%的像素存儲空間。

3)編碼

把視頻流拼接好，做好投影，在分發出去時要進行編碼，否則視頻量太大，沒有辦法做分發。現在一般常用的編碼還是H264，一般4K清晰度的VR視頻264編碼碼率大于10M，在編碼和清晰度之間要找一個合適的點，理論上做到幾兆都可以，一般壓到6M，再小容易出現視頻不清晰。265在現在很多存儲，包括點播視頻里已經用起來了，因為現在很多電視盒子都帶265硬解功能，現在手機都是旗艦機才帶4K265硬解，在很多手機還不支持的情況下，電視盒子已經開始支持了。盡快在直播中用到265，能夠節省30%-50%的帶寬信號。

3. 網絡傳輸

編碼之后的視頻要進行網絡分發，要解決的問題就是上行和下行。需要注意的問題有：盡量減少上行碼率，使用云轉碼生成多碼率視頻，根據客戶情況動態調整下行碼率。

4. 直播應用

云端分發的視頻流用戶拿到之后，在直播應用里需要做幾件事情，一是營造強的沉浸感，這是VR核心。二是強的臨場感。三是方便的交互方式。此外還有高性能解碼播放、適配各種手機和頭顯設備、低延遲、秒開、音畫一致等。沉浸感的營造方式主要有全空間包圍、直播畫面大于人眼FOV、等比例還原、Avatar形象提升代入感等。臨場感提升主要靠3D技術。語音聊天、送禮物等都是比較方便的交互方式。

5. 頭顯設備

頭顯設備中比較熱門的是移動頭顯設備，一種是Cardboard，一種是GeraVR，還有一體機。指標參數方面：分辨率應該達到2K，計算能力需要到驍龍820，因為CPU運算和對視頻解碼要求比較高，解碼能力要4K硬解。系統和交互主要是輸入，比較看好Daydream輸入，小手柄的設計很好，里面有陀螺儀，還有很多按鍵設計很不錯。其他的要求主要有延遲低、FOV足夠大、無畸變、無色散。

VR直播發展趨勢

以上介紹的僅僅是VR直播最基礎的形式。目前，很多用戶在觀看的時候想自由走動，從不同角度觀看。未來VR直播肯定能夠支持這點，使用三維場景真實還原現實環境，并提供更自然直接的交互方式。微軟、Replay Technologies的FreeD在這些方面已經有些成果了。甚至像前段時間intel發布的Project Alloy宣傳片的那樣，與環境發生真實交互。

本文由任福新于2016年8月，在WOT2016移動互聯網技術峰會VR技術專場《電商新趨勢下的數據分析實踐與思考》主題演講整理而成。WOT2016大數據峰會將于2016年11月25-26日在北京粵財JW萬豪酒店召開，屆時，數十位大數據領域一線專家、數據技術先行者將齊聚現場，在圍繞機器學習、實時計算、系統架構、NoSQL技術實踐等前沿技術話題展開深度交流和溝通探討的同時，分享大數據領域***實踐和最熱門的行業應用。了解WOT2016大數據技術峰會更多信息，請登陸大會官網：http://wot.51cto.com/2016bigdata/

【51CTO原創稿件，合作站點轉載請注明原文作者和出處為51CTO.com】