Part 01

為什么要研究VR高分辨率視頻播放技術？ 

VR技術的快速發展促使全景視頻成為未來視頻服務的新型載體，然而目前行業主流終端設備大部分僅支持4K全景視頻播放，存在紗窗效應明顯、播放高碼率視頻卡頓等問題，導致用戶對VR視頻內容的體驗仍停留在低像素、觀感模糊的階段。

在家庭應用場景中，智能電視作為主要顯示終端面對全景視頻的處理也存在算力不足、渲染效率低下等問題。用戶持續增長的交互需求增加了渲染畫質、效率、帶寬等多目標規劃的難度。全景視頻覆蓋360度球面全視角，而人眼視角下看到的有效球面信息約為球面全景信息的30%（如圖1所示），4K全景視頻觀看體驗僅僅等效55寸電視270P 感官體驗（參考圖2等效），而將全景視頻全視角傳輸給終端并進行渲染，則會造成視頻質量下降和帶寬資源浪費。

因此，基于視頻分塊技術和FoV技術的分視角傳輸渲染機制應運而生，其核心思想是僅對用戶當前FoV內的畫面進行高質量的傳輸渲染，而FoV外的內容則以低質量形式進行渲染，從而在降低整體數據量的同時保證用戶體驗。

圖1 人眼視角觀看的有效信息僅約30%

圖2 全景視頻等效電視清晰度參考表

Part 02

VR高分辨率渲染技術如何解決紗窗效應痛點問題？ 

VR視頻高分辨率渲染圍繞視頻分塊編碼、FoV渲染、視頻增強等技術，實現主流VR終端最高支持12K全景視頻渲染播放。

圖3為VR視頻高分辨率渲染示意圖，首先采用視頻分塊編碼技術和FoV技術降低網絡帶寬要求，將全景視頻切分為多個高質量FoV分塊和一個低質量全景背景流，終端播放器獲取當前視角的FoV分片和全景背景流，并渲染播放當前視角的高質量分片內容。

其次在云側和端側對全景視頻進行增強，一方面在云側運用深度學習方法提取多幀信息為當前幀補充細節信息以提升視頻畫質，經過投影變換、分塊、高分壓縮、編碼后組織為私有格式文件進行傳輸。另一方面，在端側利用傳統圖像處理技術對FoV內畫面進行實時增強，采用直方圖均衡算法和圖像銳化處理技術，充分調用GPU算力提升全景視頻的對比度和清晰度。

VR視頻高分辨率渲染技術大幅降低了對終端算力的要求，節省了存儲資源和傳輸帶寬，提升了終端設備的渲染效率。實現主流一體機最高支持12K超高清VR視頻渲染播放，支持智能電視機頂盒播放8K以上的VR視頻，使低端電視機頂盒也能流暢播放更高清晰度的視頻。

圖3 VR視頻高分辨率渲染示意圖

Part 03

8K/12K VR超高清視頻的傳輸問題如何解決？ 

在傳輸中，全景視頻的超大分辨率對于帶寬和實時性的要求提出了高難度的挑戰，分辨率8K及以上的全景視頻具有極其龐大的視頻碼率及傳輸要求，目前市面上主流8K/12K全景視頻參數如圖4所示。

圖4 主流8K/12K全景視頻參數

在OMAF標準中，提出了兩套傳輸方案：DASH方案和MMT（MPEG media transport，MPEG媒體傳輸）方案。在全景視頻中，根據用戶視角進行動態切換主視點碼流，則能去除“視角”冗余，減少帶寬壓力。應用于OMAF中的DASH方案傳承其基本思想，它通過犧牲存儲空間來提高帶寬利用率。在這一方案中，在DASH服務器上，每個視角都存儲多份不同碼率的視頻流，同一時刻根據客戶端的視角信息來傳輸較高碼率的主視角切片流和較低碼率的其他視角切片流，是碼率和視角自適應的動態流傳輸技術，它的技術流程如圖5所示。

圖5 OMAF中的DASH自適應動態流傳輸流程 

基于分塊以及視角切換等思想，傳輸方案的設計和編解碼方案一脈相承。例如圖6所示的HEVC運動約束分塊集（MCTS）法，在編碼端將全景圖像劃分為多個分塊，且編碼為不同質量的碼流，根據用戶視角信息在網絡傳輸中動態切換不同分辨率和碼流的媒體流，并在解碼端組合成高質量主視角和低質量背景的混合圖像。除此之外，在OMAF中，還提出了使用SRD（spatial relationship descriptor，空間關系描述符）來進行基于用戶視角的流式傳輸。

圖6 相同分辨率HEVC序列法流程 

Part 04

 結束語 

智慧家庭運營中心針對泛家庭VR業務領域，基于中國移動千兆網絡優勢，攻關VR高分辨率渲染能力，目前已可支持渲染最高12K視頻，采用VR高分渲染及傳輸能力，亦可支持大屏機頂盒播放8K以上VR視頻，并逐步推動電視機頂盒硬件升級改造，以支持8K以上分辨率視頻播放。截至目前，基于VR視頻高分辨率渲染技術，已上線12K至臻超清專區、云游江西、粵享周游、天空之城等眾多5G+VR專區及活動，為千萬級5G用戶提供了極致沉浸的VR超高清體驗。