2022年8月24日，淘寶造物節全新亮相！為了探索下一代互聯網沉浸式購物體驗，本次造物節除了在線下廣交會展館打造一個兩萬平?全景式的“未來營地”以外， 線上首次上線可萬人同時在線的虛擬互動空間“3D瘋狂城-造物節虛擬營地”。

在3D虛擬營地里，用戶能夠以輕量級的方式體驗高清的游戲質感，并以虛擬人物形象加入到“3D人貨場”的世界，與玩家互動，與3D商品互動，滿足新一代消費群體愛玩、愛造的訴求，以創新的技術帶來全新的消費體驗。

下面我們一起看看3D直播虛擬營地的體驗&技術亮點：

輕量級裸眼3D“實景游戲”

曾經你喜歡一款3D游戲，客戶端下載好幾個G，想玩新游戲時卻不得不卸載，真是太占內存了！在造物節的虛擬營地，你快速加載出一款裸眼3D、可互動、可直播，甚至還能買買買的高清畫面“游戲”，而且你的淘寶App“一點都沒變大”，手機加載速度“嗖嗖的”~

?  技術亮點：云端成本的挑戰

傳統的在移動端做3D游戲應用的開發，往往需要在端測集成幾十上百 M 的游戲引擎，還需要下載幾個G的素材資源，這在淘寶app 內目前是不現實的。采用云渲染的方式可以很好的解決這一問題，借助云端強大的GPU完成高清復雜的場景渲染，用戶無需下載大型的資源文件，也不需要安裝任何內容，唯一需要的就是播放實時渲染的媒體流。

但這里帶來的最大的問題就是云渲染機器的成本問題。為了降低云渲染機器的成本， 我們除了在云渲染方面，做好模型減面、dp 合并、貼圖優化、降低視頻素材分辨率等性能優化策略。還在機器調度上， 結合業務場景做了分時段動態擴縮容策略，最大程度提高機器的利用率。

3D人與3D商品首次在3D虛擬世界相遇

曾經在“淘寶人生”里穿衣打扮的3D用戶，第一次“走”出小家，來到了造物節的直播3D虛擬營地。在這里，你可以自由跳動、點燃篝火，還可以查看3D商品，觀看賣家直播，與玩家互動交流。3D人、3D商品、3D環境結合在一起，給你沉浸式的奇妙營地探險體驗。

?  技術亮點：人貨場的搭建與互動

人與人的交互 。淘寶人生里的3D人物，放置到3D虛擬世界里來，首先需要一定的資產轉換和渲染成本。用戶在營地里跑動，涉及到用戶位置的實時同步。對于用戶實時漫游，我們采用幀同步的技術，按照固定頻率去更新用戶位置信息， 理想情況下，用戶是不會感覺到卡頓的， 但是不可避免網絡擁塞引起幀間抖動，相鄰兩次位置同步的時間超過一定間隔，則會引起跳變。為了彌補這種不足， 我們在人物渲染的時候采用了運動補償的算法，簡單說就是通過算法模擬讓用戶位置移動過渡的更加平滑。同時在互動數據的同步方面，采用了AOI 網格算法， 解決多人同屏數據同步的問題。 這樣，3D人物在虛擬世界里隨意跑動都會比較流暢順滑。

人與商品的交互。用戶想要在虛擬場景下自由查看3D商品的細節并不容易，我們有兩種方案可以選擇：一種是移動端渲染，一種是云端渲染。移動端渲染在淘寶內也有相對成熟的解決方案，遺憾的是移動端的渲染引擎和云端渲染引擎并不是一套， 所以同一個商品模型并不能通用， 同時還要考慮模型動態下載， 減面優化等問題，為了避開這些劣勢，我們還是選擇了云端渲染的方案，通過動態切換相機視角，實時響應用戶端的交互指令，以達到旋轉、縮放觀看3D商品的體驗。 

1080P分辨率酷炫高清畫質

曾經你在手機App里嘗試頁面小游戲，糊得如同馬賽克，跑跑跳跳還掉幀。造物節全新3D虛擬營地，畫質高清、效果流暢，舞臺燈光還能動態追蹤到身為“明星”的你~

?  技術亮點：云端渲染的內容制作與實時傳輸

在云端，我們采用虛幻引擎做實時畫面的渲染， 并且結合動態運鏡、動態舞臺燈光、人物多視角、粒子效果等技術讓畫面看起來更加酷炫，用戶互動感更強。 為了把高清的畫面傳輸到用戶的手機上，我們需要綜合考慮畫質，卡頓，延時的平衡， 借助大淘寶和阿里云共建的GRTN傳輸網絡，以及自研的編解碼算法，可以最大程度保障畫質的清晰。

交互式虛擬畫面不卡頓

曾經你在淘寶主播直播間，倒數“3、2、1、開搶！”感受到了超低延遲秒殺的爽感。但屏幕外的你，卻無法通過交互直接干預直播間主播的行動。在3D虛擬營地的你，一邊跳舞一邊打招呼，還可以點擊商家的3D商品，觀看喜歡的主播講解，實實在在做到了“與商家、主播同框交流”。

?  技術亮點：全鏈路超低延遲  

不同于互不干擾的畫面傳輸，在交互式下實現超低延遲的流暢體驗，我們需要在百毫秒內完成用戶指令的上行、 實時畫面的渲染、并將渲染好的畫面返回到用戶手機端。首先，這里面要綜合考慮用戶的機器、網絡、接入點情況，來動態選擇離用戶最近的推流節點，從而調整云端的推流策略（包括清晰度，編碼方式的選擇）。其次，在傳輸過程中，還需采用實時帶寬反饋、FEC 、動態buffer 等弱網控制策略來對抗網絡的抖動， 從而使整個鏈路延時達到合理的位置，最終實現在虛擬世界的交互中，保障流暢的交互體驗。

結語

此次造物節3D虛擬營地，是淘寶虛擬互動空間“3D瘋狂城”系列的首次上線嘗試。 下一步，我們將會結合云端實時渲染， XR/CG技術實現虛擬化場景定制， 支撐更大規模的用戶實時互動，為消費者帶來更沉浸式互動體驗。