2021年4月16日，多媒體技術領域盛會LiveVideoStackCon音視頻技術大會在上海舉行。本屆會議以“新技術，新機會”為主題，聚焦在音頻、視頻、圖像等技術的最新探索與應用實踐。數十位業內知名講師與來自全國各地的音視頻工程師、多媒體工程師、圖像算法工程師、運維與物聯網工程師等分享了技術創新與最佳實踐。

　　網易云信資深音視頻引擎開發工程師王興鶴受邀參會，在“網絡傳輸與RTC”專題會場中進行了題為《網易云信QoS優化實踐》的主題演講，分享了在弱網環境下，提供良好音視頻傳輸服務的思路和優化經驗，以及云信在QoS優化方面具體的實踐和思考，精彩的分享獲得參會者的一致好評。

[[394280]]

　　如何應對爆發式的音視頻數據增長?

　　隨著AI和5G的到來，以及疫情的變化，音視頻數據呈現爆發式增長，音視頻應用變得更加廣泛，人們對音視頻的品質需求也越來越高，視頻分辨率從高清發展為超高清、VR，視頻幀率也已出現60fps、120fps等應用，交互式的應用對端到端延時也提出了更高的要求。與此同時，設備的硬件性能也突飛猛進。

　　可以預見，隨著5G的應用更為普遍，網絡中傳輸的數據將會呈現爆發式增長，大量數據將會給網絡傳輸帶來巨大的挑戰——網絡服務提供商需要在技術層面做到對瞬息萬變的網絡環境有很強的適應能力，需要合理利用抗丟包、抗抖動，擁塞控制等手段應對變化的網絡，需要在不同的網絡特征和用戶場景下充分發揮各項技術的優勢，揚長避短，在有限的網絡資源中，找到延時、畫質、流暢三者之間的最佳平衡點，提供良好的音視頻傳輸服務。

　　王興鶴在演講中認為：“雖然網絡中常見的問題有丟包、抖動、擁塞、延時等不同的分類，但這些弱網的分類并不獨立存在，而是會相互轉化，相互影響;另外從接收端QoE的角度來看，網絡問題固然會是我們分析弱網影響的重要部分，但音視頻鏈路中其它環節帶來的體驗上的影響也不容小覷。為了給用戶帶來良好的音視頻體驗，QoS優化是整體的綜合性的優化。”

　　用技術組合拳實現效果最大化

　　針對上述的一系列弱網問題，網易云信的QoS引擎采用了大量的技術手段進行抵抗，比如重傳、FEC、GCC、Jitter Buffer等，具體闡述如下：

　　• FEC(前向糾錯碼)是在發送端額外發送一些冗余數據，用于抵抗網絡丟包。當接收端檢測到媒體數據發生丟包時，就可以利用接收到的冗余數據進行丟包恢復。

　　• 重傳是當接收端檢測到丟包時通過反饋給發送端丟包信息(NACK)進行相應數據的重傳，最大的好處是碼率利用率高，缺點是會引入額外的丟包恢復抖動，從而拉大延時。

　　• Jitter Buffer的作用是以最低的緩沖延時代價消除數據抖動，提供流暢的播放幀率，也就是說，在解碼之前的任何環節引入的數據抖動，都會匯總到Jitter Buffer模塊處理抖動消除。

　　除了重傳、FEC等常規手段之外，長期參考幀技術打破了傳統的向前一幀的參考規則，可以更加靈活地選擇參考幀;在有丟包的場景下，接收端不需要等待丟包恢復也能繼續顯示畫面，其最大的好處是低延時，不需要等待重傳恢復，但是帶來了壓縮率的犧牲，在相同碼率下表現為圖像質量的犧牲;但長期參考幀比較適合1V1的場景，而多人場景時，需要大小流和SVC發揮作用，在帶寬不足時，不同用戶對清晰優先和流暢優先的需求不一樣，SVC和大小流提供了靈活的機制滿足不同應用的需求。

　　而具體到應用場景時，王興鶴說：“我們要注意到不同應用場景的需求，比如通信場景更多的是用FEC，重傳作為輔助，提升實時性。直播場景更多是用重傳，FEC作為輔助，提升清晰度。”

　　這意味著，每一種技術都有各自的優點和不足，在解決主要問題的同時，可能會帶來不同的收益降低;在不同的應用場景下，對于技術的選擇也有不同要求。因此，僅僅支持了這些功能并不是很困難，困難的是如何調試優化各個模塊的相關參數，讓各個功能相互配合。

　　經過一系列綜合優化后，網易云信的音視頻通話可以做到端到端延時小于 200 ms，最高可抗 1000 ms 網絡抖動，在網絡丟包 70% 時仍能正常通話。

　　制定差異性策略 持續優化

　　在王興鶴看來，QoS的優化是個長期持續的過程，主要體現在三個方面：

　　首先，是各類算法還需要不斷的升級，FEC、重傳、Jitter Buffer、Neteq、GCC等都需要進一步地精細化，并結合AI技術和反饋機制，適應不同網絡的情況。

　　其次，要理解不同場景、不同用戶的個性化需求，細分服務的顆粒度，提供更加差異化的產品和服務。例如1v1場景大多是交互性的應用，因此對延時和流暢要求較高;而多人場景中又可以細分1vN、NvN等，多人會議中，網絡中傳輸流的數量將呈指數型上升，對算法和整體穩定性提出了更高的挑戰。不同的場景的需求有明顯的特征，我們需要將這些特征跟我們的算法和架構深度關聯，將一些損失和收益的平衡做到極致，提供最高性價比的服務。

[[394281]]

　　最后，要注意數據結果對產品迭代和優化的驅動，不能只是在理論層面做得很完善，還要結合實際執行效果的觀測來建立閉環的反饋和優化機制。

　　這也是網易云信QoS引擎迭代升級的思路：對大部分場景，或者大部分指標都有優化技術的項目，那就相對簡單，可以全面鋪開落地;而對于有得有失的技術優化，首先需要做大量的對比測試、驗證，盡可能得出各種情況下的實驗室理論結果;其次要求所有已發版的相關功能參數可控，結合線上實際的觀測數據，做數據挖掘和綜合分析，形成數據驅動下的閉環效應，線上數據一方面可以驗證實驗室的測試結果，另一方面可進一步指導后續優化工作。

　　“QoS優化最大的困難是如何把握各項資源的平衡，并尋找到最佳平衡點“，王興鶴總結說，這也是網易云信Qos引擎在進行的深層次的QoS優化工作——基于場景的優化，制定差異化的策略適應不同的場景，并不斷迭代優化。