如何做好游戲內實時語音體驗
游戲內語音溝通需求
早在2015年，艾媒咨詢即有移動游戲社交相關數據統計：近40%的玩家因為社交因素選擇一款游戲；15.6%的玩家因為一款游戲社交性差而選擇離開。因此，如何提高游戲的社交屬性已成為各大游戲廠商游戲策劃的重要組成部分。
從小隊戰斗、團隊副本，到游戲排名、PVP團隊競技、公會、家族等游戲玩法，無一不是為了增強游戲的社交性，進而提高游戲粘性和玩家活躍度、留存率的有效方式。隨著移動設備性能大幅攀升，移動游戲也從場景簡單的休閑類游戲發展為更追求操作和游戲體驗的競技類和大型MMO類等重度游戲，該類游戲內玩家間的溝通交流是其必不可少的功能需求。
然而相比端游而言，手游內打字系統更加不方便，文字消息完全無法滿足溝通的實時性需求；此外，由于重度游戲對手機網絡及性能的要求很高，不穩定的網絡和有限的計算資源是每個移動端目前都無法完全解決的問題，游戲外的語音通信軟件如移動QQ等也無法滿足在資源緊張的情況下做到不影響游戲內玩家的體驗，因此，移動游戲內集成輕量級的語音聊天能力已成為各手游廠商的必然選擇。
移動游戲語音能力面臨的挑戰
實時語音通信技術在行業內早已不是一個新話題，從傳統的VOIP呼叫中心廠商，到云通信領域的語音服務提供商，均有大量現成的SDK供各類APP集成其實時語音能力。然而，針對移動游戲內的實時通信需求，不僅僅是簡單實現實時通話就可以滿足，更多的挑戰如下：
1. 對游戲核心玩法的影響
近年來，移動設備性能大幅增強，但相對玩家對游戲體驗的追求而言，目前消費級智能設備的性能仍然是只能滿足高品質游戲的基本需求，并沒有過多的富余。若實時語音能力占用了過多的設備CPU和內存，會導致游戲本身體驗的下降，社交需求雖然是玩家選擇游戲的重要方向，但游戲體驗才是決定一個游戲能否存活的根本。而從15年起，對網絡延遲要求極高的MOBA和FPS類游戲也被搬上移動端，面對移動端極度不穩定的網絡環境和昂貴的4G流量費用，各游戲廠商為了優化游戲報文、減少網絡流量、降低網絡延遲費心盡力，若由于語音能力的加入將游戲網絡質量一夜影響到解放前，顯然是得不償失的。此外，語音能力的加入是否會大幅提高游戲下載首包的大小也是各大游戲發行廠商關注的重中之重。
2. 移動游戲環境下的聲音處理
相比于客戶端游戲的場景，移動端游戲最大的優勢在于我們可以“移動”著玩游戲，然而在實時語音上，這種“移動”的便捷性也為清晰的語音傳輸引入了更多的問題：地鐵或路上嘈雜的背景音影響正常的語音質量；手機距離嘴巴距離的忽遠忽近，聲音忽大忽小；多人說話外加游戲的背景音的混疊導致能量過大引起爆音；多玩家手機聲音外放造成的大量回聲。這些都是在端游相對簡單的環境加耳麥場景下不會頻繁產生的復雜的聲音處理問題。
3. 移動游戲多語音場景的能力覆蓋
目前比較重度的手游中，競技類如MOBA、吃雞和MMO類游戲占據了主流，該類游戲的實時戰斗屬性急需移動游戲引入語音能力，而休閑棋牌類游戲內語音也逐步成了增強玩家間交流的重要手段。在新進火熱的社交類游戲中，語音已成為游戲的基礎能力之一。然而，各類游戲對語音能力的需求也不盡相同：競技類游戲要求游戲內同隊玩家均可連麥游戲，在保證基本溝通需求的同時盡量減少對移動設備性能和網絡的影響；MMO類玩家很多，如PVP場景下的小隊語音、PVE場景下的團隊語音，而類似游戲內主播頻道的玩法也在最近被眾多MMO游戲所關注；社交類游戲如狼人殺更關注實時語音的音質，流暢無卡頓的溝通是游戲長久運營的必要條件；休閑類游戲也將實時語音和語音消息作為輔助的社交手段來提高玩家的活躍度。 此外，也有眾多玩家在移動端的環境下不具備收聽語音的能力，因此類似微信上提供的語音消息轉文字功能也是移動游戲必不可少的能力之一。
4. 移動游戲語音全球化能力
2017年國內移動游戲用戶規模已接近6億，增速逐年放緩，人口紅利已然消失，競爭日益激烈，也逼迫各大廠商走向游戲精品化路線。相比之下，國產游戲在海外則大有發展空間，更多的精品手游也在獲得國內玩家認可后在迅速在全球推廣發行。外國玩家是否也有跟國內玩家一致的語音需求呢？在Greg Wadley等人的調研報告中（Voice in Virtual Worlds: The Design, Use, and Influence of Voice Chat in Online Play），給出了明確的答案：游戲內語音在全球來看，都是可以極大的提升玩家游戲體驗的。游戲全球化對游戲內語音提出了新的挑戰—如何為跨地域的玩家提供流暢清晰的語音體驗—不穩定的網絡，長距離的傳輸外加全球各地語音服務基礎設施的部署與運維，都是讓游戲廠商頭疼的問題。
實時語音常用技術方案
在語音相關的眾多研究中，已有大量關于不同環境下語音處理的方法，并且在互聯網環境下流媒體協議及如何解決的一些網絡問題也有前人給出建議。本節即針對上述移動游戲環境下實時語音所面對的挑戰，介紹一些語音預處理、流媒體協議等通用的解決方案。
圖1 語音預處理常規流程
1. 語音降噪
在移動設備所處復雜環境的情況下，接收語音信號的同時會接收到大量噪音，因此語音降噪技術是提高音質、增加語音識別準確率的的必要手段。降噪技術一般分為單麥克風系統和多麥克風系統下的降噪方法，其中多麥克風系統對多麥克的方向、之間的距離要求很高，常用的移動設備中并不具備如此完善的多麥克風通道設計，因此單麥克風下的濾波降噪或噪聲閾值方法在移動設備噪聲處理中更為常用。噪聲處理在移動設備上相對比較簡單，第一因為許多高端智能設備上已經內置了專用降噪芯片供操作系統調用，并且移動操作系統中也內置了很多高效的降噪算法供開發者調用，如Android中的NoiseSuppressor。
2. 語音激活檢測（VAD， Voice Activiy Dection）
語音激活檢測的目的即判斷一段聲音是背景噪音還是語音，該技術往往作為在各類語音后續處理及語音識別技術的基礎。在移動游戲無處不在的噪聲環境中，語音信號的準確識別尤為關鍵。一方面，可以通過對語音信號的識別，去掉沒有語音的部分的聲音，減少語音傳輸文件的大小，也減少了其他語音處理方法的CPU內存消耗；另一方面，準確提取語音信號，也可以有效提高語音識別轉文字的準確性。
圖2 VAD處理過程
由于語音本身的特性及其相對背景音的區別：能量高且不連續，因此在聲音的時域分析方法中短時能量結合短時過零率的分析可以有效辨別聲音是語音還是噪音；在頻域中語音信號也可以通過倒譜及譜熵等特征作為識別參數；隨著機器學習的發展，隱馬爾科夫模型、決策樹模型乃至最新的深度神經網絡也被應用于VAD領域，以提高噪音環境下VAD的準確率。幾種方式比較而言，時域分析對硬件要求最低，頻域分析速度最快，而模型方式則相對較復雜，但在準確率上更占優勢。截止目前，市場上三類VAD分析方法都在不同需求場景中被廣泛應用。
3. 回聲消除
回聲，作為噪音和背景音外的第三類另人頭疼語音問題，在移動游戲場景下也廣泛存在。噪聲的處理過程可簡單的理解為從近端收集的所有音頻中，通過自適應濾波器消除遠端傳來的音頻信號，再輸出到對端，即完成了回聲消除的目的，其中的關鍵點在于不斷減小濾波器權值與回聲路徑信道權值的誤差。
圖3 回聲消除—自適應濾波器
自適應濾波算法一般分為兩類：最小均方算法（LMS）和遞推最小二乘（RLS）算法，RLS優勢在于濾波效果更好，但LMS具有結構簡單、計算復雜度低等優點，因此更多的研究也集中在LMS上，如歸一化最小均方（NLMS），比例歸一化最小均方（PNLMS）等在濾波性能、收斂速度等多方面對LMS算法進行優化和提高。同時，Android中也同樣提供了AcousticEchoCanceler接口可以直接對聲音進行回聲消除，高端智能手機中也會內置專業聲音處理芯片，在硬件層面更好的對回聲進行消除。
4. 多路聲音混疊
游戲中小隊語音會有多個玩家同時說話的情況，并且在玩家收聽語音的同時，游戲的背景音也不可被去除，因此如何使多路語音清晰傳遞并且不會造成爆音是該場景下優質混音的評判標準。最簡單的混音方式是簡單的時域音頻疊加，強度超過最大值時削峰為最大值來避免爆音，但人為削峰方式會在破壞音頻信號的同時引入額外的噪音；另一種方式是多路聲音線性疊加后取平均，該算法實質即把多路音頻音量減小，但聲音路數時多時少時，該方法會導致每路聲音的音量忽大忽小，影響體驗；因此，在實際使用場景中，更好的方式是根據每路語音的重要性，在混音時候給予相應的權重，以保證混音后各路音頻的可識別性。
5. 語音自動增益
自動增益控制技術在數據通信、語音處理等方面應用廣泛，通信信號的信號幅度經常會發生較大波動，通過自動增益技術可以平滑信號幅度，進而提高通信質量。在移動游戲場景中，手機離人嘴部的距離可能依賴于玩家游戲時不同的外部環境而劇烈變化，因此，平滑每個人的聲音大小及一個人在不同說話時間的聲音大小對語音通話的質量關系重大。在多人實時語音通信的場景中，自動增益可在VAD處理后完成，并且門限值可按照多路聲音混疊中的需求所設定，采用基于能量比較的語音自動增益算法即可實現較好的平滑音量的效果。
圖4 峰值AGC系統結構
6. 流媒體傳輸協議
常見的流媒體協議包含RTP，RTMP，HLS，HTTP-FLV等，其中RTMP，HLS，HTTP-FLV由于在國內外CDN平臺支持度更高，因此更常見于現今流行的各大直播平臺。RTMP為Adobe專利協議，協議延遲較低，國內流行度很高，是最常用的推流協議；HLS為蘋果提出的基于HTTP的流媒體傳輸協議，支持H5，可多平臺多瀏覽器隨意播放，但延遲較高；HTTP-FLV使用HTTP傳輸FLV格式文件，避免了Adobe協議綁架，延遲略優于RTMP。
在實時性要求較高的視頻監控、高清視頻會議領域，RTP為更常用的協議。其相對于前三種基于TCP的流媒體傳輸協議相比最大的區別在于，RTP是基于UDP的協議的。由于UDP本身是無序的，因此RTP常常與RTCP協議公用，用于對RTP協議的包序等內容進行控制。同時也可以采用數據包擁塞控制協議（Datagram Congestion Control Protocol，DCCP）來自如的控制擁塞、延遲及數據質量。如網絡視頻會議領域市場占有率最高的Webex視頻會議系統即采用SRTP（Secure RTP）協議作為其流媒體傳輸協議。而目前各大云廠商的互動語音視頻產品也大多采用類RTP協議——基于UDP協議優化的私有協議——作為其實時流媒體傳輸協議，以達到降低延遲、帶寬消耗的目的。
7. 流媒體丟包處理
在移動設備所處的不穩定的網絡環境下，外加游戲全球發行所帶來的跨地域玩家間的網絡質量問題，語音通信需要考慮在網絡抖動丟包的情況下，仍然可以保證玩家間的正常通信。常見的流媒體丟包處理方案有：ARQ、FEC和交叉傳輸。在網絡丟包嚴重的情況下，無法根據現有報文處理產生明確的語音信息，自動重傳請求（ARQ, Automatic Repeat-reQuest）丟失報文的方式可以將大范圍丟失報文重新傳輸，增加延遲但可以保證數據的有效性。前向糾錯（FEC，Forward Error Correction）可以在少量丟包情況下，通過數據冗余而非數據重傳，來保證數據的有效性，降低重傳頻率，減少延遲。算法的核心可類比為二元一次方程，需要兩個方程即可以求出兩個元的解。在FEC中，傳輸三個二元一次方程，因此在丟失一個方程的情況下，我們仍然可以求出解，達到可容忍部分包丟失而不影響信息有效性的目的。
圖5 FEC：在報文3丟失情況下，仍然可以依靠冗余報文恢復原始數據
此外，常規的數據包傳輸都是按照嚴格的順序來發送的，如把一序列數據拆分為123，456，789三個報文發送，一旦一個報文丟失，會產生一整段信息的空白，但在流媒體環境下，大多數情況下單幀的丟失內容是完全可以通過前后幀的內容補償而變得影響很小，因此若采用147、258、369的交叉傳輸方式封裝報文，單個報文的丟失并不會對整體體驗帶來很大的影響。此外，在網絡帶寬允許但丟包不可控的服務期間跨地域傳輸情況下，單幀多包封裝的傳輸方式也可以有效降低丟包導致頻繁重傳帶來的延遲影響。
綜上可知，僅從聲音的處理、協議的選擇及應對網絡抖動方面，即需要專業的語音處理研發人員進行多項優化處理措施。然而，這僅僅是從理論層面的論述，在實際的游戲場景中，更重要的是在做到上述所有語音優化基礎之上，不能影響游戲的核心玩法，即：1）需要對語音通訊所需的CPU、內存及網絡資源進行不斷優化降低；2）在面對市面上眾多安卓設備時保持極低的Crash率并隨時適配最新設備；3）支持常用的游戲引擎如Unity, Cocos。 此外，為保證語音全球服務的穩定性，架構設計的研發成本、多地域間專線連接成本及后期運維成本等問題都是游戲廠商自建游戲內語音服務的眾多阻礙。
原文鏈接：https://cloud.tencent.com/developer/article/1046538
【本文是51CTO專欄作者“云加社區”的原創稿件，轉載請通過51CTO聯系原作者獲取授權】
