【51CTO.com原創(chuàng)稿件】醫(yī)生和患者之間利用音視頻進(jìn)行遠(yuǎn)程診療，在門(mén)禁門(mén)鈴上通過(guò)遠(yuǎn)程音視頻對(duì)來(lái)訪者進(jìn)行錄像和開(kāi)關(guān)門(mén)操作，在機(jī)器人或其他智能家居上通過(guò)音視頻通信模塊實(shí)現(xiàn)對(duì)親人的遠(yuǎn)程陪護(hù)，通過(guò)線上一對(duì)一陪練的方式進(jìn)行音樂(lè)教育…這些在以前看似不可思議的場(chǎng)景，現(xiàn)在都已經(jīng)真實(shí)存在了，而這一切都得益于音視頻為用戶帶來(lái)的溝通便捷性。

網(wǎng)易云信在音視頻方面耕耘數(shù)十年，在技術(shù)與市場(chǎng)方面積累了大量經(jīng)驗(yàn)。近日，51CTO對(duì)網(wǎng)易云信多媒體資深技術(shù)架構(gòu)師吳桐進(jìn)行了專訪，就音視頻通訊領(lǐng)域的技術(shù)和市場(chǎng)進(jìn)行了深入探討。

采訪伊始，吳桐介紹了網(wǎng)易云信音視頻近期的一個(gè)成功案例：VIP 陪練。VIP陪練的模式是，一端連接在家練琴的學(xué)生，另一端連接陪練的老師，老師對(duì)學(xué)生進(jìn)行遠(yuǎn)程的練習(xí)指導(dǎo)。音樂(lè)教育的特殊性決定了其技術(shù)開(kāi)發(fā)和功能部署是一個(gè)專門(mén)化的細(xì)分領(lǐng)域，而音視頻技術(shù)作為在線教育模式的核心底層技術(shù)是需攻破的首要“堡壘”。在線音樂(lè)創(chuàng)新領(lǐng)軍平臺(tái)VIP陪練依托于網(wǎng)易云信的解決方案，實(shí)現(xiàn)的在線一對(duì)一陪練模式是當(dāng)下在線音樂(lè)平臺(tái)打破音視頻技術(shù)瓶頸，實(shí)現(xiàn)教學(xué)模式創(chuàng)新的典范。

完整的技術(shù)能力

音視頻研發(fā)看起來(lái)很酷，但是技術(shù)開(kāi)發(fā)上卻有著重重難關(guān)要過(guò)。談到這些年網(wǎng)易云信在音視頻研發(fā)領(lǐng)域遇到的困難，吳桐表示，音視頻研發(fā)包括客戶端和服務(wù)端，而客戶端的終端設(shè)備種類繁多，這些終端設(shè)備底層的音視頻硬件的標(biāo)準(zhǔn)不一致，這就要在終端的適配方面做大量工作。回聲消除、用戶的接入效果等都是網(wǎng)易云信音視頻曾經(jīng)遇到過(guò)的難題。

網(wǎng)易云信音視頻有著一整套的專業(yè)技術(shù)開(kāi)發(fā)，包括連麥、群聊、快聊等具體的聊天模式的技術(shù)能力，以及各類基于各種場(chǎng)景需求的溝通模式的技術(shù)能力。并且，網(wǎng)易云信音視頻在采集、編碼、傳輸、解碼、渲染等各環(huán)節(jié)均有著專業(yè)的技術(shù)能力，可以確保各類機(jī)型的匹配、音視頻技術(shù)的兼容，以避免高并發(fā)、弱網(wǎng)等復(fù)雜環(huán)境下出現(xiàn)延時(shí)、卡頓、丟包等現(xiàn)象。

WebRTC的進(jìn)一步優(yōu)化：NRTC

WebRTC使一直封閉和高端的實(shí)時(shí)音視頻通信領(lǐng)域受到了不小的沖擊。開(kāi)發(fā)者可以以相對(duì)較少的成本或免費(fèi)就能為自己的應(yīng)用和設(shè)備加入遠(yuǎn)程音視頻通話和協(xié)作的功能，尤其是在社交通信、企業(yè)協(xié)作、在線教育、在線醫(yī)療、智能家居、車聯(lián)網(wǎng)這些行業(yè)，更能通過(guò)音視頻通話能力的應(yīng)用開(kāi)拓更多的應(yīng)用場(chǎng)景和領(lǐng)域，

WebRTC在Web端雖然有著諸多優(yōu)勢(shì)，但是作為一項(xiàng)開(kāi)源技術(shù)，WebRTC并不***。例如，面臨低帶寬、高并發(fā)、高丟包等復(fù)雜的網(wǎng)絡(luò)環(huán)境時(shí)，WebRTC通常都無(wú)法保證信息的傳輸質(zhì)量。還有可能由于WebRTC的適配問(wèn)題導(dǎo)致用戶無(wú)法連麥，或者用戶在音視頻通話過(guò)程中頻繁出現(xiàn)回聲、嘯叫等情況。如何更好地優(yōu)化WebRTC，從而為用戶帶來(lái)更高效的音視頻通訊應(yīng)用也成為關(guān)鍵。

網(wǎng)易云信自研的全功能工業(yè)級(jí)的音視頻技術(shù)框架NRTC(NETEASE Real-Time Communication)，是網(wǎng)易云信基于多年音視頻研發(fā)經(jīng)驗(yàn)形成的全面、靈活、易用的工程化解決方案，其目標(biāo)就是降低音視頻功能開(kāi)發(fā)門(mén)檻，幫助用戶實(shí)現(xiàn)便捷化、快速化開(kāi)發(fā)和部署。

在技術(shù)上，NRTC是同時(shí)適應(yīng)于Web和Server開(kāi)發(fā)的完整的解決方案，可幫助用戶實(shí)現(xiàn)多點(diǎn)音視頻通信。在功能上，NRTC提供了包括直播、音視頻通話等在內(nèi)的多元化的音視頻通信功能。在應(yīng)用場(chǎng)景上，NRTC可面向音視頻交友、在線教學(xué)等多種場(chǎng)景，提供有專門(mén)的解決方案。NRTC以全面的技術(shù)、功能和場(chǎng)景應(yīng)用，幫助用戶切實(shí)降低音視頻開(kāi)發(fā)門(mén)檻。

NRTC在傳輸端采用私有協(xié)議，保障了音視頻通信功能在開(kāi)發(fā)過(guò)程中能靈活應(yīng)對(duì)業(yè)務(wù)需求、開(kāi)發(fā)環(huán)境的要求。此外，基于傳輸層私有協(xié)議，用戶可以很容易的擴(kuò)展媒體包，無(wú)需遵循太多開(kāi)源技術(shù)規(guī)定的標(biāo)準(zhǔn)，可基于實(shí)際情況做簡(jiǎn)化和優(yōu)化。

依托簡(jiǎn)單易用的SDK，NRTC真正實(shí)現(xiàn)了音視頻研發(fā)的工程化，讓音視頻開(kāi)發(fā)用易用的開(kāi)發(fā)工具即能實(shí)現(xiàn)多元化的功能部署。

目前，網(wǎng)易云信已經(jīng)為網(wǎng)易云音樂(lè)、網(wǎng)易云課堂、網(wǎng)易新聞、網(wǎng)易有道等眾多網(wǎng)易產(chǎn)品提供全套實(shí)時(shí)音視頻技術(shù)方案及支撐，同時(shí)也為諸多的游戲以及妙克VIP陪練等接入了音視頻功能，使用戶輕松實(shí)現(xiàn)線上實(shí)時(shí)問(wèn)診、視頻陪練等。

吳桐總結(jié)說(shuō)，WebRTC的核心優(yōu)勢(shì)就是在Web端可以做成一個(gè)免插件的接入。今后，WebRTC必將在教育、醫(yī)療等場(chǎng)景下有越來(lái)越多的應(yīng)用。

目標(biāo)清晰，擁抱未來(lái)

談到網(wǎng)易云信音視頻未來(lái)的發(fā)展，吳桐明確表示，有以下三個(gè)方向。

1. 在流暢度和清晰度上下功夫。

流暢度和清晰度是實(shí)時(shí)音視頻領(lǐng)域永遠(yuǎn)的核心。網(wǎng)易云信音視頻必將投入足夠的人力、物力在這個(gè)方面繼續(xù)耕耘，讓音視頻更流暢、更高清。

2. 適配更多的垂直類客戶應(yīng)用場(chǎng)景

實(shí)時(shí)音視頻的應(yīng)用場(chǎng)景越來(lái)越多、越來(lái)越細(xì)，要想在市場(chǎng)長(zhǎng)久立足，就需要去主動(dòng)適配更多的垂直應(yīng)用場(chǎng)景，使用戶在自己特定的領(lǐng)域更好的使用音視頻。

3. 更多的調(diào)研和嘗試

前沿技術(shù)不斷涌現(xiàn)，AI、VR…等等，這些前沿技術(shù)與音視頻的結(jié)合，是網(wǎng)易云信音視頻未來(lái)調(diào)研和嘗試的方向。

【記者視點(diǎn)】

隨著直播授課進(jìn)入教育行業(yè)，直播答題進(jìn)入廣電行業(yè)，音視頻技術(shù)的創(chuàng)新已經(jīng)到了風(fēng)口浪尖，帶來(lái)了***機(jī)遇，而機(jī)遇就意味著挑戰(zhàn)。音視頻行業(yè)的標(biāo)準(zhǔn)正隨著數(shù)字化進(jìn)程飛速發(fā)展，行業(yè)產(chǎn)業(yè)鏈逐漸成熟，分工也更加細(xì)化。在如今競(jìng)爭(zhēng)激烈的市場(chǎng)中，唯有夯實(shí)基礎(chǔ)，在場(chǎng)景中千錘百煉，才能立于不敗之地。

嘉賓介紹

[[230035]]

吳桐，網(wǎng)易云信多媒體資深技術(shù)架構(gòu)師。浙江大學(xué)碩士畢業(yè)，加入網(wǎng)易后深度參與了網(wǎng)易UU網(wǎng)游加速器、易信、網(wǎng)易云信等項(xiàng)目。現(xiàn)任網(wǎng)易云信流媒體服務(wù)器組技術(shù)負(fù)責(zé)人，負(fù)責(zé)實(shí)時(shí)音視頻、互動(dòng)白板、直播、互動(dòng)直播與WebRTC網(wǎng)關(guān)等項(xiàng)目的架構(gòu)設(shè)計(jì)與研發(fā)，對(duì)音視頻、高性能服務(wù)器以及網(wǎng)絡(luò)通訊等領(lǐng)域均有多年的工作與項(xiàng)目經(jīng)驗(yàn)。

【51CTO原創(chuàng)稿件，合作站點(diǎn)轉(zhuǎn)載請(qǐng)注明原文作者和出處為51CTO.com】