吐司盒子？芝士碼？HarmonyOS創(chuàng)新音視頻測試技術(shù)來啦
51CTO和華為官方合作共建的鴻蒙技術(shù)社區(qū)
當下，音視頻無處不在，很多設(shè)備和應(yīng)用都涉及音視頻。因而，對于HarmonyOS開發(fā)者們來說，如何對鴻蒙生態(tài)產(chǎn)品進行音視頻測試是一個非常重要的問題。
華為HarmonyOS生態(tài)整機測試能力中心——DevEco Testing，為生態(tài)合作伙伴接入HarmonyOS生態(tài)提供專業(yè)的測試服務(wù)。DevEco Testing推出的音視頻測試服務(wù)，為HarmonyOS整機提供音視頻評測能力，滿足開發(fā)者們的上述需求，也為鴻蒙生態(tài)保駕護航。
下面我們以手機投屏業(yè)務(wù)為例來聊一聊音視頻測試吧！
一、傳統(tǒng)音視頻測試的痛點
手機投屏業(yè)務(wù)，是將手機播放的視頻投屏到智能大屏或平板等。針對手機投屏業(yè)務(wù)，傳統(tǒng)的音視頻測試方法就是通過高速相機錄制投屏的視頻內(nèi)容和手機播放的視頻內(nèi)容，再用視頻工具將高速相機錄制的內(nèi)容逐幀提取出來，人工分析視頻流暢、聲畫同步和時延等測試指標。
傳統(tǒng)的音視頻測試存在以下痛點：
1. 很多環(huán)節(jié)需要人工分析，工作量大，誤差也大
在分析視頻時延、視頻流暢、音頻時延、聲畫同步等指標時，除了專業(yè)的工具外，往往還需要分析人員逐幀逐采樣點地進行結(jié)果分析。每測試1分鐘的內(nèi)容，就要分析14400張圖片，2880000個音頻波形采樣點，并對圖片和音頻波形進行比對，工作量巨大。同時，人為因素引入的誤差也比較大。
2. 聲畫同步測試效率低
所有錄像設(shè)備錄制的內(nèi)容都會存在聲畫同步偏差。同一個設(shè)備在不同時間錄制的內(nèi)容，聲畫同步偏差也不同。傳統(tǒng)的測試方法是：選擇自然界中的真實內(nèi)容(例如打板、敲擊桌子或者鋼珠掉落等)作為聲畫同步測試的校準依據(jù)，然后人工分析聲畫同步偏差，比較費力，且效率低。
3. 錄制的圖像很容易產(chǎn)生斷裂
高速相機錄制液晶屏幕，因為液晶屏幕的逐行刷新特性，錄制的圖像很容易發(fā)生丟幀、幀重疊等，導致圖像斷裂，如圖1所示。
圖1 圖像斷裂
4. 測試工具的錄制頻率低，引起測試偏差比較大
目前主流音視頻測試工具的錄制頻率是60赫茲，引起的測試偏差起碼有1/60秒(大約16.7毫秒)。
二、DevEco Testing音視頻測試的優(yōu)勢
針對以上痛點，DevEco Testing音視頻測試服務(wù)是如何應(yīng)對的呢?下面就讓我們一一揭曉~
DevEco Testing的音視頻測試服務(wù)實現(xiàn)了播放、采集、分析全流程自動化測試，無需人工干預(yù)。
我們設(shè)計了一個可以由計算機視覺和聲音識別的、物理的聲畫同步源——吐司盒子。
吐司盒子可校準所有錄像的聲畫同步偏差，還可以作為錄像、直播、視頻通話類業(yè)務(wù)的測試工具，讓計算機視覺聽覺可以自動化分析測試結(jié)果。
圖2 吐司盒子
針對錄制圖像斷裂的問題，我們設(shè)計了芝士碼。
芝士碼是基于格雷碼而全新設(shè)計的二維碼。音視頻測試時，DevEco Testing后臺推送視頻到被測設(shè)備播放。推送視頻的每一幀都含有一個芝士碼，DevEco Testing很容易檢測出是否發(fā)生丟幀、幀重疊等。
圖3 芝士碼
我們選擇支持240赫茲的錄像設(shè)備，提升測試精度，讓測試偏差控制在1/240秒(大約4.17毫秒)。
三、測試流程和實例
了解了DevEco Testing音視頻測試服務(wù)的優(yōu)勢后，下面讓我們來看看DevEco Testing音視頻測試的測試流程和測試實例。
1. 典型組網(wǎng)和測試流程
DevEco Testing音視頻測試的典型組網(wǎng)如圖4所示。
圖4 典型組網(wǎng)圖
目前，DevEco Testing的音視頻測試服務(wù)提供三項檢測服務(wù)：視頻流暢性測試、視頻質(zhì)量測試和編解碼能力測試。
以視頻流暢性測試為例，測試流程如下：
(1)用戶在PC端的DevEco Testing客戶端上創(chuàng)建測試任務(wù)，并開始測試任務(wù)。
(2)PC端上的DevEco Testing根據(jù)測試任務(wù)中配置的“視頻分辨率”和“測試幀率”，選擇最佳的視頻源傳輸?shù)奖粶y設(shè)備。
(3)DevEco Testing控制被測設(shè)備，打開對應(yīng)的app播放器，單文件循環(huán)播放剛剛傳輸?shù)囊曨l。
(4)DevEco Testing下發(fā)指令給吐司盒子，吐司盒子開始工作。
(5)DevEco Testing下發(fā)開始錄制的指令給錄像設(shè)備，錄像設(shè)備錄制被測設(shè)備和吐司盒子的視頻。測試任務(wù)中配置了“測試時長”，到達時長后，DevEco Testing下發(fā)停止錄制的指令給錄像設(shè)備。
(6)DevEco Testing下發(fā)指令給吐司盒子，吐司盒子停止工作。
(7)錄像設(shè)備上傳錄制的視頻到PC端，PC端的DevEco Testing對視頻進行分析，形成測試報告，然后將測試報告上傳到云端。
通過以上測試流程可知，用戶需要執(zhí)行操作的就是第(1)步——創(chuàng)建和開始測試任務(wù)，然后等待DevEco Testing自動完成測試并生成測試報告即可。
2. 測試實例
下面我們?nèi)匀灰允謾C投屏業(yè)務(wù)為例，來看看DevEco Testing音視頻測試需要準備的設(shè)備和具體的操作步驟。
圖5 測試場景
圖5是手機投屏業(yè)務(wù)的測試場景。根據(jù)圖5可知，需要準備如下設(shè)備：
(1)被測設(shè)備：即播放視頻的手機。
(2)投屏設(shè)備：用于將被測設(shè)備播放的視頻投屏到此設(shè)備。
(3)吐司盒子：聲畫偏差的校準設(shè)備，是一個可以由計算機視覺和聲音識別的、物理的聲畫同步源。
(4)錄像設(shè)備：支持240幀慢動作錄制的設(shè)備。圖1中的錄像設(shè)備是一臺手機。
除了以上四個設(shè)備外，還需準備一臺Windows 10(64位)的PC機，并在PC機上安裝DevEco Testing客戶端。
下載地址(注意選擇“下載設(shè)備測試客戶端”)：
https://devicepartner.huawei.com/cn/competency-test
圖6 下載DevEco Testing客戶端
以上設(shè)備連接就緒后，就可以開始測試了。
下面為大家介紹如何創(chuàng)建和開始測試任務(wù)，以及如何查看測試報告：
(1)登錄DevEco Testing客戶端，選擇“圖形圖像測試 > 音視頻測試”。
(2)選擇測試服務(wù)，比如“視頻流暢性測試”。
(3)在圖7所示的“創(chuàng)建任務(wù)”界面配置測試參數(shù)，點擊“開始測試”。
圖7 創(chuàng)建任務(wù)
(4)圖8所示的“測試執(zhí)行”界面顯示測試任務(wù)的進度和過程步驟。
圖8 測試執(zhí)行
(5)測試任務(wù)執(zhí)行完成后，點擊右下角的“查看報告”，即可查看詳細的測試結(jié)果，如圖9所示。
圖9 查看報告
以上就是本期DevEco Testing音視頻測試的介紹內(nèi)容了，歡迎大家體驗DevEco Testing音視頻測試服務(wù)!
51CTO和華為官方合作共建的鴻蒙技術(shù)社區(qū)
