吐司盒子？芝士碼？HarmonyOS創(chuàng)新音視頻測試技術來啦
當下，音視頻無處不在，很多設備和應用都涉及音視頻。因而，對于HarmonyOS開發(fā)者們來說，如何對鴻蒙生態(tài)產品進行音視頻測試是一個非常重要的問題。
華為HarmonyOS生態(tài)整機測試能力中心——DevEco Testing，為生態(tài)合作伙伴接入HarmonyOS生態(tài)提供專業(yè)的測試服務。DevEco Testing推出的音視頻測試服務，為HarmonyOS整機提供音視頻評測能力，滿足開發(fā)者們的上述需求，也為鴻蒙生態(tài)保駕護航。
下面我們以手機投屏業(yè)務為例來聊一聊音視頻測試吧！
一、傳統(tǒng)音視頻測試的痛點
手機投屏業(yè)務，是將手機播放的視頻投屏到智能大屏或平板等。針對手機投屏業(yè)務，傳統(tǒng)的音視頻測試方法就是通過高速相機錄制投屏的視頻內容和手機播放的視頻內容，再用視頻工具將高速相機錄制的內容逐幀提取出來，人工分析視頻流暢、聲畫同步和時延等測試指標。
傳統(tǒng)的音視頻測試存在以下痛點：
1. 很多環(huán)節(jié)需要人工分析，工作量大，誤差也大
在分析視頻時延、視頻流暢、音頻時延、聲畫同步等指標時，除了專業(yè)的工具外，往往還需要分析人員逐幀逐采樣點地進行結果分析。每測試1分鐘的內容，就要分析14400張圖片，2880000個音頻波形采樣點，并對圖片和音頻波形進行比對，工作量巨大。同時，人為因素引入的誤差也比較大。
2. 聲畫同步測試效率低
所有錄像設備錄制的內容都會存在聲畫同步偏差。同一個設備在不同時間錄制的內容，聲畫同步偏差也不同。傳統(tǒng)的測試方法是：選擇自然界中的真實內容(例如打板、敲擊桌子或者鋼珠掉落等)作為聲畫同步測試的校準依據，然后人工分析聲畫同步偏差，比較費力，且效率低。
3. 錄制的圖像很容易產生斷裂
高速相機錄制液晶屏幕，因為液晶屏幕的逐行刷新特性，錄制的圖像很容易發(fā)生丟幀、幀重疊等，導致圖像斷裂，如圖1所示。
圖1 圖像斷裂
4. 測試工具的錄制頻率低，引起測試偏差比較大
目前主流音視頻測試工具的錄制頻率是60赫茲，引起的測試偏差起碼有1/60秒(大約16.7毫秒)。
二、DevEco Testing音視頻測試的優(yōu)勢
針對以上痛點，DevEco Testing音視頻測試服務是如何應對的呢?下面就讓我們一一揭曉~
DevEco Testing的音視頻測試服務實現了播放、采集、分析全流程自動化測試，無需人工干預。
我們設計了一個可以由計算機視覺和聲音識別的、物理的聲畫同步源——吐司盒子。
吐司盒子可校準所有錄像的聲畫同步偏差，還可以作為錄像、直播、視頻通話類業(yè)務的測試工具，讓計算機視覺聽覺可以自動化分析測試結果。
圖2 吐司盒子
針對錄制圖像斷裂的問題，我們設計了芝士碼。
芝士碼是基于格雷碼而全新設計的二維碼。音視頻測試時，DevEco Testing后臺推送視頻到被測設備播放。推送視頻的每一幀都含有一個芝士碼，DevEco Testing很容易檢測出是否發(fā)生丟幀、幀重疊等。
圖3 芝士碼
我們選擇支持240赫茲的錄像設備，提升測試精度，讓測試偏差控制在1/240秒(大約4.17毫秒)。
三、測試流程和實例
了解了DevEco Testing音視頻測試服務的優(yōu)勢后，下面讓我們來看看DevEco Testing音視頻測試的測試流程和測試實例。
1. 典型組網和測試流程
DevEco Testing音視頻測試的典型組網如圖4所示。
圖4 典型組網圖
目前，DevEco Testing的音視頻測試服務提供三項檢測服務：視頻流暢性測試、視頻質量測試和編解碼能力測試。
以視頻流暢性測試為例，測試流程如下：
(1)用戶在PC端的DevEco Testing客戶端上創(chuàng)建測試任務，并開始測試任務。
(2)PC端上的DevEco Testing根據測試任務中配置的“視頻分辨率”和“測試幀率”，選擇最佳的視頻源傳輸到被測設備。
(3)DevEco Testing控制被測設備，打開對應的app播放器，單文件循環(huán)播放剛剛傳輸的視頻。
(4)DevEco Testing下發(fā)指令給吐司盒子，吐司盒子開始工作。
(5)DevEco Testing下發(fā)開始錄制的指令給錄像設備，錄像設備錄制被測設備和吐司盒子的視頻。測試任務中配置了“測試時長”，到達時長后，DevEco Testing下發(fā)停止錄制的指令給錄像設備。
(6)DevEco Testing下發(fā)指令給吐司盒子，吐司盒子停止工作。
(7)錄像設備上傳錄制的視頻到PC端，PC端的DevEco Testing對視頻進行分析，形成測試報告，然后將測試報告上傳到云端。
通過以上測試流程可知，用戶需要執(zhí)行操作的就是第(1)步——創(chuàng)建和開始測試任務，然后等待DevEco Testing自動完成測試并生成測試報告即可。
2. 測試實例
下面我們仍然以手機投屏業(yè)務為例，來看看DevEco Testing音視頻測試需要準備的設備和具體的操作步驟。
圖5 測試場景
圖5是手機投屏業(yè)務的測試場景。根據圖5可知，需要準備如下設備：
(1)被測設備：即播放視頻的手機。
(2)投屏設備：用于將被測設備播放的視頻投屏到此設備。
(3)吐司盒子：聲畫偏差的校準設備，是一個可以由計算機視覺和聲音識別的、物理的聲畫同步源。
(4)錄像設備：支持240幀慢動作錄制的設備。圖1中的錄像設備是一臺手機。
除了以上四個設備外，還需準備一臺Windows 10(64位)的PC機，并在PC機上安裝DevEco Testing客戶端。
下載地址(注意選擇“下載設備測試客戶端”)：
https://devicepartner.huawei.com/cn/competency-test
圖6 下載DevEco Testing客戶端
以上設備連接就緒后，就可以開始測試了。
下面為大家介紹如何創(chuàng)建和開始測試任務，以及如何查看測試報告：
(1)登錄DevEco Testing客戶端，選擇“圖形圖像測試 > 音視頻測試”。
(2)選擇測試服務，比如“視頻流暢性測試”。
(3)在圖7所示的“創(chuàng)建任務”界面配置測試參數，點擊“開始測試”。
圖7 創(chuàng)建任務
(4)圖8所示的“測試執(zhí)行”界面顯示測試任務的進度和過程步驟。
圖8 測試執(zhí)行
(5)測試任務執(zhí)行完成后，點擊右下角的“查看報告”，即可查看詳細的測試結果，如圖9所示。
圖9 查看報告
以上就是本期DevEco Testing音視頻測試的介紹內容了，歡迎大家體驗DevEco Testing音視頻測試服務!
