近日，Testin云測(cè)正式發(fā)布全新AI測(cè)試產(chǎn)品iTestin，融合目前測(cè)試領(lǐng)域內(nèi)好用的自然語(yǔ)言處理、文本識(shí)別、圖標(biāo)識(shí)別技術(shù)，全面提升測(cè)試產(chǎn)品的易用性和自動(dòng)化效率，通過(guò)人工智能技術(shù)，大大降低腳本調(diào)試和腳本維護(hù)成本，在App和Web測(cè)試數(shù)據(jù)集精度和性能上超過(guò)主流云廠商的付費(fèi)高精度OCR服務(wù)。

為了支撐自然語(yǔ)言撰寫的自動(dòng)化測(cè)試腳本語(yǔ)言的穩(wěn)定與高效執(zhí)行，需要高精度、高效率的AI算法提供可靠的識(shí)別效果。Testin云測(cè)在業(yè)務(wù)理解、數(shù)據(jù)理解、數(shù)據(jù)準(zhǔn)備、算法建模、性能評(píng)估、模型部署全流程上實(shí)現(xiàn)全面提升，形成了AI技術(shù)在測(cè)試領(lǐng)域落地的實(shí)踐。

強(qiáng)力后盾：英特爾助力iTestin實(shí)現(xiàn)最前沿的測(cè)試技術(shù)研究

自然語(yǔ)言腳本在上千臺(tái)不同型號(hào)的手機(jī)自動(dòng)執(zhí)行，必須有足夠高的文字檢測(cè)識(shí)別精度。為了解決識(shí)別精度的挑戰(zhàn)，Testin云測(cè)打造了業(yè)界大規(guī)模的APP截圖的字符識(shí)別數(shù)據(jù)集，并通過(guò)算法自動(dòng)生成上千萬(wàn)條數(shù)據(jù)用于字符識(shí)別模型的構(gòu)建。文字檢測(cè)與識(shí)別的建模工作中，充分發(fā)揮傳統(tǒng)計(jì)算機(jī)視覺(jué)算法的速度優(yōu)勢(shì)與深度學(xué)習(xí)算法的精度優(yōu)勢(shì)，最終算法的檢測(cè)精度、識(shí)別精度、識(shí)別速度全面超越頭部互聯(lián)網(wǎng)公司的付費(fèi)高精度文字識(shí)別服務(wù)。

Testin云測(cè)OCR算法成功支撐了公司的AI測(cè)試服務(wù)，也為重點(diǎn)客戶的私有化部署產(chǎn)品提供了便利。為了提升OCR深度學(xué)習(xí)的效率，Testin云測(cè)與英特爾聯(lián)合進(jìn)行了探索，并重點(diǎn)從基礎(chǔ)設(shè)施平臺(tái)配以工具套件來(lái)構(gòu)建解決方案，用軟件加速以及硬件支撐兩個(gè)角度對(duì)OCR方案進(jìn)行優(yōu)化。Testin云測(cè)基于英特爾至強(qiáng)可擴(kuò)展處理器、英特爾的開(kāi)放式視覺(jué)推理和神經(jīng)網(wǎng)絡(luò)優(yōu)化（以下簡(jiǎn)稱OpenVINO）工具套件對(duì)OCR深度學(xué)習(xí)方案進(jìn)行優(yōu)化，將AI測(cè)試中的OCR識(shí)別時(shí)間從2秒降低到0.3秒左右，實(shí)現(xiàn)了6倍的性能提升，且不影響測(cè)試的效果和結(jié)果。

具體來(lái)說(shuō)，在基礎(chǔ)設(shè)施平臺(tái)的搭建上，Testin云測(cè)選擇英特爾至強(qiáng)金牌6140處理器，其不僅擁有強(qiáng)大的通用計(jì)算能力，還集成了增強(qiáng)單指令多數(shù)據(jù)流、英特爾AVX-512新指令集等創(chuàng)新技術(shù)，實(shí)現(xiàn)了對(duì)于通用計(jì)算能力和并行計(jì)算能力的兼顧，為深度學(xué)習(xí)訓(xùn)練提供了良好性能基礎(chǔ)。在軟件與算法層面上，Testin為了加速OCR方案，使用英特爾OpenVINO工具套件分發(fā)版來(lái)進(jìn)行加速。該工具套件支持開(kāi)發(fā)人員使用行業(yè)標(biāo)準(zhǔn)人工智能框架、標(biāo)準(zhǔn)或自定義層，將深度學(xué)習(xí)推理輕松集成到應(yīng)用中，開(kāi)發(fā)人員只需編寫一次代碼，即可將其快速、無(wú)縫地部署在當(dāng)前和未來(lái)的英特爾硬件上，從而消除應(yīng)用重復(fù)開(kāi)發(fā)問(wèn)題。英特爾技術(shù)負(fù)責(zé)人表示，“英特爾至強(qiáng)可擴(kuò)展處理器與英特爾OpenVINO工具套件的結(jié)合實(shí)現(xiàn)了超高的推理性能，幫助Testin云測(cè)及其客戶快速實(shí)現(xiàn)文本點(diǎn)擊、文本驗(yàn)證等功能，加快AI自動(dòng)化測(cè)試的速度。該方案保障了OCR整體工作流的執(zhí)行速度，且OCR的整體識(shí)別正確率達(dá)到99%以上。”

除了OCR算法以外，Testin云測(cè)還在圖標(biāo)識(shí)別、圖像審核、標(biāo)注質(zhì)檢等多個(gè)方向上開(kāi)展了AI技術(shù)的探索與應(yīng)用。

作為英特爾在AI領(lǐng)域的重要合作伙伴， Testin云測(cè)CTO陳冠誠(chéng)表示：“未來(lái)，我們還會(huì)考慮在更多的模型中嘗試英特爾的技術(shù)加速方案。兩家還將繼續(xù)在前沿技術(shù)上進(jìn)行協(xié)同研究，努力一同將領(lǐng)先技術(shù)落地于測(cè)試行業(yè)，進(jìn)一步提升產(chǎn)品的智能化水平，不斷提升產(chǎn)品和服務(wù)的易用性和工作效率，應(yīng)用AI技術(shù)為行業(yè)賦能。”

更智能，更簡(jiǎn)單，更易用，下一代測(cè)試產(chǎn)品的品格

1.自然語(yǔ)言處理：降低操作門檻

iTestin將AI智能化作為測(cè)試技術(shù)升級(jí)的重要推力，通過(guò)基于自然語(yǔ)言的腳本錄制功能，支持用自然語(yǔ)言的交互方式，完成測(cè)試自動(dòng)化操作。

用戶只需要輸入“點(diǎn)擊搜索”，iTestin就能自動(dòng)在APP當(dāng)前頁(yè)面中檢測(cè)并識(shí)別出“搜索”，并完成點(diǎn)擊操作。傳統(tǒng)的測(cè)試腳本需要大量的人工介入，通過(guò)手工框選目標(biāo)控件來(lái)實(shí)現(xiàn)腳本錄制和維護(hù)，iTestin這種全新的自然語(yǔ)言腳本大幅降低了腳本錄制的難度，也極大提升了產(chǎn)品易用性和腳本維護(hù)效率。

在QQ音樂(lè)，輸入“點(diǎn)擊搜索”，操作機(jī)器自動(dòng)執(zhí)行進(jìn)入到搜索界面，點(diǎn)擊搜索音樂(lè)到輸入框，輸入“周杰倫”，點(diǎn)擊“說(shuō)好不哭”

Testin云測(cè)總裁徐琨在NCTS中國(guó)云測(cè)試峰會(huì)上用自然語(yǔ)言在iTestin上現(xiàn)場(chǎng)演示AI+測(cè)試的真正能力，只需在界面中輸入點(diǎn)擊、等待、檢查、長(zhǎng)按、輸入等自然語(yǔ)言的文字描述，后臺(tái)的AI就能準(zhǔn)確實(shí)時(shí)的在真機(jī)上進(jìn)行完整無(wú)誤的操作和相關(guān)指令。

2. OCR文字識(shí)別：實(shí)現(xiàn)跨平臺(tái)腳本能力，降低腳本維護(hù)成本

目前大部分應(yīng)用為了Android端和iOS端的體驗(yàn)一致，會(huì)傾向在兩個(gè)端上采用相同的UI設(shè)計(jì)，即相同的UI界面和操作體驗(yàn)。企業(yè)希望減少對(duì)腳本維護(hù)的人力投入，同時(shí)在后續(xù)新增腳本時(shí)，逐步將Android端和iOS端的腳本統(tǒng)一為一套腳本，這樣進(jìn)一步減少腳本維護(hù)的投入。Testin云測(cè)通過(guò)只依賴UI界面截圖的OCR和圖標(biāo)識(shí)別技術(shù)，使得Android端和iOS端使用同一套UI自動(dòng)化測(cè)試腳本成為可能，實(shí)現(xiàn)跨平臺(tái)腳本能力，大大降低腳本維護(hù)成本。

在對(duì)OCR的檢測(cè)和識(shí)別模型進(jìn)行訓(xùn)練時(shí)，數(shù)據(jù)是最關(guān)鍵的輸入，而且數(shù)據(jù)的精準(zhǔn)度和多樣性，對(duì)模型的精準(zhǔn)度和泛能力起到?jīng)Q定性作用。Testin云測(cè)擁有自身多年積累的應(yīng)用測(cè)試數(shù)據(jù)，OCR訓(xùn)練數(shù)據(jù)量達(dá)1600萬(wàn)，并且具有專業(yè)的AI數(shù)據(jù)采集與標(biāo)注團(tuán)隊(duì)對(duì)數(shù)據(jù)進(jìn)行處理。

3.圖標(biāo)識(shí)別技術(shù)：進(jìn)一步提升用戶體驗(yàn)和自動(dòng)化測(cè)試穩(wěn)定性

在應(yīng)用的UI自動(dòng)化測(cè)試中，除了文字，圖標(biāo)是另外一個(gè)與用戶交互最多的元素。在傳統(tǒng)的自動(dòng)化測(cè)試中，圖標(biāo)的識(shí)別主要靠控件ID和其他的控件信息，如class，xpath等，但這些信息在自動(dòng)化測(cè)試實(shí)踐中被證明存在較大的不可靠性。因此，Testin云測(cè)的自動(dòng)化測(cè)試主要從圖像的角度來(lái)識(shí)別和定位控件元素。

圖標(biāo)識(shí)別技術(shù)是除OCR以外，另外一項(xiàng)支撐Testin云測(cè)自動(dòng)化測(cè)試的關(guān)鍵技術(shù)。目前大部分應(yīng)用采用簡(jiǎn)約設(shè)計(jì)的線條形圖標(biāo)，導(dǎo)致原本可靠的模板匹配和特征點(diǎn)匹配技術(shù)失效。在實(shí)際測(cè)試中，現(xiàn)有最好的圖標(biāo)識(shí)別技術(shù)，正樣本的準(zhǔn)確率只有66.87%，負(fù)樣本準(zhǔn)確率為91.16%，單個(gè)圖標(biāo)識(shí)別耗時(shí)為1532ms。Testin云測(cè)對(duì)簡(jiǎn)約設(shè)計(jì)的線條圖標(biāo)的識(shí)別，專門設(shè)計(jì)了圖標(biāo)相似度判別算法，大大提高了圖標(biāo)識(shí)別的準(zhǔn)確率和對(duì)正負(fù)樣本的分辨能力，最終的正負(fù)樣本準(zhǔn)確率在測(cè)試數(shù)據(jù)集上都超過(guò)了97%，單個(gè)圖標(biāo)識(shí)別平均耗時(shí)為319ms，實(shí)現(xiàn)了業(yè)界領(lǐng)先的識(shí)別精度和性能。

此外，Testin云測(cè)利用自身的數(shù)據(jù)積累的優(yōu)勢(shì)，對(duì)應(yīng)用上的常用圖標(biāo)利用深度學(xué)習(xí)目標(biāo)檢測(cè)技術(shù)實(shí)現(xiàn)自動(dòng)識(shí)別和定位，進(jìn)一步提升了用戶體驗(yàn)和自動(dòng)化測(cè)試的穩(wěn)定性。

結(jié)語(yǔ)

從信息化、數(shù)字化到智能化，互聯(lián)網(wǎng)作為IT能力的載體，很大程度上正在改變IT技術(shù)的研發(fā)趨勢(shì)和應(yīng)用模式，重構(gòu)整個(gè)人類社會(huì)的商業(yè)體系。新技術(shù)和新商業(yè)模式的涌現(xiàn)顛覆了傳統(tǒng)商業(yè)生態(tài)，也改變了人們的社會(huì)習(xí)慣。企業(yè)正在經(jīng)歷一場(chǎng)深重的大變革，而隨著互聯(lián)網(wǎng)及傳統(tǒng)行業(yè)的公司逐漸轉(zhuǎn)向數(shù)據(jù)驅(qū)動(dòng)的運(yùn)營(yíng)方式，測(cè)試也被賦予了更多的含義。測(cè)試正變得越來(lái)越智能，機(jī)器學(xué)習(xí)正在帶來(lái)革命性的變化，讓我們拭目以待。