近日，Testin云測正式發布全新AI測試產品iTestin，融合目前測試領域內好用的自然語言處理、文本識別、圖標識別技術，全面提升測試產品的易用性和自動化效率，通過人工智能技術，大大降低腳本調試和腳本維護成本，在App和Web測試數據集精度和性能上超過主流云廠商的付費高精度OCR服務。

為了支撐自然語言撰寫的自動化測試腳本語言的穩定與高效執行，需要高精度、高效率的AI算法提供可靠的識別效果。Testin云測在業務理解、數據理解、數據準備、算法建模、性能評估、模型部署全流程上實現全面提升，形成了AI技術在測試領域落地的實踐。

強力后盾：英特爾助力iTestin實現最前沿的測試技術研究

自然語言腳本在上千臺不同型號的手機自動執行，必須有足夠高的文字檢測識別精度。為了解決識別精度的挑戰，Testin云測打造了業界大規模的APP截圖的字符識別數據集，并通過算法自動生成上千萬條數據用于字符識別模型的構建。文字檢測與識別的建模工作中，充分發揮傳統計算機視覺算法的速度優勢與深度學習算法的精度優勢，最終算法的檢測精度、識別精度、識別速度全面超越頭部互聯網公司的付費高精度文字識別服務。

Testin云測OCR算法成功支撐了公司的AI測試服務，也為重點客戶的私有化部署產品提供了便利。為了提升OCR深度學習的效率，Testin云測與英特爾聯合進行了探索，并重點從基礎設施平臺配以工具套件來構建解決方案，用軟件加速以及硬件支撐兩個角度對OCR方案進行優化。Testin云測基于英特爾至強可擴展處理器、英特爾的開放式視覺推理和神經網絡優化（以下簡稱OpenVINO）工具套件對OCR深度學習方案進行優化，將AI測試中的OCR識別時間從2秒降低到0.3秒左右，實現了6倍的性能提升，且不影響測試的效果和結果。

具體來說，在基礎設施平臺的搭建上，Testin云測選擇英特爾至強金牌6140處理器，其不僅擁有強大的通用計算能力，還集成了增強單指令多數據流、英特爾AVX-512新指令集等創新技術，實現了對于通用計算能力和并行計算能力的兼顧，為深度學習訓練提供了良好性能基礎。在軟件與算法層面上，Testin為了加速OCR方案，使用英特爾OpenVINO工具套件分發版來進行加速。該工具套件支持開發人員使用行業標準人工智能框架、標準或自定義層，將深度學習推理輕松集成到應用中，開發人員只需編寫一次代碼，即可將其快速、無縫地部署在當前和未來的英特爾硬件上，從而消除應用重復開發問題。英特爾技術負責人表示，“英特爾至強可擴展處理器與英特爾OpenVINO工具套件的結合實現了超高的推理性能，幫助Testin云測及其客戶快速實現文本點擊、文本驗證等功能，加快AI自動化測試的速度。該方案保障了OCR整體工作流的執行速度，且OCR的整體識別正確率達到99%以上。”

除了OCR算法以外，Testin云測還在圖標識別、圖像審核、標注質檢等多個方向上開展了AI技術的探索與應用。

作為英特爾在AI領域的重要合作伙伴， Testin云測CTO陳冠誠表示：“未來，我們還會考慮在更多的模型中嘗試英特爾的技術加速方案。兩家還將繼續在前沿技術上進行協同研究，努力一同將領先技術落地于測試行業，進一步提升產品的智能化水平，不斷提升產品和服務的易用性和工作效率，應用AI技術為行業賦能。”

更智能，更簡單，更易用，下一代測試產品的品格

1.自然語言處理：降低操作門檻

iTestin將AI智能化作為測試技術升級的重要推力，通過基于自然語言的腳本錄制功能，支持用自然語言的交互方式，完成測試自動化操作。

用戶只需要輸入“點擊搜索”，iTestin就能自動在APP當前頁面中檢測并識別出“搜索”，并完成點擊操作。傳統的測試腳本需要大量的人工介入，通過手工框選目標控件來實現腳本錄制和維護，iTestin這種全新的自然語言腳本大幅降低了腳本錄制的難度，也極大提升了產品易用性和腳本維護效率。

在QQ音樂，輸入“點擊搜索”，操作機器自動執行進入到搜索界面，點擊搜索音樂到輸入框，輸入“周杰倫”，點擊“說好不哭”

Testin云測總裁徐琨在NCTS中國云測試峰會上用自然語言在iTestin上現場演示AI+測試的真正能力，只需在界面中輸入點擊、等待、檢查、長按、輸入等自然語言的文字描述，后臺的AI就能準確實時的在真機上進行完整無誤的操作和相關指令。

2. OCR文字識別：實現跨平臺腳本能力，降低腳本維護成本

目前大部分應用為了Android端和iOS端的體驗一致，會傾向在兩個端上采用相同的UI設計，即相同的UI界面和操作體驗。企業希望減少對腳本維護的人力投入，同時在后續新增腳本時，逐步將Android端和iOS端的腳本統一為一套腳本，這樣進一步減少腳本維護的投入。Testin云測通過只依賴UI界面截圖的OCR和圖標識別技術，使得Android端和iOS端使用同一套UI自動化測試腳本成為可能，實現跨平臺腳本能力，大大降低腳本維護成本。

在對OCR的檢測和識別模型進行訓練時，數據是最關鍵的輸入，而且數據的精準度和多樣性，對模型的精準度和泛能力起到決定性作用。Testin云測擁有自身多年積累的應用測試數據，OCR訓練數據量達1600萬，并且具有專業的AI數據采集與標注團隊對數據進行處理。

3.圖標識別技術：進一步提升用戶體驗和自動化測試穩定性

在應用的UI自動化測試中，除了文字，圖標是另外一個與用戶交互最多的元素。在傳統的自動化測試中，圖標的識別主要靠控件ID和其他的控件信息，如class，xpath等，但這些信息在自動化測試實踐中被證明存在較大的不可靠性。因此，Testin云測的自動化測試主要從圖像的角度來識別和定位控件元素。

圖標識別技術是除OCR以外，另外一項支撐Testin云測自動化測試的關鍵技術。目前大部分應用采用簡約設計的線條形圖標，導致原本可靠的模板匹配和特征點匹配技術失效。在實際測試中，現有最好的圖標識別技術，正樣本的準確率只有66.87%，負樣本準確率為91.16%，單個圖標識別耗時為1532ms。Testin云測對簡約設計的線條圖標的識別，專門設計了圖標相似度判別算法，大大提高了圖標識別的準確率和對正負樣本的分辨能力，最終的正負樣本準確率在測試數據集上都超過了97%，單個圖標識別平均耗時為319ms，實現了業界領先的識別精度和性能。

此外，Testin云測利用自身的數據積累的優勢，對應用上的常用圖標利用深度學習目標檢測技術實現自動識別和定位，進一步提升了用戶體驗和自動化測試的穩定性。

結語

從信息化、數字化到智能化，互聯網作為IT能力的載體，很大程度上正在改變IT技術的研發趨勢和應用模式，重構整個人類社會的商業體系。新技術和新商業模式的涌現顛覆了傳統商業生態，也改變了人們的社會習慣。企業正在經歷一場深重的大變革，而隨著互聯網及傳統行業的公司逐漸轉向數據驅動的運營方式，測試也被賦予了更多的含義。測試正變得越來越智能，機器學習正在帶來革命性的變化，讓我們拭目以待。