測試員進階技能:如何有效地利用單元測試報告?
為什么需要單元測試?
從產品角度而言,常規的功能測試、系統測試都是站在產品局部或全局功能進行測試,能夠很好地與用戶的需要相結合,但是缺乏了對產品研發細節(特別是代碼細節的理解)。
從測試人員角度而言,功能測試和系統測試以及其他性能測試等等對測試人員的全局特性理解能力要求較高,只要測試人員能夠掌握一兩種自動化測試框架基本能夠開展功能、性能自動化測試,但是借助于測試框架進行研發降低了測試人員對代碼的掌握、理解要求。
從開發人員角度而言,用戶需求往往并不是具體的、全面的,因此基于用戶需求轉換成開發文檔或著針對某個功能編寫開發代碼往往也存在著局限性(也即我們常說的bug)。
因此,編寫單元測試可以幫助測試人員更好地理解代碼細節、提高代碼開發能力,也能幫助開發人員提前辨識代碼中可能存在的bug,提高代碼的容錯能力。
如何制定單元測試報告
良好的單元測試報告能夠幫助測試人員更好地分析、挖掘潛藏的問題。那么,如何制定單元測試報告呢,從哪些維度出發呢?在這里我們主要從測試人員角度出發來思考這個問題。
- 首先,我們需要報告中能夠呈現我們的測試用例數量和測試結果(pass或者fail),以及錯誤細節。
- 其次,從單元測試本身特點出發,我們需要報告中能夠呈現出針對單元代碼分支、單元方法等的覆蓋率,更好地幫助我們梳理和測試用例設計的優良。
在此,我們使用surefire-report統計測試用例數量和測試結果,使用jacoco統計單元測覆蓋率(注:本文默認測試用例的執行方式是mvn test)。
如何配置 surefire-report 和 jacoco ·surefire-report 配置
配置方法:配置 maven-surefire-plugin 插件,maven-surefire-plugin 是 maven 默認的 test
執行器,配置方法如下圖所示:
上圖中 testFailureIgnore 表示忽略單元測試中的錯誤繼續構建,<include>**/*Test.java</include> :表示任何子目錄下所有命名以 Test 結尾的 Java 類,<exclude> **/Test*.java </exclude> :表示不執行任何子目錄下所有命名以 Test 開頭的Java 類。
執行方法:使用 mvn test surefire-report:report 即可,會生成在/target/site/surefire-report.html 測試報告文檔。如下圖所示:Tests 顯示總用例數;Errors 指的是程序沒有考慮到的情況,例如異常未能捕捉;Failure 指的是預期的結果與實際運行單元的結果不同所導致,常出現在斷言處;Skipped 表示跳過的測試用例數;Success Rate表示用例成功率(=成功用例數/總用例數);Time 顯示總耗時。Package List 顯示詳細的package 下用例執行結果。
·jacoco 配置
配置方法:配置 jacoco-maven-plugin 插件,配置方法如下圖所示,phase 表示插件運行的生命周期階段。
執行方法:mvn test 執行即可。會在/target/site/jacoco/目錄下生成總的覆蓋率報告index.html 和不同 package 的單元測試覆蓋率報告../xxx/index.html。此外還有 csv 和 xml格式的單元測試覆蓋率報告。
如上圖所示為某個 package 的單元測試覆蓋率報告。紅色進度條表未覆蓋,綠色進度條表示已覆蓋,Cov 為總體覆蓋率。missed Instructions 表示代碼覆蓋率,Missed Branches表示邏輯分支覆蓋率,Missed Cxty 表示判斷執行數,missed Lines 表示代碼行數,Methods表示方法個數。