譯?者 | 李睿

審校 | 孫淑娟

微小的變化可能會(huì)產(chǎn)生巨大的后果。由于客戶和市場的需求和選擇是動(dòng)態(tài)的，因此預(yù)計(jì)軟件將與變化的趨勢同步發(fā)展。在少數(shù)情況下，后端的更改甚至輕微修改通常會(huì)導(dǎo)致偏離預(yù)期的用途和功能。為了避免軟件中出現(xiàn)此類異常，質(zhì)量保證（QA）專家團(tuán)隊(duì)在回歸測試工具的幫助下執(zhí)行回歸測試。

測試人員團(tuán)隊(duì)?wèi)?yīng)該確保新代碼不會(huì)與舊代碼沖突，并且未更改的代碼繼續(xù)按預(yù)期運(yùn)行。軟件產(chǎn)品一經(jīng)設(shè)計(jì)，就會(huì)經(jīng)常更改，以確保正確結(jié)合復(fù)雜和獨(dú)特的功能。測試需要確保應(yīng)用程序的早期功能仍然有效，并且其最新的更改沒有引入新的錯(cuò)誤。  

什么是回歸測試？  

回歸測試是一種應(yīng)用程序測試，用于檢測軟件在當(dāng)前代碼被修改或更改之后是否仍然可以運(yùn)行。它是軟件開發(fā)和測試生命周期的重要組成部分，允許開發(fā)人員不斷改進(jìn)軟件而不會(huì)對其功能產(chǎn)生不利影響。執(zhí)行這種形式的測試是為了確保不會(huì)通過錯(cuò)誤修復(fù)引入最新的問題。  

例如，假設(shè)開發(fā)人員在某處修改了一些代碼，而現(xiàn)在早期的工作特征不再起作用。以下是其背后的原因：  

（1）開發(fā)的代碼包含導(dǎo)致行為變化的缺陷。

（2）無意中讓代碼中的兩個(gè)不同區(qū)域以從前沒有的方式相互依賴。

（3）修改的代碼依賴于另一個(gè)“特征”的一部分，該部分也被破壞（這就是檢查工作很重要的原因）。  

回歸測試的最終目標(biāo)是揭示可能影響軟件功能的任何更改所導(dǎo)致的問題。  

為什么需要回歸測試？  

回歸測試保證了這些改動(dòng)不會(huì)在當(dāng)前功能中引入新的錯(cuò)誤，這些功能以前運(yùn)行得很好。在很多時(shí)候，當(dāng)前特征本身的必要性會(huì)發(fā)生修改，這可能會(huì)影響其他應(yīng)用程序的功能。在這種情況下，會(huì)針對其他功能執(zhí)行此類測試。由于舊庫被棄用而升級或更改底層技術(shù)的情況下，也需要進(jìn)行回歸測試。為了確保這不會(huì)對功能產(chǎn)生任何影響，軟件測試人員將執(zhí)行端到端的回歸測試。  

簡而言之，回歸測測試是在以下幾種情況下進(jìn)行的：  

（1）新增最新功能.  

（2）修改當(dāng)前功能的必要性。  

（3）性能修復(fù)。  

（4）代碼優(yōu)化。  

（5）錯(cuò)誤修復(fù)。  

（6）技術(shù)升級/變革。  

例如，如果修復(fù)或修改了一些導(dǎo)致用戶配置文件出現(xiàn)問題的代碼，則可能是以前運(yùn)行良好網(wǎng)站的另一部分，現(xiàn)在無法正常運(yùn)行，因?yàn)樾迯?fù)反而造成破壞。回歸測試可以幫助避免這種情況。  

回歸測試的意義

回歸測試對于在新添加特征、變更、更改或與新軟件集成之后檢查整個(gè)軟件功能非常重要。這種軟件測試在將軟件交付給最終用戶之前驗(yàn)證軟件是否按預(yù)期執(zhí)行，它有助于增強(qiáng)用戶體驗(yàn)并獲得用戶信任。  

它既可以自動(dòng)執(zhí)行，也可以人工執(zhí)行。自動(dòng)化測試用例有助于最大限度地減少整個(gè)項(xiàng)目的時(shí)間、費(fèi)用和資源。回歸測試還有助于減少項(xiàng)目在將來的測試用例。通過自動(dòng)化回歸測試，團(tuán)隊(duì)可以專注于軟件開發(fā)的其他部分，從而按時(shí)發(fā)布產(chǎn)品。簡而言之，這種形式的測試提供了敏捷方法中工作流的穩(wěn)定性和完美的連續(xù)性。它有助于在每個(gè)階段及早發(fā)現(xiàn)錯(cuò)誤或缺陷，從而管理時(shí)間和費(fèi)用。  

回歸測試的挑戰(zhàn)是什么？  

盡管這種類型的測試帶來了巨大的好處，但也存在一些挑戰(zhàn)：  

• 復(fù)雜性——由于其極端的重復(fù)行為，當(dāng)產(chǎn)品從初級階段構(gòu)建到下一個(gè)階段時(shí)，測試用例變得非常復(fù)雜。它需要一直測試舊的測試用例和新的測試用例。  
• 時(shí)間——回歸測試是重復(fù)的，因此冗長且耗時(shí)。這就使得在交付期限之前執(zhí)行和交付產(chǎn)品成為一項(xiàng)巨大挑戰(zhàn)的原因。  
• 選擇合適的工具——為了成功進(jìn)行這種形式的測試，選擇最合適的工具至關(guān)重要。否則，將導(dǎo)致花費(fèi)費(fèi)用、時(shí)間和資源。  

為什么自動(dòng)化回歸測試在敏捷軟件開發(fā)方法中至關(guān)重要？  

敏捷方法專注于構(gòu)建優(yōu)質(zhì)產(chǎn)品，從而最大限度地減少與開發(fā)相關(guān)的威脅。由于敏捷方法包括反復(fù)發(fā)生的變化，因此擁有一個(gè)回歸自動(dòng)化測試程序是至關(guān)重要的。  

應(yīng)該在回歸測試工具中尋找哪些關(guān)鍵特性？  

以下列出了良好的測試工具必須具備的一些關(guān)鍵特性。  

• 無故障的腳本生成和維護(hù)  

無需額外努力就相對容易地構(gòu)建測試自動(dòng)化腳本，尤其是在實(shí)踐要求高速度的敏捷交付實(shí)踐時(shí)。在每個(gè)sprint中，都需要新的回歸測試；但是，如果沒有完美的回歸測試工具提供支持，那么隨著被測應(yīng)用程序的更新，將會(huì)浪費(fèi)大量時(shí)間來升級其測試。開發(fā)人員將不得不快速執(zhí)行自動(dòng)化測試，并且其測試需要適應(yīng)較小的修改，這樣就不必花費(fèi)額外的時(shí)間來修改其自動(dòng)化回歸測試。  

• 可擴(kuò)展性和可重用性  

如果代碼修改影響了正在測試的應(yīng)用程序，則必須毫不費(fèi)力地處理每個(gè)受影響的測試，而無需重寫每個(gè)測試腳本。而首選的功能測試工具應(yīng)該允許將測試實(shí)現(xiàn)模塊化。此外，應(yīng)該構(gòu)建可重用的測試片段或腳本庫，以便可以快速生成新的測試。此外，必須使用數(shù)據(jù)驅(qū)動(dòng)的測試策略，允許在無限數(shù)量的場景中使用單個(gè)測試。  

• 每次構(gòu)建后運(yùn)行回歸測試  

測試軟件必須與持續(xù)集成/持續(xù)交付的管道集成，以使功能回歸測試成為構(gòu)建過程的一部分。選擇的回歸測試工具必須毫不費(fèi)力地插入首選的持續(xù)集成（CI）/持續(xù)交付（CD）中，并且足夠活躍以支持智能管道，根據(jù)測試結(jié)果觸發(fā)活動(dòng)。  

• 描述性和快速報(bào)告  

豐富的錯(cuò)誤消息（在“通過/失敗”之前）對于幫助識(shí)別出現(xiàn)錯(cuò)誤的原因非常重要，在理想情況下，這必須包括診斷信息和屏幕截圖。報(bào)告必須包含有關(guān)先前進(jìn)行的測試的關(guān)鍵信息，以便在正在測試的用戶故事附近發(fā)現(xiàn)重要的回歸，例如網(wǎng)絡(luò)和性能問題，以及視覺回歸。首選的功能回歸測試工具必須幫助識(shí)別需要額外測試覆蓋的地方，以便能夠更加主動(dòng)。  

• 無限并行執(zhí)行  

憑借當(dāng)前交付實(shí)踐的敏捷性，測試必須快速執(zhí)行并快速給出結(jié)果。當(dāng)針對不同的瀏覽器版本、場景和屏幕尺寸運(yùn)行如此多的測試用例時(shí)，需要的資源數(shù)量會(huì)呈指數(shù)級增長。完美的回歸測試工具將無限制地按需提供這些資源，因此可以在完成一個(gè)測試所消耗的時(shí)間內(nèi)執(zhí)行完整的測試套件。  

• 并行執(zhí)行  

回歸自動(dòng)化測試工具必須能夠計(jì)劃和安排自動(dòng)化測試，以便在各種環(huán)境中并行執(zhí)行任意多次，從而節(jié)省在實(shí)施過程中的時(shí)間。使用其他數(shù)據(jù)集識(shí)別對不同執(zhí)行環(huán)境敏感的變量至關(guān)重要，這些數(shù)據(jù)集在每個(gè)階段（例如開發(fā)、分段、測試和生產(chǎn)）的不同執(zhí)行環(huán)境中都會(huì)發(fā)生變化。  

• 可擴(kuò)展性和可重用性  

如果代碼修改影響了正在測試的應(yīng)用程序，必須能夠毫不費(fèi)力地處理所有受影響的測試，而無需重寫每個(gè)測試腳本。首選的回歸測試工具應(yīng)該能夠使測試實(shí)現(xiàn)模塊化。必須足夠活躍以生成腳本庫或可重用的測試片段，以便可以快速構(gòu)建最新的測試。開發(fā)人員應(yīng)該明智地采用數(shù)據(jù)驅(qū)動(dòng)的測試策略，這樣就可以在無限的場景中使用單個(gè)測試。  

• 合作  

對于從開發(fā)人員到質(zhì)量保證（QA）的各種團(tuán)隊(duì)成員來說，訪問測試和測試結(jié)果必須沒有問題，以便可以盡快解決和緩解任何公認(rèn)的回歸問題。無論在哪里進(jìn)行團(tuán)隊(duì)合作，還是在Jira、Slack還是儀表板中，都必須能夠訪問所報(bào)告的附帶日志的并發(fā)情況。  

2022年智能回歸測試工具  

回歸測試如果執(zhí)行得當(dāng)，可以讓軟件開發(fā)團(tuán)隊(duì)相信他們的完整應(yīng)用程序在代碼修改后可以有效和智能地運(yùn)行。但是，人工執(zhí)行回歸測試成本高、耗時(shí)長，并且難以擴(kuò)展。隨著一些應(yīng)用程序變得越來越復(fù)雜，各個(gè)團(tuán)隊(duì)最終不得不在回歸測試中加入額外的資源，雇傭更多的質(zhì)量保證（QA）專家，并選擇能夠在每個(gè)發(fā)布周期完成測試的有效工具。

然而，選擇合適的回歸測試工具是很棘手的。本文將分享一些智能回歸測試工具來解決這些問題：  

• Rainforest QA——這是一種無代碼自動(dòng)化用戶界面（UI）測試工具，用于生成模擬用戶與應(yīng)用程序或站點(diǎn)的最終可視層交互方式的回歸測試。  
• Selenium——Selenium是自動(dòng)化瀏覽器的最智能和最古老的平臺(tái)之一。集成開發(fā)環(huán)境是記錄和回放功能。Selenium HQ允許開發(fā)人員使用其希望使用的任何語言創(chuàng)建自定義函數(shù)，例如.NET、Java、Python、Java等，可以將其與Selenium合并并編寫。  
• Appium——由于Selenium只將桌面瀏覽器實(shí)現(xiàn)自動(dòng)化，另一方面，Appium改變Selenium以測試移動(dòng)設(shè)備上的瀏覽器。一般來說，Appium和Selenium有類似的限制。  
• Watir——Ruby中的Web應(yīng)用程序測試(Watir)是一個(gè)基于Ruby（鏈接到SeleniumWeb Driver的庫）的免費(fèi)平臺(tái)，但用戶界面比Selenium更友好。就像Appium這樣的一些工具一樣，Watir也遇到了與Selenium類似的幾個(gè)缺點(diǎn)。  
• Micro Focus UFT One——UFT停止自動(dòng)化是一項(xiàng)巨大的功能。對于新手和非技術(shù)人員來說，它使用起來很簡單。
• IBM Rational Functional Tester——它是一種在Linux和Windows OS（操作系統(tǒng)）上運(yùn)行的記錄和回放工具。如果以前使用的是IBM公司的其他幾種業(yè)務(wù)解決方案之一，那么將其服務(wù)保存在一個(gè)地方可能會(huì)有所幫助。
• TestComplete——SmartBear出品的這款令人難以置信的工具提供了記錄和回放以及對象識(shí)別特征，用于在Python、JavaScript和VBScript中編寫測試腳本。它們支持在多個(gè)Web、桌面和移動(dòng)平臺(tái)（包括Android和iOS操作系統(tǒng)）上進(jìn)行測試。  
• RanorexStudio——它結(jié)合了記錄的活動(dòng)以及來自預(yù)設(shè)列表或存儲(chǔ)庫的拖放操作來形成測試。  
• Subject7——Subject7是一個(gè)基于云的“真正的無代碼”自動(dòng)化測試解決方案，它將各種測試集成在一個(gè)平臺(tái)上，使任何人都可以成為自動(dòng)化專家。易于使用的軟件允許簡單、快速、復(fù)雜的回歸測試創(chuàng)作，而無需編寫單個(gè)代碼和執(zhí)行數(shù)千個(gè)夜間測試的大規(guī)模執(zhí)行。  
• SoapUI Pro——這種類型的工具，用戶友好且簡單。SoapUI Pro在應(yīng)用程序編程接口設(shè)計(jì)和編排方面是一個(gè)很棒的工具。此外，它對于性能和功能測試至關(guān)重要。  
• SahiPro——這是另一種基于代碼的工具，經(jīng)過完美設(shè)計(jì)，可使較少或沒有編碼經(jīng)驗(yàn)的質(zhì)量保證初學(xué)者更容易獲得編碼。
• Eggplant's——這是一個(gè)人工智能驅(qū)動(dòng)的自動(dòng)化測試，通過最小化測試維護(hù)和測試用例的優(yōu)先級來簡化回歸測試。  
• QA Madness——它是測試自動(dòng)化工具和人工測試服務(wù)之一，這意味著它們會(huì)接管全部或部分測試。  
• SilkTest——SilkTest是一個(gè)很好的自動(dòng)化測試工具，支持SAP功能測試。基腳本非常有價(jià)值，可以輕松記錄，然后進(jìn)入并更改它生成的腳本。它有幾個(gè)生成腳本。  
• Qualibrate——利用解決方案的測試計(jì)劃和測試執(zhí)行調(diào)度特征，它們非常重要和容易使用。利用SAP解決方案管理器以及它的Qualibrate功能，允許處理每個(gè)測試，直接從Solution Manager將其帶入Qualibrate。
• PerformanceLab——這種形式的工具專門用于性能測試，盡管它們也采用著名的工具和編程語言——即Selenium、TestComplete、SoapUI、Appium、RFT、SAPTAO、UIAutomator和QTP/UFT，并開發(fā)工具來使它們使用起來毫無問題。  
• Telerik Test Studio——Telerik Test Studio是一個(gè)用于桌面、Web和響應(yīng)式應(yīng)用程序的測試自動(dòng)化平臺(tái)，支持功能性用戶界面、負(fù)載和RESTful API測試。它可以幫助團(tuán)隊(duì)消除回歸，并確保他們的應(yīng)用程序仍然按照他們在引入任何修改之前的方式運(yùn)行。它帶有獨(dú)立的集成開發(fā)環(huán)境和Visual Studio集成。  
• Katalon Studio——它使用Selenium Web Driver編寫測試，但旨在支持非開發(fā)人員和開發(fā)人員之間的協(xié)作。  
• Avo Assure——Avo Assure是一種與技術(shù)無關(guān)的無代碼自動(dòng)化測試解決方案，它可以幫助開發(fā)人員通過單擊一些按鈕來測試全面的業(yè)務(wù)程序，這使得回歸測試更快、更直接。

以上總結(jié)了一些頂級的自動(dòng)化和人工回歸測試工具表。選擇可靠且高效的回歸測試工具可能會(huì)讓人望而生畏。由于市場上存在多種選擇，人們很容易對工具的服務(wù)、功能和便利性感到困惑和不知所措。建議始終根據(jù)團(tuán)隊(duì)的舒適度、打算用于測試的軟件產(chǎn)品、正在使用的框架和編程語言、其預(yù)算等選擇正確的回歸測試工具。  

敏捷環(huán)境中回歸測試的最佳實(shí)踐  

• 不要追求100%自動(dòng)化

無論測試基礎(chǔ)設(shè)施有多先進(jìn)，都不可能實(shí)現(xiàn)100%的自動(dòng)化。至少需要編寫測試腳本，并且測試人員必須驗(yàn)證結(jié)果。在最好的情況下，可以實(shí)現(xiàn)70%～90%的自動(dòng)化，因?yàn)橐欢〝?shù)量的測試用例會(huì)導(dǎo)致假陰性/陽性，因此不適合回歸測試。  

• 關(guān)注軟件最脆弱的領(lǐng)域  

大多數(shù)質(zhì)量保證（QA）測試人員和開發(fā)人員對他們的軟件足夠熟悉，可以發(fā)現(xiàn)最容易受到每個(gè)sprint修改影響的功能/區(qū)域的特性。此外，必須經(jīng)常測試面向用戶的功能和重要的后端問題。如上所述，敏捷開發(fā)中回歸測試的協(xié)作方法有助于實(shí)現(xiàn)這一點(diǎn)，因?yàn)榘ㄩ_發(fā)人員。  

• 選擇自動(dòng)化  

自動(dòng)化是加速敏捷sprint回歸測試的必要條件。從回歸自動(dòng)化回歸測試腳本開始，然后使用每個(gè)新功能對其進(jìn)行更改。因此，質(zhì)量保證（QA）應(yīng)該專注于在每個(gè)sprint中進(jìn)行增量修改，而不是運(yùn)行測試。  

• 了解測試人員的要求  

需要記住的是，質(zhì)量保證（QA）專家將不得不在早期階段投入一些人工測試工作——研究用戶界面（UI）更改、軟件邏輯、產(chǎn)品流程等。一旦設(shè)計(jì)了軟件并且已經(jīng)執(zhí)行了一些重要的更改，最好引入自動(dòng)回歸測試。回歸測試必須穿插人工驗(yàn)證，以檢查假陰性或陽性。  

注：根據(jù)對銀行業(yè)的一項(xiàng)案例研究，回歸控制了高達(dá)60%的錯(cuò)誤修復(fù)時(shí)間（這將被回歸測試捕獲）和40%的費(fèi)用。  

回歸測試的優(yōu)點(diǎn)  

回歸測試不僅可以提高軟件質(zhì)量，還可以降低緩解缺陷的成本和時(shí)間。還包括以下優(yōu)點(diǎn)：  

• 增強(qiáng)用戶體驗(yàn)，而不會(huì)引入意外的不利影響。  
• 在重大更新期間提前暴露和發(fā)現(xiàn)缺陷/錯(cuò)誤有助于減少對用戶和客戶的影響。  
• 允許軟件開發(fā)人員專注于最新的功能，而不是重新處理原有的錯(cuò)誤。  
• 更少的意外威脅。回歸測試可以成為風(fēng)險(xiǎn)緩解策略的有效組成部分，可以幫助企業(yè)和開發(fā)人員在問題和變化成為主要問題之前掌握它們。  
• 更好的整體系統(tǒng)性能  

總體而言，回歸測試是任何軟件開發(fā)生命周期（SDLC）中的關(guān)鍵步驟。回歸測試無疑具有重要意義，主要是在引入最新特征或?qū)浖a進(jìn)行修改之后。它保證了最少的停機(jī)時(shí)間，并保持低成本。回歸測試套件提供應(yīng)用程序的新增強(qiáng)代碼或功能不會(huì)對應(yīng)用程序的現(xiàn)有質(zhì)量造成意外損失。它可以通過運(yùn)行代碼更改并嘗試破壞某些應(yīng)用程序來人工完成，如果需要進(jìn)行大量代碼修改，這可能會(huì)延長操作時(shí)間。但是，它也可以有效地發(fā)現(xiàn)測試自動(dòng)化可能無法捕獲的問題。  

即使是回歸自動(dòng)化測試也有一系列好處，因?yàn)樗试S輕松和快速的測試，并具有各種好處——包括能夠快速找到錯(cuò)誤/缺陷而無需人工完成大量工作。然而，由于在虛擬機(jī)上使用不同的瀏覽器代替本地機(jī)器或其他開發(fā)人員的機(jī)器，因此存在一些缺點(diǎn)，例如具有復(fù)雜的測試代碼或發(fā)現(xiàn)假陰性。簡而言之，功能回歸測試的主要目標(biāo)是識(shí)別新舊代碼之間的差異，并確保執(zhí)行的修改是否按預(yù)期工作。

原文標(biāo)題：??Regression Testing: Significance, Challenges, Best Practices and Tools???，作者：Niranjan Limbachiya?