認(rèn)清探索性測試
原本想把探索性測試（ET）和敏捷測試（Scrum）放在一起談?wù)摚髞硐胂耄瑑烧咝枰⒁獾狞c(diǎn)還是很不同的，所以先談?wù)撓绿剿餍詼y試吧。
現(xiàn)在可能越來越多的測試開始談?wù)揈T，也就是所謂的探索性測試。但是這里我想說的是，不要盲目依賴ET，也不要不清晰的去認(rèn)知ET。需要了解其真正的意義然后根據(jù)自己的實(shí)際情況做相應(yīng)的改變才是上策。
首先不要理解ET就是Free Style，就是所謂的隨機(jī)測試。所謂探索和自由的測試，隨機(jī)測試還是有差別的。探索是有很多方法支持，并不是漫無目的的隨便針對軟件測試。這里舉兩個例子，比如A心中想著一個數(shù)字讓B猜測，B每猜一個數(shù)字，A會告訴B是比心中想的數(shù)字大了還是小了。最終B會準(zhǔn)確的猜出A心中所想的數(shù)字。再比如你去超市shopping，除了你直接有目的性的之外，大部分情況都是會先進(jìn)行物品的挑選，無論是種類，還是價(jià)格的比較，最終挑選出符合你想要的那個商品。這個兩個例子雖然在我們生活中一直發(fā)生，但是卻就是最原始的一種探索性測試。這里不得不提的就是聯(lián)系上下文的測試，兩個例子都是根據(jù)上下文進(jìn)行一種探索，最終達(dá)到了自己的一個目的。
再來我想談一下怎么施行ET，或者說怎么權(quán)衡ST和ET。經(jīng)過ChinaTest以及之后的幾場沙龍，我發(fā)現(xiàn)很多測試的問題都是圍繞在這樣幾個點(diǎn)上面。
我想在談?wù)撨@些問題前先理清楚幾個概念：
1.ST和ET絕對沒有哪個是通用工具，都不可能一條路走到底
2.計(jì)劃永遠(yuǎn)趕不上變化，我們的測試必須根據(jù)實(shí)際情況靈活改變
3.任何的測試都應(yīng)該基于風(fēng)險(xiǎn)評估
4.任何的測試都應(yīng)該根據(jù)上下文來實(shí)施
5.ST中的所有的步驟在ET中都是需要去做到，唯一不同的只是我們可能會簡化某些步驟，而達(dá)到更高的效率。
6.測試活動是一個長期的活動，是一個循序漸進(jìn)的過程。
那么接下來我先來說一下怎么實(shí)施ET。個人認(rèn)為ET本身的方法很多，其實(shí)就實(shí)施而言，我們根據(jù)自己產(chǎn)品項(xiàng)目的具體情況然后有針對性的進(jìn)行ET。這里可能在執(zhí)行的過程中大部分會碰見的一些問題如下：
1.公司或者測試團(tuán)隊(duì)如何先踏出***步
我覺得首先如果你是一個leader或者manager，你想推ET自己先得想清楚推的過程中的一些框架，如何推，如何考評，如何引導(dǎo)大家去做等。然后再走，否則可能會造成一團(tuán)亂的局面。你可以選擇和公司上層直接進(jìn)行溝通表達(dá)測試團(tuán)隊(duì)可能接下來會引入一種新的測試方法。如果你的上層并不能那么容易就能夠說服的話，那么你可以先抽幾個骨干在有空的時(shí)候進(jìn)行一些ET，將結(jié)論總結(jié)好然后再去和上層交涉，那么我相信絕對更加有說服力。而對于測試團(tuán)隊(duì)來講，應(yīng)該進(jìn)行相應(yīng)的概念和方法的培訓(xùn)，讓測試團(tuán)隊(duì)充分的了解ET和ST的區(qū)別，ET的優(yōu)缺點(diǎn)分別是什么，我們?yōu)槭裁匆脒@樣的方法等。至少以上這些是你要進(jìn)行ET前必須要做的事情。
2.每個測試人員的經(jīng)驗(yàn)?zāi)芰Ω鞑幌嗤珽T之后就自由了好多，如何在風(fēng)險(xiǎn)可控范圍內(nèi)有效的進(jìn)行ET，如何考評呢？
這里我有一個初步的原創(chuàng)的方案。確實(shí)，這個問題幾乎在每個公司都會存在。而我主張?jiān)诔跗贓T必須被引導(dǎo)。而這種引導(dǎo)又必須是老測試人員或者資深的測試來做。我在一個月前使用過如下的方法。我將每次ET的活動都定成一個Test Task，其中高風(fēng)險(xiǎn)的全部由測試leader主動分配給測試人員，低風(fēng)險(xiǎn)的由測試人員自己去認(rèn)領(lǐng)。每個Task中都會寫明ET的目的，范圍，時(shí)間等。最終根據(jù)每個測試人員對于高低風(fēng)險(xiǎn)Task的完成量，完成時(shí)間，完成質(zhì)量進(jìn)行相對應(yīng)的考評。這樣也很有說服性。
另外，如果時(shí)間充裕，那么進(jìn)行交叉的ET也是非常有效率的一種方式。無論是新測試還是老測試，每個人都會有測試盲點(diǎn)。那么交叉測試既能夠保證ET的覆蓋面的同時(shí)也會給測試帶來更多的想法，靈感。
在每個項(xiàng)目發(fā)布前的一段時(shí)間***能夠組織全公司或者全team進(jìn)行bug bash。每次bash時(shí)間一般在3個小時(shí)。我以前公司每次都會做。這種活動可以看作為全員在做測試，相信這樣一輪下來肯定會發(fā)現(xiàn)很多之前沒有發(fā)現(xiàn)的問題。對于實(shí)施ET之后的項(xiàng)目也很有幫助。
3.ET要寫測試用例么？怎么寫？回歸測試怎么做？發(fā)現(xiàn)了bug之后應(yīng)該做什么處理。
這個我覺得ET的測試用例更加像一種思維導(dǎo)圖，或者思維引導(dǎo)。并沒有具體的形態(tài)，每家公司情況都不同。但是我們需要記錄的是一種思維，并非一種特定的現(xiàn)象（如果測試步驟和測試結(jié)果一直不變，比如數(shù)據(jù)庫的測試，比如一些對話框的測試，那么可以將他們列入ST，也可以在ET的思維導(dǎo)圖中標(biāo)注一下）ET所需要的其實(shí)就是一種經(jīng)驗(yàn)，一種思維，告訴測試引導(dǎo)測試應(yīng)該從什么測試點(diǎn)入手，可能會在某些情況下發(fā)生問題。在2中我提到的Task中測試leader就必須寫清楚測試切入點(diǎn)，可能出現(xiàn)的問題點(diǎn)，這樣一來降低了因?yàn)闇y試人員能力不同 而導(dǎo)致的風(fēng)險(xiǎn)，二來同時(shí)也引導(dǎo)了新的測試人員，將經(jīng)驗(yàn)很好的傳達(dá)給了他們。
回歸測試的話，我覺得可以通過回歸bug來達(dá)到相應(yīng)的目的。或者也可以將高風(fēng)險(xiǎn)的功能歸類總結(jié)出ST的TC，然后作為回歸測試來執(zhí)行。
ET發(fā)現(xiàn)bug之后我認(rèn)為首先你需要報(bào)這個問題，其次就是要記錄到你或者整個團(tuán)隊(duì)的思維導(dǎo)圖這樣一個庫中。它是一種思路，以便于引導(dǎo)下次測試該模塊的測試人員。
那么***我來談一下怎么權(quán)衡ST和ET，正如我之前提到的幾點(diǎn)需要清楚的地方。那么下面舉幾個例子，我相信你就會明白。
假設(shè)你對于你的團(tuán)隊(duì)信心不是很大，并且對于產(chǎn)品本身的質(zhì)量抱有一定的質(zhì)疑。那么你需要將高風(fēng)險(xiǎn)的功能點(diǎn)總結(jié)出來，然后進(jìn)行測試用例的編寫。那么這部分的功能就是主要以ST為主，ET為輔的方式進(jìn)行確保。而其余的功能你可以一半時(shí)間使用ST，一半時(shí)間使用ET。其思路就是ST保證高風(fēng)險(xiǎn)功能點(diǎn)以及產(chǎn)品的各個基本功能點(diǎn)，至少產(chǎn)品經(jīng)過ST之后不會產(chǎn)生P1的問題。同時(shí)結(jié)合ET，讓產(chǎn)品從UE、UI等各個ST可能無法覆蓋到得方面進(jìn)一步進(jìn)行保證。
假設(shè)你對于你的團(tuán)隊(duì)和產(chǎn)品的態(tài)度還是有那么點(diǎn)信心的。那么你就可以使用ET為主，ST為輔的方式。同樣的這樣會加快團(tuán)隊(duì)使用ET的經(jīng)驗(yàn)。ST同樣是為了保證基本功能點(diǎn)以及一些固定數(shù)據(jù)的測試點(diǎn)，而更多時(shí)間的ET是能夠在短時(shí)間內(nèi)更多的發(fā)現(xiàn)產(chǎn)品的缺陷，從而達(dá)到測試的目的。
當(dāng)然，你不用問我到底在項(xiàng)目中什么時(shí)候進(jìn)行ET，進(jìn)行ET之后效果貌似不明顯等問題。為什么？因?yàn)橐陨纤械牟呗远际腔陲L(fēng)險(xiǎn)能夠評估之后制定出來的。而風(fēng)險(xiǎn)如何評估，需要測試團(tuán)隊(duì)長期對于產(chǎn)品的一種了解，一種數(shù)據(jù)的積累分析而得出。而風(fēng)險(xiǎn)的高低在項(xiàng)目中又是不斷變化的，所以我們必須在項(xiàng)目中靈活的進(jìn)行ST和ET的安排 ，而不是說我們定好怎么樣就是怎么樣的。ET也需要經(jīng)驗(yàn)的積累，思維的積累，流程的改善等過程，只有經(jīng)過幾個項(xiàng)目的考驗(yàn)?zāi)敲床艜吹酶忧宄Ч艜@著。
***希望大家能夠更加理解ET，更好的運(yùn)用ET，總結(jié)出來適合自己公司的ET方法。
