Perl多進程技術在自動化測試腳本中用法指導
Perl多進程的用戶接口是 fork() 函數以及對系統 fork 函數封裝的一些 module,本文向大家介紹一下應用Perl多進程技術到自動化測試腳本,首先我們來看一下Perl多進程的概念。
Perl多進程
Perl 語言是一種非常強大的腳本語言,其廣泛應用于系統維護,CGI(Common Gateway Interface)編程,數據庫編程和自動化測試中。
多任務和并發處理一度被看作是判定優異操作系統的一個特性;同樣任何優秀從而流行的編程語言都會有并發的應用,而且都有各自的實現方法。Perl 最開始在并發方面的應用就是Perl多進程。
Perl多進程的用戶接口是 fork() 函數以及對系統 fork 函數封裝的一些 module。我們在使用 Perl 語言編程時,如果一個任務的某一個段可以或者需要并發很多執行,那么我們就會使用 Perl 的Perl多進程編程,例如同時向數據庫遞交多個記錄的查詢,同時完成多個系統信息的收集等等。
Perl 的Perl多進程是這樣實現的:主進程每 fork 一個子進程,會把當前(主進程的)內存空間的所有變量都復制一份傳到新的進程里面,達到數據共享的目的。此外,主進程和子進程可以通過信號、管道等來通信。
在處理并發的方案中,Perl多進程依靠內存空間獨享提供了優秀的容錯性和健壯性。一個Perl多進程的系統不會由于其中一個進程的狀態不良而崩潰,每個進程都相對獨立地運作,很少會相互影響。
內存空間獨享也造就了Perl多進程不可避免的劣勢:資源負荷以及通信復雜,對于 Perl 來說,每個子進程都可以看作主進程的拷貝,這多少有些內存浪費,而且主進程的關鍵變量如果是“淺復制”到子進程的話,將會帶來一些意想不到的錯誤。另外,進程的創建和回收會帶來許多額外的負載,因此應當盡量避免頻繁地創建進程。
Perl多進程之間的通信方式有 socket,管道,信號量等。在 Linux 平臺上,對于進程間大量信息的交互情況,最常用的是文件;這在用戶空間進程和系統內核空間進程之間的通信中的最為常用。在談起 Perl Perl多進程的時候,不可避免的要說說它與 Perl 多線程的關系。
應用Perl多進程技術到自動化測試腳本
在自動化測試中,利用RationalBuildForge作為測試管理和監控工具,90%以上的測試腳本都采用Perl腳本。采用了模塊化編程,并大量使用CPAN提供的module。由于很多module都不是線程安全的,同時為了提高腳本開發效率,也會在一個腳本中直接調用另外一個腳本,所以選擇在自動化測試框架中應用Perl多進程。
自動化測試腳本使用Perl多進程大致分為兩種情況。一種是Testconsole需要同時操作十幾個設備,例如用于主機和存儲互連的光纖交換機,用于光纖物理層斷開測試的交換機APCON等。這類測試的特點是需要同時操作10幾個或者20幾個的測試對象,對它們的操作是配置操作,而且配置腳本都會成功,主進程只需要所有子進程執行完畢就認為所有子任務已經完成,然后可以進行后續的操作。因此采用一種較為簡單的Perl多進程編程方式。下面是針對這種情況的Perl多進程處理的代碼示例。
清單1.Perl多進程處理的代碼
- our@cmd=("./apcon_2052.exp119.11.217.27A15B15",
- "./apcon_2058.exp119.11.217.65adminteamw0rkA05A06",
- "./apcon_2052.exp119.11.217.27B09D09");
- our$zombies=0;
- our$kid_proc_num=0;
- $SIG{CHLD}=sub{$zombies++};
- for(my$i=0;$i<@cmd;$i++){
- my$pid=fork();
- if(!defined($pid)){exit1;}
- unless($pid){
- system"$cmd[$i]";
- exit0;
- }
- $kid_proc_num++;
- }
- while(1){
- if($zombies>0){
- $zombies=0;
- my$collect;
- while(($collect=waitpid(-1,WNOHANG))>0){
- $kid_proc_num--;
- }
- }
- if($kid_proc_num==0){last;}
- else{next;}
- }
以上的代碼采用Perl多進程方式同時處理了對3個測試設備的配置操作,然后主進程等待所有配置操作完成,再進行后續的測試。
另外一種情況較為復雜,就是經常需要針對數百個主機和存儲進行配置、狀態查詢等,而且配置結果和查詢狀態需要返回主進程處理,然后根據結果數據再決定如何繼續。對于這種情況,主進程需要生成數百個子進程,而且每個子進程都有大量的信息返回給主進程來處理。這樣處理數百個子進程的生成:由于Perl多進程方式占用系統資源較多,因此設定一個允許主進程同時運行的最多子進程數目,然后在有子進程結束時,主進程再生成新的子進程至所有的子任務完成。這樣處理主進程和子進程的通信和信息交互:由于測試Perl腳本運行平臺為Linux,它是帶有BSD風格的POSIX兼容的系統,會提供可靠的信號,所以仍然使用系統提供信號的來獲取子進程結束的消息;對于子進程的返回信息,采用為每個子進程產生一個臨時文件用于存儲返回的所有信息,最后主進程來處理這些文件從而獲取每個子任務的結果信息。如下是為這種情況設計的Perl多進程處理方式的軟件流圖。
圖3.軟件流圖
下面以登錄每個主機檢查運行狀態的例子給出Perl多進程處理數百個子任務的代碼。
清單2.Perl多進程處理數百個子任務
- usestrict;
- usewarnings;
- usePOSIX":sys_wait_h";
- our@IP=&getAllHostIP();
- our$TOTAL_TASK=@IP;#assumewehave300hosts
- our$MAX_LIVE_PROC=24;#MaximumnumberofsubProcessallowedtoco-exist
- our@result_filename=();
- our$zombies=0;
- $SIG{CHLD}=sub{$zombies++};#handlemessagefromkernel
- our$handled_task=1;
- our$cur_live_proc=1;
- my$pid=fork();
- unless($pid){
- my$filename=&getUniqueFilename();
- push@result_filename,$filename;
- system"./checkHost$IP[$handled_task-1]$uid$psw$filename";
- exit0;
- }
- while($cur_live_proc>0){
- if($zombies>0){
- $zombies=0;
- my$collect=0;
- while(($collect=waitpid(-1,WNOHANG))>0){
- $cur_live_proc--;
- }
- }
- if(($cur_live_proc<$MAX_LIVE_PROC)and($handled_task<$TOTAL_TASK)){
- $handled_task++;
- $cur_live_proc++;
- my$pid=fork();
- unless($pid){
- my$filename=&getUniqueFilename();
- push@result_filename,$filename;
- system"./checkHost$IP[$handled_task-1]$uid$psw$filename";
- exit0;
- }
- }else{
- next;
- }
- }
- &checkResults();
小結
根據常見的設備系統測試自動化平臺的特點和要求,把Perl的Perl多進程技術應用到了測試腳本中,極大地提高了測試效率。
Perl多進程已經很長的發展歷史,而且應用廣泛,技術成熟。Perl多進程在健壯性和容錯性方面表現更好,每個進程都擁有獨立的內存空間,并行的幾個進程一般來說不會相互干擾;當然,相應的,Perl多進程的系統開銷也比較大,而且進程間通信也變得復雜一些。妥善地處理Perl多進程生成和進程間的通信,會很好地改善自動化測試的運行效率以及穩定性。
【編輯推薦】