真假權威!說說安全軟件評測和認證那點兒事
說起安全軟件評測和認證,大家想必都不陌生, VB100、AV-TEST、AV-C、西海岸實驗室都是大家耳熟能詳的名字,經常見諸于媒體。嚴格的評測是對安全軟件的監督和認可,而能獲得認證的產品無一例外將其作為莫大的榮譽。然而當這些評測機構開始與中國特色結合,有時就會產生一些具有中國味道的結果。
筆者閑來無事,研究了一下目前常常被安全軟件廠商拿來作為背書的幾家國際評測機構,以幫助大家更好地認識一下這些安全軟件評測和認證那些事。
專事認證的西海岸和VB100
兩家來自英國的老牌安全軟件認證機構西海岸和VB100歷史悠久,為安全軟件提供認證服務,如果安全軟件達到其評測相關的標準,就發給通過證書。
有“安全領域的奧林匹克”之稱的VB100,至今已有20年的歷史,是在英國著名的反病毒測試機構Virus Bulletin建立的測試認證標準下進行的,以世界性組織Wild List病毒資料庫作為病毒來源,對世界各國防病毒軟件進行測試后,診斷率100%、誤診率0%時賦予的獎項,是全球性反病毒產品的權威認證。
VB100是老資格的認證機構,嚴謹客觀,能力達不到就無法通過。VB100認證主要以安全軟件的病毒檢出率、掃描速度以及誤報率作為標準,而參加評測的軟件診斷率100%、誤診率0%時賦予的獎項,只有通過和失敗兩個結果。而且VB100秉承造福大眾的宗旨,根據安全軟件企業的總體收入規模來確定收費標準,基本在1~2萬美元之間;對于VB100的評測結果和收費方式,安全軟件廠商也能接受并且認同。
WestCoastLabs(西海岸實驗室)位于英國,其從1996年推出Checkmark認證方案,測試各類信息安全產品與國際統一認可的最基本標準及規范的符合性表現。Checkmark一級認證(Level1)是“Anti-Virus Desktop”(查毒能力認證);Checkmark二級認證(Level2)就是 “Anti-Virus Disinfection”(殺毒能力認證);Checkmark木馬認證(Trojan)就是“Anti-Trojan”(反木馬能力認證)。這3項認證都是Checkmark最基礎的認證,只有獲得“Anti-Malware“(反惡意程序認證)的殺毒軟件才能稱為全能殺毒軟件,才算是獲得了英國西海岸實驗室最高級別認證。
西海岸實驗室的通過難度并不高,但也有著自身的特色,例如針對不同地域、不同產品功能組織針對性的測試,因此也吸引了眾多殺毒廠商的關注。但近幾年業界有個共識,西海岸有點“高收費,高通過”,收費是每款PC產品每年7萬美元左右,而且基本收費就可以過。
認證+成績排名的AV-TEST和AV-C
AV-TEST和AV-C,這兩家機構都在2004年左右推出安全軟件評測。與西海岸和VB100相比,這兩家機構不僅公布是否通過,還會公布每一家參加評測的安全軟件的成績,從更詳細的角度對安全軟件的功能進行評定。這兩家機構非常嚴謹和客觀,全球安全軟件廠商對其結果一致認同,在安全領域也樹立了權威。
AV-TEST總部位于德國,是國際公認的權威反病毒評測機構之一,一直以海量病毒庫檢測、獨立客觀的檢測過程和嚴格的標準著稱,至今已有近20年的歷史。
AV-C,全稱AV-Comparatives,總部位于奧地利,是全球范圍內具有極高知名度和公信力的專業殺毒評測,準入門檻較高。
AV-TEST的評測項目包括“防護、性能和易用性”三大項目,每項目滿分6分,總分高于12可獲得認證。從各項的得分中還可以對相應的功能模塊有更多的了解,讓有不同需求的用戶可以各取所需。
AV-C的測試項則更看重安全軟件的“內功”:包括動態保護測試、性能測試、手動掃描測試等,通過模擬真實用戶環境,檢測安全軟件對病毒木馬的查殺能力、對系統運行性能的影響以及誤報率等情況。
通過以上介紹我們也基本看出,為何在安全圈,尤其是主流的安全軟件廠商都對AV-C、AV-TEST和VB100大加推崇,而越來越忽視西海岸的評測結果。不過西海岸在中國卻運行的風聲水起,曝光率絲毫不亞于另外三家。
具有中國味道的西海岸賽可達實驗室
西海岸在2010底和2011初進入中國,很快發現了它的模式在中國很受歡迎:高收費,無門檻,基本可以收費定制,從而為安全軟件廠商做評測背書。比如任何一家安全廠商只要推出一款安全軟件,就可以通過高額收費出具一份通過的定制報告,作為該安全軟件的資歷證明。
讓時間回到2011年,西海岸派出了一位中國人作為駐中國代表,將中國生意做的風生水起,據說一款PC端的安全軟件的認證費用在7萬美元左右,一款手機端的軟件收費在3.5萬左右。以百度為例,按照基本報價,PC端的殺毒產品有北京(雪狼引擎)和深圳(卡巴引擎)需要各交7萬美元、手機端3.5萬美元,加起來就要17.5萬美元,國內廠商還有騰訊、360、金山、阿里等多家廠商,每家廠商都有PC和手機端多款產品,西海岸在中國的營收算起來相當不錯。
而到了2013年,西海岸的中國代表干脆成立了一個叫賽可達的機構,該機構號稱西海岸的中國實驗室,將生意模式修正的更加具有中國特色,可以討價還價,更加可以定制評測結果,比如一家新進入安全領域的企業,新推出了一款殺毒產品,只要掏大價錢,就可以給出一個中文第一的評測結果。
隨著時間的推移,賽可達的生意越發紅火,名聲越來越響,評測范圍也進一步擴展到了瀏覽器、網站安全、防火墻等產品。在賽可達2015年的評測標準中,甚至涉足了APT領域。哪個領域掏錢就可以評測哪個領域,哪個企業肯掏錢就可以定制一份西海岸賽可達的評測結果,但這份評測結果的公信力到底值幾何,就是見仁見智的事了。
再來看看賽可達的“實力”,公司只有5~6位兼職的技術實習,這些兼職實習生就是所謂的評測人員。從人員構成看這個機構基本就是一個商務或者生意機構,真實的評測能力根本無法保證。不要說VB100和兩個AV,要知道一個像個人電腦或者ZOL這樣的媒體評測實驗室動輒也會有近10人的專業評測人員。在專業力量和可信度上,賽可達的表現很難服眾。
再來看看賽可達的評測體系,它的樣本收集全部讓廠商自己提供,用廠商自己的樣本評測廠商的產品,這不僅僅是開卷考試,而是讓學生出考題。至于樣本分析,看看賽可達的人員構成,基本就可以了解他們的分析能力究竟有幾分功力了。
最后再講一個小故事:據某企業的內部人士透露,他們委托賽可達的一份評測,由于賽可達沒有能力評測,評測是由這個企業的技術人員自己完成評測和報告,然后由賽可達發布。學生先出題、再考試、最后自己打分,再公布于眾,賽可達評測的活也太好干了點。
地道中國“制造”的PCSL
相比以上四大家評測機構,中國的PCSL名氣要小很多,但也經常被安全軟件廠商用來做公關宣傳。
以下是百科里對PCSL的介紹:PCSL是國內一家專業從事計算機反病毒軟硬件測試的獨立第三方咨詢機構,在中國地區具有較強的地區代表性。其測試咨詢服務得到全球各大主流安全軟硬件廠商的認可與信賴。
從介紹看,PCSL毫不掩飾自己的中國地區代表性,這是一個地地道道的“中國制造”的評測機構,所以中國特色比賽可達還要鮮明。
PCSL于2008年3月成立于北京。2011年6月搬至浙江省嘉興市,PCSL品牌正式轉由嘉興市辰翔信息科技有限公司持有并成為該公司主要IT產品測試咨詢品牌之一。
PCSL目前只有五六個員工,全部是本土招聘,基乎沒有權威安全企業背景。與AV-C和AV-TEST定期發布測評報告不同,PCSL基本沒有固定時間發布報告,而且報告內容沒有統一標準,也算是企業給錢就出報告的這種??偠灾琍CSL的測評權威性比較低,業內越來越不認可,可謂是安軟策評機構里的鄉鎮企業。
在百科中引用了公司創始人吳江的話:大多數軟件測試更確切地說是一種調試,側重于軟件的穩定性、內容開發等,而我們的軟件測試更傾向于對軟件的評估。我們從用戶角度出發,告訴軟件開發商,他們的軟件給消費者帶來哪些方面的不便。
顯然PCSL并非一個專業的評測機構,更像是一些媒體實驗室一樣,區別于傳統軟件“找漏洞式”測試,采用“體驗式”測試方式。
PCSL會收費接受一些企業的定制評測報告,根據收費高低,安裝企業的要求,定制出一些滿足公關需求的報告,一些安全廠商經常會拿著PCSL的報告來標榜自己的專業性,這樣很危險,畢竟PCSL能力不是專業,用它的報告做自己專業能力的宣傳,一定會被打臉。