構建Hadoop安全模型 讓大數據安全落地
原創截至2012年12月,全球互聯網用戶達到24億;2012年,智能手機出貨量達到4.27億部。在IT迅速變革的今天,看看一分鐘之內會有多少事發生吧:27.8萬條Twitter信息發出,2.04億封電子郵件被發出,15000條歌曲從iTunes上被下載,571個新網站被創建。今天,我們已經進入數據爆炸式增長期,而80%能訪問到的數據都是過去2年生成。
據預測,2020年,電子數據存儲量將在2009年的基礎上增加44倍,達到35萬億GB。進入大數據時代,我們就不能不提Hadoop。很多組織意識到,利用Hadoop構建大數據項目,會讓自身獲得新的發展制高點。不過,Hadoop的安全隱患卻被很多人忽略。
被忽略的Hadoop安全隱患
Hadoop是一種用于大數據的應用程序,建立在MapReduce(用于超級計算的普通方法)基礎上,能讓用戶訪問部署在一系列計算機集群上的數據,并做簡單編程,對所使用的數據進行簡單分析,由此對大數據進行管控。
不過今天,除了少數互聯網公司把Hadoop用得較好之外,中國很多Hadoop用戶,還只是用Hadoop來做日志事件處理。人們對于Hadoop的關注點仍然停留在比較基礎的階段,如:算法怎么寫,分布式系統軟件如何部署,數據應該怎么規劃等。Hadoop自身的安全問題尚未受到普遍重視。而一旦Hadoop被用于對商業決策有重要影響的事情時,計算結果的準確與否就變得至關重要,如果出錯,用戶可能就會犯下發展方向上的錯誤。在此階段,Hadoop自身安全問題尤其不容忽視。
Hadoop出現之初,并不是一個企業級工具,并未被考慮到太多安全性問題,體現在:安全策略管理較弱,訪問控制較弱,沒有合規性設計,授權也做得不足。雖然也有做授權認證的Kerberos工具,但Kerberos的配置太難太復雜,以至于一些用戶選擇放棄使用Kerberos。
Hadoop有很多Web接口,所有應用都可能出現能被黑客利用的缺陷和漏洞。Hadoop還提供了很多衍生應用程序,但每當在一個應用程序上再疊加一個應用程序,也就增加了一層風險。數據安全方面,Hadoop數據不加密,數據很容易被竊取或被泄露;Hadoop數據完整性不能保證,極易被篡改,組織一旦用了被篡改的數據就會得到錯誤的數據分析結果,從而產生錯誤的業務決策。
為Hadoop構建安全模型
Hadoop安全模型
在趨勢科技全球核心技術總監Jon Clay看來,構建Hadoop的安全模型可采用分層方式進行。在最外層必須進行良好的訪問控制,確保只有有相關權限的人才可訪問Hadoop數據;第二層是網絡威脅防御,設定相關機制,防止網絡受到入侵;第三層是應用層程序升級,確保沒有漏洞;第四層是數據保密,防止數據被竊取;第五層是保證數據的完整性,使數據不會受到篡改。基于上述五層保護策略,就可獲得基于Hadoop結構的安全策略模型。
趨勢科技全球核心技術總監Jon Clay
基于五層安全保護策略,趨勢科技正致力于為用戶提供Deep Security的Hadoop版本。趨勢科技中國區業務發展總監童寧表示,現有的DeepSecurity解決方案中有防火墻功能,也可進行入侵阻止,并進行網絡防護。Deep Security的Hadoop版本將會被加入數據加密功能,及完整性監控及日志檢查功能。這一解決方案可被用于物理機上,也可被用于虛擬機上。
Deep Security解決方案的Hadoop版本可以實現:第一層的訪問控制,Deep Security防火墻功能可進行訪問控制、授權等;第二層的網絡威脅防御,它提供了IDS/IPS功能;第三層的系統應用程序威脅防御,能提供虛擬補丁、Web應用防護及防惡意軟件;第四層的數據加密;第五層的數據完整性保護,完整性監控策略可幫助用戶快速找到相應文件,并確保這些文件不會被篡改。另外,Deep Security的Hadoop版本中的日志檢查方式可幫助用戶瀏覽有無異常行為發生。通過提供適用于虛擬化Hadoop環境的無代理安全,趨勢科技能幫助用戶監控虛機之間通訊,并高效利用資源,簡化管理,降低成本。
在多數廠商仍在邏輯和概念層面討論大數據安全時,趨勢科技已經計劃在一年內推出Deep Security的Hadoop版本,率先讓大數據安全實現落地。這跟趨勢科技自身使用Hadoop計算系統構建智能安全防護網絡密不可分。2007年,隨著互聯網的發展,網絡威脅事件快速增長,傳統安全方法不足以應對,趨勢科技一改傳統的序列化數據處理方式,引進Hadoop計算系統,把所有接收到的事件進行分類和交叉處理,并利用Hadoop系統進行運算,由此形成智能網絡防護云。也正是在對Hadoop的使用過程中,趨勢科技發現了其中的安全隱患,并開始研究安全策略,并由此較早在大數據安全方面有實際成果。