從安全隱患帶來的商機來看,Hadoop同樣很美
Hadoop,作為被大肆宣傳的大數據利器,設計初衷是為搜索引擎建立網頁索引,而不是處理信用卡號,所以安全并不是其重點考慮的問題。基于這個原因,許多企業對Hadoop都是淺嘗輒止。目前,包括Cloudera、Intel在內等多個Hadoop發行版廠商,都在實行或制定安全方面的計劃。
專利和補丁

Zettaset是一家為Hadoop發行版提供安全特性的公司,其董事長兼CEO Jim Vogt稱:“今年很多公司都對Hadoop技術很感興趣,但是其中很大一部分因為安全問題都望而卻步。當真正衡量某一技術在一個企業或一個更廣闊的市場的可行性時,安全問題是必須要考慮的。”
據Vogt稱,Zettaset已經在管理和控制分布在Hadoop集群上多個服務器的加密密鑰技術上有了專利方法。為了在Hadoop上實現安全的前提下,***限度控制性能降低,Zettaset明年將推出一個在集群中實現優先數據存儲的系統。如果某塊數據經常被訪問,那么將這部分數據放在SSD會比在硬盤執行速度更快。當然,指出現有的不足,使用戶意識到自己的基礎設施是不安全的,直接受益者肯定是Zettaset以及其它提供安全服務的公司。
Cloudera產品副總裁Charles Zedlewski認為,安全問題主要設計四個方面:
身份驗證:怎樣確認你是否是某個系統的用戶。
授權:可以控制用戶能夠讀取的信息,以及針對特定數據用戶可以進行的操作。
審計:審計可以提供滿足監管需求的文檔支持,查看是否有違規操作。
加密:為數據安全提供更多保障。
目前,在MapReduce、HBase、Hive和其它Hadoop程序中,原生的Apache Hadoop提供了其中的某些特性。比如,Hadoop中有嚴格的身份驗證機制。Zedlewski認為從客戶的角度考慮我們還需要提高的地方在于使其更易于安裝和配置。
Zedlewski說:“加密是另一回事。數據可以在網絡傳輸過程中被加密,這個功能兩年前就實現了。涉及到‘靜止’數據的加密,一些公司會采用如Gazzang和Vormetric等安全供應商提供的現成的加密庫。”Cloudera正在考慮在自己的產品中加入加密功能,客戶就不用再找其它安全服務提供商。Cloudera作為Hadoop市場領軍者,這一做法很值得贊賞。
Zedlewski認為在授權方面,Hadoop還不夠成熟。Cloudera希望客戶可以自己決定某個表的授權粒度。例如一個10000條信用卡號碼的表,如果你有查看部分數據的權限,那么基于表粒度級的授權機制,你沒有訪問這個表的權限,而基于記錄粒度的授權機制,你能看到50條特定范圍內的數據。換句話說,細粒度的授權機制,可以使更多員工獲得訪問權限。
Rhino項目
大約3個月前,剛剛加入Hadoop陣營的Intel,在Rhino項目下列出了希望在Hadoop中實現的安全特性。
在身份驗證方面,實現一個不依賴外部源的新的內部系統,同時提供更好的單點登錄功能。授權機制方面,可以跨越許多Hadoop應用程序,從批處理的MapReduce到HBase數據庫。這些功能會被加入到Intel的Hadoop發行版中,其它發行版中可以作為補丁加入。
Knox項目
來自Hortonworks的幾位工程師今年一直活躍在某個名為Knox的孵化器項目。Hortonworks的企業戰略副總裁Shaun Connolly解釋說,這個項目就像在Hadoop集群中的服務器周圍構造一個大的虛擬圍欄,對于可用的Hadoop服務只有一個安全網關可以進入。
MapR公司***營銷官Jack Norris說:”MapR在試圖加入加密密鑰管理功能,包括對‘靜止’數據的加密。就像Cloudera,MapR希望使安全問題更容易實現,尤其是傳輸過程中的數據加密和身份驗證。”