大數據的大目標:Zions使用大數據的經驗
一年前,大數據剛剛成為業內使用最多的流行詞。現在,每一個人都在談論大數據將成為企業安全的一個最嚴重的挑戰。但是,還有許多實際工作者仍在努力理解這個概念,就像幾年前他們想努力搞清楚云安全的概念一樣。
但是,Zions Bancorporation公司首席信息安全官和負責安全的執行副總裁普雷斯頓·伍德(Preston Wood)對于有那么多人難以理解大數據的概念而感到費解。
幾十年來,伍德一直在使用大數據增強其安全計劃。最近幾年,伍德和他的團隊對其計劃進行了重要修改,以便更好地處理自由和迅速進出該公司網絡的數據。通過使用Hadoop等工具,他們提高了一次能夠分析的數據量。他們還搞清楚了如何接近實時地分析數據,縮短以前要一個完整的工作日才能完成的工作。下面是Zions公司如何完成大數據分析任務的故事。
大數據早已有之
雖然大數據這個詞匯是新的,但是,Zions自從90年代以來一直在應用這個概念。當時,該公司開始使用其大量的信息源來搞清楚其安全態勢。伍德說,我們在大數據這個詞匯出現之前就已經采用大數據戰略了。
Zions有許多數據源。它有8個銀行業務并且在美國西部地區有500個物理站點。它還是安全信息和事件管理(SIEM)技術的早期應用者,使用這個技術更好地分析數據流。
當涉及到大數據的時候,專家們傾向于把重點放在如何使用大數據提供收入方面。在較小的程度上,專家們也許指出和評估有價值的商務智能和分析的大型倉庫的安全風險。但是,Zions做的事情不同:它決定讓大數據的方法成為其安全的核心部分,而不是把信息看作是它要防御的另一個潛在的安全漏洞。
應用SIEM技術
為了更好地分析數據和把數據應用于安全部門的工作中,伍德和該公司成為SIEM技術最早的應用者。這個技術能夠讓安全部門做以下事情:
·整合來自多個來源的數據,包括網絡、安全、服務器、數據庫和應用程序。這樣可以合并監視的數據和避免漏掉重要事件。
·把事件分成更小的部分以便能夠用于研究相似性。這種研究可能發現攻擊活動。
·發現異常活動可以立即報警。
Hadoop技術是推動因素
伍德的團隊正在尋找這個謎團中缺失的部分并且很快在Hadoop中找到了這個部分。
開源軟件Hadoop技術是推動目前更成功的大數據安全計劃的引擎。企業使用這個技術收集、共享和分析通過其網絡的大量的結構化和非結構化數據。
Zions在2010年開始使用Hadoop技術。由于Zions的大量的工具和設備每周產生幾TB數據,向系統中裝載一天的記錄需要一整天的時間。現在,這個過程可以實時完成。
據Securosis公司首席技術官和安全分析師阿德里安·萊恩(Adrian Lane)說,多年以來,Hadoop技術使大數據更容易訪問和更便宜。像Hadoop這樣的免費工具已成為一個重要的推動因素。
Hadoop技術的工作原理
Apache Hadoop網站把這個技術解釋為允許使用簡單編程模型分布式處理在計算機集群中的大型數據集的一個框架。這個技術旨在從一臺服務器升級到數千臺服務器,每一臺服務器都提供本地計算和存儲。不依賴硬件提供高可用性,這個庫本身旨在檢測和處理應用層的故障,在每一臺計算機都可能出現故障的一個計算機集群的基礎上提供高可用性的服務。
做好準備工作
同應用任何技術一樣,Hadoop的應用者需要了解這個工具本身的安全漏洞以及任何類似工具能夠出現的多種兼容性和設置問題。
Zions負責技術和運營風險與治理的經理亞歷克斯·赫頓(Alex Hutton)說,同我們已經看到的一些安裝的GRC(治理、風險和遵從法規)應用一樣,這個事情可能產生巨大的爆炸和浪費金錢。
赫頓的忠告是采用這個技術之前要做好準備。利用一切必要的時間搞清楚你期待處理的數據的路線圖細節,認真評估Hadoop技術如何與你的網絡的其它部分相處,開發一個明確的分類學模型并且嚴格按照這個模型去做。
由于伍德的團隊在推出這個新倉庫之前做好了充分的準備,Zions的部署工作比較順利。只要其它公司也做好準備,他們也會取得同樣的成功。