基于記憶的APT檢測原理系統(tǒng)框架
按照數(shù)據(jù)—信息—知識逐層提煉的模式,基于記憶的APT攻擊檢測系統(tǒng)結構分為三級,系統(tǒng)整體架構圖如下:
基于記憶的檢測系統(tǒng)架構圖
存儲層
存儲層完成對從互聯(lián)網(wǎng)直接獲取的實時數(shù)據(jù)流的預處理和存儲管理工作。對實時數(shù)據(jù)流首先進行傳輸層的會話還原,消除因網(wǎng)絡條件造成的亂序、重傳、延遲等對后續(xù)分析的干擾;然后進行應用協(xié)議識別,判斷數(shù)據(jù)流上所承載的具體應用;最終從非結構化的數(shù)據(jù)流中抽取結構化的元數(shù)據(jù)信息,以便后續(xù)的各類統(tǒng)計和關聯(lián)分析。
預處理后的原始數(shù)據(jù)流,既包括完整的全流量數(shù)據(jù),又包括提取后的元數(shù)據(jù)。考慮到海量數(shù)據(jù)的存儲壓力,可對不同類型的數(shù)據(jù)采取靈活的管理策略:
(1) 對于全流量數(shù)據(jù),進行窗口長度為星期級的存儲。由于全流量數(shù)據(jù)會占用海量存儲空間,不宜進行長期存儲,但全流量數(shù)據(jù)對于后續(xù)的回溯分析又是必須的。為此采用折中的存儲策略:只存儲最近幾周(例如1-2周)的全流量信息,對于超期的數(shù)據(jù)進行降解處理。
(2) 對于元數(shù)據(jù),進行年度級的存儲。提取后的元數(shù)據(jù)只包含應用層會話的關鍵信息,其數(shù)據(jù)量大約相當于全流量信息的5%,這類信息對后續(xù)的統(tǒng)計、關聯(lián)和數(shù)據(jù)挖掘具有重要的作用,且占用的空間在可接受范圍內(nèi),因此在平臺中進行長期存儲。
分析層
分析層完成從原始流量數(shù)據(jù)中產(chǎn)生獨立報警信息的工作,主要方法包括:
(1) 對于能引起網(wǎng)絡流量顯著異常的攻擊,如DDoS、掃描、蠕蟲傳播等,可通過異常流量檢測和統(tǒng)計分析的方式進行識別。通過建立全面、完整的安全基準指標體系,可以快速識別網(wǎng)絡流量異常;通過統(tǒng)計分析,可準確定位異常的位置和原因。
(2) 對于不引起流量異常的未知攻擊,可通過可疑行為建模的方式進行識別。例如對于尚未提取特征的木馬,其連接控制端的時候可能會存在未知的加密傳輸、疑似心跳信號的間歇性連接、惡意域名訪問、異常的上下行流量比等行為,通過對這些可疑行為進行關聯(lián),就有可能檢測到木馬連接行為。
(3) 對于通過異常檢測模塊產(chǎn)生的各類報警,由于缺乏攻擊簽名信息進行驗證,其準確度往往低于基于特征匹配的誤用檢測。為此還需要結合原始報文,對報警的有效性進一步確認。通過報文所承載的應用層對象做細粒度的協(xié)議解析和還原,可輔助分析人員判定會話內(nèi)容是否包含攻擊數(shù)據(jù),從而進一步產(chǎn)生精確報警。
展示層
展示層完成從孤立的攻擊報警信息生成完整的攻擊場景的關聯(lián)工作,并提供可視化分析前端工具,幫助分析人員從存儲的海量歷史數(shù)據(jù)中獲取知識。對于攻擊場景關聯(lián),常見的方法是基于關聯(lián)規(guī)則匹配攻擊場景。由于APT攻擊手段的復雜性,在實際環(huán)境中往往會因為報警事件的缺失導致無法進行完整攻擊路徑圖的匹配,進而導致建立APT場景失敗,為此要解決基于不完整攻擊路徑的攻擊場景匹配問題。對于多維數(shù)據(jù)可視化分析,要提供給分析人員一套能從地址、端口、協(xié)議類型等維度對數(shù)據(jù)進行統(tǒng)計展示的工具,并支持按照不同的粒度對數(shù)據(jù)進行鉆取,方便分析人員在大數(shù)據(jù)中定位可疑行為。