IT安全的發展是圍繞數據，生成、收集、收集、存儲和分析數據是安全日志的重要部分，但這些大型數據集給存儲和處理資源帶來巨大壓力。

[[165217]]

在專業生產環境中，應該部署著良好的數據收集和分析基礎設施，并有足夠的資源進行可靠和穩定的設置。

然而，現實情況是，由于預算限制以及對更大靈活性的需求，安全專家通常需要在更小的環境中實施和測試數據分析及處理。幸運的是，即使預算低且時間有限，我們仍然有辦法可以測試數據分析。本文中，讓我們看看在小環境中有限預算情況下測試數據分析的方法。并且，讓我們看看在小型環境有效運行數據分析的方法。

虛擬化

為了保持低成本以及高配置靈活性，我們應該盡可能多地利用虛擬化硬件。Vmware ESXi是數據分析測試實驗室的不錯選擇，Parallels、VirtualBox和Hyper-V等其他產品也可以使用。在這個例子中，我們將使用Vmware。在免費注冊許可證后，這個管理程序可安裝在相對廉價的硬件中—但是要注意支持的CPU要求，否則也可能會很昂貴。在管理程序上，我們可以通過虛擬網絡安裝和連接很多不同的虛擬主機。例如，這包括基于Linux和Unix的代理服務器、IDS和防火墻設備，以及Splunk和Syslog服務器。

代理服務器

代理服務器可提供對網絡流量的可視性，并可處理流量直到ISO模型的應用層。例如，它可顯示HTTP和FTP特定通信。現在有很多免費的開源代理服務器，例如ClearOS、CacheGuard和pfSense。pfSense是基于FreeBSD，這是最容易管理的代理服務器之一，并且它內置很多高級功能，例如Squid Proxy、SSL檢查、防病毒和VPN。遠程Syslog是防火墻日志的可選項，但為了輸出代理服務器日志，還需要在代理服務器設置的自定義選項字段添加以下命令行：access_log syslog:LOG_LOCAL4，這之后會進行重新啟動。對于SSL檢查，則需要通過Web UI安裝Squid 3 Proxy軟件包，SSL檢查可提供hTTPS代理日志記錄。

Splunk

Splunk Light是集中日志記錄的起點，它還可以為安全性運行測試數據分析程序。在注冊后，它免費可供使用，并可很容易地安裝在Ubuntu服務器。考慮到主機本身是虛擬化，整個服務器不會增加任何成本。另一個選擇是Splunk企業免費版，它提供60天免費試用，允許每天索引500 MB數據，但在60天后需要付費轉為永久Splunk企業版。

在pfSense Remote Syslog的情況下，我們需要Splunk通用轉發器來收集日志以及轉發日志到Splunk索引。這個轉發器可與Splunk Light Search Head(上文所述的Web UI)相同的主機或者在單獨主機上。我們可通過Splunk Web界面來完成對這個Splunk通用轉發器的數據來源和監聽端口的配置和自定義。

Hadoop

數據挖掘和數據科學是目前的熱門話題。對于任何想要深入研究這個問題的人來說，可以選擇運行Hadoop測試服務器。通常情況下，Hadoop運行在群集配置中，但這也可以降至單節點群集，這種單臺服務器將同時包含數據節點和名稱節點。為了互換Splunk和Hadoop服務器之間的數據，可以下載和安裝Hadoop Connect。這需要安裝Splunk Enterprise Free，并由于Splunk內的應用支持要求，它將無法在Splunk Light運行。安裝手冊和視頻提供在Splunk網站。

總結

總之，安全完全是關于數據。在設置這個測試實驗室后，需要生成可用數據。這需要虛擬網絡內的一些活動，例如通過代理服務器運行家庭LAN、在網絡外圍設置蜜罐或者在網絡內運行模擬攻擊。由于使用了虛擬組件，這個測試實驗室將具有足夠的靈活性以適應所要求的情況，并將能夠生成很多類型的數據用于分析。