[[194049]]

(一)前言

時(shí)間序列數(shù)據(jù)(TIME-SERIES DATA)、 大數(shù)據(jù)(BIG DATA)。無(wú)論您稱(chēng)之什么，機(jī)器數(shù)據(jù)(machine data)都是任何組織中最容易低估的資產(chǎn)之一。 而且，不幸的是，數(shù)據(jù)通常保留一段很短的時(shí)間，然后就被丟棄，再也看不見(jiàn)。

但是，您可以從中獲得的一些最重要的見(jiàn)解，這通常隱藏在這些數(shù)據(jù)中：哪里出問(wèn)題，如何優(yōu)化客戶(hù)體驗(yàn)，以及欺詐證據(jù)。所有這些見(jiàn)解都可以在組織的正常操作所生成的機(jī)器數(shù)據(jù)中找到。

機(jī)器數(shù)據(jù)是有價(jià)值的，因?yàn)樗蛻?hù)、用戶(hù)、交易、應(yīng)用程序、服務(wù)器、網(wǎng)絡(luò)和移動(dòng)設(shè)備的所有活動(dòng)和行為的確定性記錄。它包括配置，來(lái)自API的數(shù)據(jù)、消息隊(duì)列、事件，診斷命令的輸出，來(lái)電詳細(xì)記錄和工業(yè)系統(tǒng)等的傳感器數(shù)據(jù)。

利用機(jī)器數(shù)據(jù)的挑戰(zhàn)在于它令人眼花繚亂的不可預(yù)測(cè)的格式，傳統(tǒng)的監(jiān)控和分析工具無(wú)法應(yīng)對(duì)數(shù)據(jù)的種類(lèi)、速度、容量或變化。但是，利用這些數(shù)據(jù)的組織有很大的優(yōu)勢(shì)，包括快速診斷服務(wù)問(wèn)題，檢測(cè)復(fù)雜的安全威脅，了解遠(yuǎn)程設(shè)備的運(yùn)行狀況和性能并證明合規(guī)性。

在實(shí)踐中使用機(jī)器數(shù)據(jù)

使用機(jī)器數(shù)據(jù)需要三個(gè)(看似簡(jiǎn)單的)步驟：攝取、關(guān)聯(lián)和分析。

從機(jī)器數(shù)據(jù)獲得最大價(jià)值的組織能夠區(qū)分不同的數(shù)據(jù)類(lèi)型，將它們鏈接在一起，并從結(jié)果中獲得價(jià)值。 但是最大的挑戰(zhàn)之一就是理解你應(yīng)該攝取哪些數(shù)據(jù)。

根據(jù)需求，定義use cases – 無(wú)論是安全性、IT操作、業(yè)務(wù)分析還是物聯(lián)網(wǎng) – 你可以開(kāi)始識(shí)別數(shù)據(jù)源，并開(kāi)始關(guān)聯(lián)。

本書(shū)提供了幾乎所有規(guī)模的組織中最常見(jiàn)的機(jī)器數(shù)據(jù)類(lèi)型的概述。 雖然每個(gè)組織的需求和數(shù)據(jù)來(lái)源將隨著供應(yīng)商、產(chǎn)品和基礎(chǔ)設(shè)施的不同而不同，但本書(shū)詳細(xì)介紹了應(yīng)該查找機(jī)器數(shù)據(jù)的位置及價(jià)值。

本書(shū)中列出的許多數(shù)據(jù)源可以支持多種use cases – 這是驅(qū)動(dòng)機(jī)器數(shù)據(jù)巨大價(jià)值的主要部分。 每個(gè)數(shù)據(jù)源支持的use cases可以用下面的圖標(biāo)輕松識(shí)別。

(二)數(shù)據(jù)源

可用的數(shù)據(jù)源有：用戶(hù)數(shù)據(jù)、應(yīng)用數(shù)據(jù)、中間件數(shù)據(jù)、網(wǎng)絡(luò)數(shù)據(jù)、操作系統(tǒng)數(shù)據(jù)、基礎(chǔ)設(shè)施數(shù)據(jù)、物聯(lián)網(wǎng)數(shù)據(jù)及其他數(shù)據(jù)源，本文列出了8大類(lèi)，59小類(lèi)數(shù)據(jù)。

其中每種數(shù)據(jù)前面的不同的顏色代表不同的價(jià)值，其中安全相關(guān)的是黃色的，共43小類(lèi)，也可以看出安全能用的數(shù)據(jù)真不少。

以下抽樣幾種與安全相關(guān)的數(shù)據(jù)介紹，原文見(jiàn)：https://www.splunk.com/pdfs/ebooks/the-essential-guide-to-machine-data.pdf

(三)用戶(hù)數(shù)據(jù)介紹

用戶(hù)類(lèi)兩種：認(rèn)證數(shù)據(jù)和VPN數(shù)據(jù)，以認(rèn)證數(shù)據(jù)為例：

use cases：安全與合規(guī)，IT運(yùn)營(yíng)，應(yīng)用交付

示例：AD、LDAP、身份管理，單點(diǎn)登錄

IT操作和應(yīng)用交付：驗(yàn)證數(shù)據(jù)支持IT操作團(tuán)隊(duì)，因?yàn)槟軐?duì)身份驗(yàn)證相關(guān)的問(wèn)題進(jìn)行排錯(cuò)。

安全合規(guī)性：為了安全起見(jiàn)，認(rèn)證數(shù)據(jù)提供了大量關(guān)于用戶(hù)活動(dòng)的信息，例如在給定時(shí)間窗口內(nèi)多次登錄失敗或成功，在一定時(shí)間內(nèi)來(lái)自不同位置的登錄，以及暴力破解活動(dòng)。特別：

• Active Directory域控制器日志包含有關(guān)用戶(hù)帳戶(hù)的信息，例如特權(quán)帳戶(hù)活動(dòng)，以及有關(guān)遠(yuǎn)程訪(fǎng)問(wèn)，新建帳戶(hù)創(chuàng)建和過(guò)期帳戶(hù)活動(dòng)的詳細(xì)信息。
• LDAP日志包括用戶(hù)登錄系統(tǒng)的時(shí)間和地點(diǎn)以及訪(fǎng)問(wèn)信息的記錄。
• 身份管理數(shù)據(jù)顯示用戶(hù)、組和職位的訪(fǎng)問(wèn)權(quán)限(例如CEO，主管或普通用戶(hù))。該數(shù)據(jù)可用于識(shí)別可能存在潛在的訪(fǎng)問(wèn)異常 – 例如，CEO訪(fǎng)問(wèn)低級(jí)網(wǎng)絡(luò)設(shè)備或通過(guò)CEO帳戶(hù)的進(jìn)行網(wǎng)絡(luò)管理。

(四)應(yīng)用數(shù)據(jù)介紹

應(yīng)用類(lèi)以漏洞掃描類(lèi)數(shù)據(jù)為例：

Use Cases:安全合規(guī)

示例: ncircle IP360, Nessus

找到安全漏洞的有效方法是從攻擊者的角度來(lái)檢查基礎(chǔ)設(shè)施。漏洞掃描探測(cè)組織的網(wǎng)絡(luò)，以獲得為外部攻擊者提供入口點(diǎn)的已知軟件缺陷。這些掃描產(chǎn)生關(guān)于開(kāi)放端口和IP地址的數(shù)據(jù)，攻擊者可以利用這些數(shù)據(jù)來(lái)獲取進(jìn)入特定系統(tǒng)或整個(gè)網(wǎng)絡(luò)。

默認(rèn)情況下，系統(tǒng)通常會(huì)保持網(wǎng)絡(luò)服務(wù)運(yùn)行。這些運(yùn)行的、不受監(jiān)控的服務(wù)是外部攻擊的常見(jiàn)方式，因?yàn)樗鼈兛赡軟](méi)有更新補(bǔ)丁。大規(guī)模漏洞掃描可以揭示的安全漏洞。

安全與合規(guī)性：漏洞掃描產(chǎn)生有關(guān)惡意代理程序可以使用的開(kāi)放端口和IP地址的數(shù)據(jù)，以獲取進(jìn)入特定系統(tǒng)或網(wǎng)絡(luò)。數(shù)據(jù)可用于識(shí)別：

• 系統(tǒng)配置錯(cuò)誤導(dǎo)致安全漏洞
• 過(guò)時(shí)的補(bǔ)丁
• 不必要的網(wǎng)絡(luò)服務(wù)端口
• 配置不當(dāng)?shù)奈募到y(tǒng)，用戶(hù)或應(yīng)用程序
• 系統(tǒng)配置變更
• 各種用戶(hù)，應(yīng)用或文件系統(tǒng)權(quán)限的變更

(五)中間件數(shù)據(jù)介紹

Middleware Data以web服務(wù)器數(shù)據(jù)為例：

Use Cases: IT Operations, Application Delivery, Security & Compliance,

Business Analytics

Examples: Java J2EE, Apache, Application Usage Logs, IIS logs, nginx

Web服務(wù)器是每個(gè)web網(wǎng)站后端應(yīng)用，傳遞瀏覽器客戶(hù)端所看到的所有內(nèi)容。 Web服務(wù)器訪(fǎng)問(wèn)靜態(tài)HTML頁(yè)面，并以各種語(yǔ)言運(yùn)行應(yīng)用程序腳本，生成動(dòng)態(tài)內(nèi)容，并調(diào)用其他應(yīng)用程序(如中間件)。

安全合規(guī)性：Web日志記錄錯(cuò)誤條件，例如訪(fǎng)問(wèn)沒(méi)有適當(dāng)權(quán)限的文件的請(qǐng)求，并且還跟蹤標(biāo)記為安全攻擊(例如未經(jīng)授權(quán)進(jìn)入或DDoS)的用戶(hù)活動(dòng)。 它還可以幫助識(shí)別SQL注入，并支持關(guān)聯(lián)欺詐交易。

• 由于Java app經(jīng)常訪(fǎng)問(wèn)網(wǎng)絡(luò)服務(wù)和敏感數(shù)據(jù)庫(kù)，安全團(tuán)隊(duì)可以使用日志數(shù)據(jù)來(lái)檢查J2EE應(yīng)用程序的完整性，識(shí)別可疑應(yīng)用程序行為和應(yīng)用程序漏洞。
• Apache Web日志可告警安全攻擊，如嘗試未經(jīng)授權(quán)的進(jìn)入，XSS，緩沖區(qū)溢出或DDoS。
• 與Web日志一樣，Application Usage Logs可以告警未經(jīng)授權(quán)的訪(fǎng)問(wèn)，例如某人比平時(shí)消耗更多資源，或在奇怪的時(shí)間使用應(yīng)用。

(六)網(wǎng)絡(luò)數(shù)據(jù)介紹

以DNS數(shù)據(jù)為例：

Use Cases: IT Operations, Security & Compliance

Examples: BIND, PowerDNS, Unbound, Dnsmasq, Erl-DNS

安全合規(guī)性：安全團(tuán)隊(duì)可以使用DNS日志來(lái)調(diào)查客戶(hù)端地址請(qǐng)求，例如將查找表與活動(dòng)相關(guān)聯(lián)，調(diào)查：請(qǐng)求是否針對(duì)不適當(dāng)、其他可疑網(wǎng)站以及站點(diǎn)或域的相對(duì)受歡迎程度。 由于DNS服務(wù)器是DDoS攻擊的重點(diǎn)目標(biāo)，日志可以顯示來(lái)自外部源的異常高數(shù)量的請(qǐng)求。 同樣，由于受攻擊的DNS服務(wù)器本身通常用于對(duì)其他站點(diǎn)發(fā)起DDoS攻擊，因此DNS日志可以顯示組織的服務(wù)器是否已被攻擊。 DNS數(shù)據(jù)還可以提供對(duì)未知域名，惡意域名和臨時(shí)域名的檢測(cè)。

(七)操作系統(tǒng)數(shù)據(jù)

Use Cases: IT Operations, Application Delivery, Security & Compliance

Examples: Unix, Windows, Mac OS

安全與合規(guī)：系統(tǒng)日志包括各種安全信息，如嘗試登錄、文件訪(fǎng)問(wèn)和系統(tǒng)防火墻行為。 這些條目可以對(duì)網(wǎng)絡(luò)攻擊，安全漏洞或受到攻擊的軟件做出告警。 它們也是安全事件取證分析中寶貴的資料來(lái)源。 例如，數(shù)據(jù)可用于識(shí)別用戶(hù)或特權(quán)用戶(hù)執(zhí)行的系統(tǒng)配置和命令的變更。

(八)虛擬化基礎(chǔ)設(shè)施數(shù)據(jù)

Use Cases:IT Operations, Security & Compliance

Examples:CloudTrail, CloudWatch, Config, S3

AWS是最多和最廣泛使用的公共云基礎(chǔ)設(shè)施，通過(guò)基于消費(fèi)的定價(jià)提供按需計(jì)算，存儲(chǔ)，數(shù)據(jù)庫(kù)，大數(shù)據(jù)和應(yīng)用服務(wù)。 AWS可用于替代傳統(tǒng)企業(yè)虛擬服務(wù)器基礎(chǔ)架構(gòu)。 AWS包括一系列服務(wù)管理，自動(dòng)化，安全，網(wǎng)絡(luò)和監(jiān)控服務(wù)。

安全合規(guī)性：來(lái)自AWS服務(wù)的安全數(shù)據(jù)包括登錄登出事件和嘗試，來(lái)自網(wǎng)絡(luò)和Web應(yīng)用程序防火墻的API調(diào)用和日志。 

(九)物聯(lián)網(wǎng)數(shù)據(jù)

Use Cases: IT Operations, Security, Business Analytics, Internet of Things

Examples:Binary and numeric values including switch state, temperature, pressure, frequency, flow, from MQTT, AMQP and CoAP brokers,

HTTP event collector

安全與合規(guī)性：傳感器數(shù)據(jù)可以幫助保護(hù)關(guān)鍵任務(wù)資產(chǎn)和工業(yè)系統(tǒng)免受網(wǎng)絡(luò)安全威脅，提供對(duì)系統(tǒng)性能的可視化或設(shè)置點(diǎn)，避免機(jī)器或人員處于危險(xiǎn)之中。 數(shù)據(jù)也可用于滿(mǎn)足合規(guī)報(bào)告要求。