流量監(jiān)控和分析解決方案的虛擬化仍然缺乏我們?cè)谶^(guò)去十年中在IT行業(yè)的許多其他領(lǐng)域觀察到的虛擬化方法。收集日志、事件和告警的管理應(yīng)用程序已經(jīng)設(shè)計(jì)成軟件并進(jìn)行了虛擬化，但是分析網(wǎng)絡(luò)流量并創(chuàng)建這些信息的繁重工作仍然基于繁重的方法:使用昂貴、復(fù)雜且不靈活的專有應(yīng)用程序?qū)崟r(shí)處理流量。即使以硬件為中心的網(wǎng)絡(luò)部門也在虛擬化交換機(jī)和路由器，但許多網(wǎng)絡(luò)分析解決方案仍然使用專有硬件。

然而，下一代網(wǎng)絡(luò)可見(jiàn)性平臺(tái)現(xiàn)在支持流量分析應(yīng)用程序的虛擬化，從而迎來(lái)了用于網(wǎng)絡(luò)、應(yīng)用程序和安全操作的軟件定義分析應(yīng)用程序的時(shí)代。這允許更靈活的分析，更好的理解，以及最重要的是更經(jīng)濟(jì)和可擴(kuò)展的方法，這是安全行業(yè)真正需要的。

HeavyIron用于網(wǎng)絡(luò)流量分析

如今，監(jiān)控網(wǎng)絡(luò)流量主要是硬件密集型的，很難跨企業(yè)的許多交付平臺(tái)和位置進(jìn)行擴(kuò)展。但是，監(jiān)控流量對(duì)于評(píng)估網(wǎng)絡(luò)和應(yīng)用程序性能，特別是檢測(cè)安全威脅至關(guān)重要。由于不同的分析目標(biāo)，許多解決方案分析相同的流量，每個(gè)解決方案都在自己的專有硬件上，導(dǎo)致重復(fù)的流量，甚至產(chǎn)生更多的硬件來(lái)處理和存儲(chǔ)不斷增長(zhǎng)的流量。

長(zhǎng)期以來(lái)，一直存在一個(gè)問(wèn)題，即網(wǎng)絡(luò)和安全操作如何構(gòu)建一個(gè)可伸縮的、具有成本效益的系統(tǒng)來(lái)解密和分析不斷擴(kuò)大的網(wǎng)絡(luò)流量。幾十年來(lái)，服務(wù)器和存儲(chǔ)基礎(chǔ)設(shè)施已經(jīng)成功且高效地虛擬化了計(jì)算和存儲(chǔ)組件。甚至在過(guò)去幾年的網(wǎng)絡(luò)中，交換機(jī)、路由器和防火墻都已經(jīng)虛擬化了。虛擬化在流量監(jiān)控和分析中的應(yīng)用仍然是一項(xiàng)新興技術(shù)。網(wǎng)絡(luò)和應(yīng)用程序管理系統(tǒng)、SIEMs和soar是虛擬化的，因?yàn)榱髁渴强晒芾淼模瑫r(shí)間不太敏感——但當(dāng)需要處理太多數(shù)據(jù)時(shí)，即使是這些系統(tǒng)也可能會(huì)遇到困難。在大多數(shù)情況下都需要專用硬件，特別是當(dāng)網(wǎng)絡(luò)流量超過(guò)10gbps時(shí)。

當(dāng)這個(gè)模型被復(fù)制到許多需要實(shí)時(shí)流量分析的應(yīng)用程序中時(shí)，就會(huì)產(chǎn)生許多“煙囪式”解決方案。這些解決方案使用專門的NIC卡捕獲和分析相同的流量，擁有在fpga上或跨多個(gè)處理器同時(shí)運(yùn)行的定制分析引擎，能夠?qū)崟r(shí)跟蹤傳入流量的分析，然后存儲(chǔ)結(jié)果并丟棄底層流量。

這些技術(shù)的成本和規(guī)模限制了IT部門對(duì)網(wǎng)絡(luò)運(yùn)營(yíng)的洞察力，不僅限制了可以分析的通信量，而且只保留了任何事件或觀察的概要細(xì)節(jié)。另一個(gè)限制是丟棄對(duì)以后的根本原因分析非常有價(jià)值的底層數(shù)據(jù)。因此，部署通常集中在關(guān)鍵的聚合站點(diǎn)，如網(wǎng)絡(luò)入口-出口點(diǎn)(南北)，但它可能在其他地方(如內(nèi)部核心網(wǎng)絡(luò)或高價(jià)值內(nèi)容)有益或需要。對(duì)于那些經(jīng)常依賴于網(wǎng)絡(luò)或端點(diǎn)設(shè)備生成的事件和流數(shù)據(jù)的IT組織來(lái)說(shuō)，這將創(chuàng)建進(jìn)一步抽象的元數(shù)據(jù)，以更少的洞察貢獻(xiàn)更多的數(shù)據(jù)。

可擴(kuò)展性和經(jīng)濟(jì)可行性

網(wǎng)絡(luò)數(shù)據(jù)包代理是解決這個(gè)問(wèn)題的初始步驟。IT部門很久以前就發(fā)現(xiàn)，為每個(gè)應(yīng)用程序單獨(dú)使用網(wǎng)絡(luò)線路是低效的，并且會(huì)產(chǎn)生額外的故障點(diǎn)。這促使了包代理的引入，它聚合來(lái)自網(wǎng)絡(luò)中多個(gè)點(diǎn)的流量，過(guò)濾掉不需要的流量，戳戳數(shù)據(jù)包，為每個(gè)工具復(fù)制和負(fù)載平衡流量，并解密通信。盡管包代理接管了某些網(wǎng)絡(luò)流量分析，如NetFlow流量分析，但大部分分析負(fù)載仍然依賴于分析應(yīng)用程序和它們自己的硬件。

此外，過(guò)濾掉可能不重要的流量而不分析它(例如，來(lái)自應(yīng)用程序性能監(jiān)視的YouTube流)對(duì)于某些應(yīng)用程序是有效的。然而，特別是在安全方面，現(xiàn)在所有的流量都是開(kāi)放的。因此，限制可見(jiàn)性將流量排除在分析之外，并增加錯(cuò)過(guò)導(dǎo)致大規(guī)模利用的一次攻擊的風(fēng)險(xiǎn)。然而，這種方法的主要挑戰(zhàn)是，NVF仍然通過(guò)流量激增和峰值，并且流量以很高的速率再現(xiàn)，這要求分析應(yīng)用程序依靠大量的處理來(lái)正確地評(píng)估峰值速率下的數(shù)據(jù)。

翻轉(zhuǎn)網(wǎng)絡(luò)分析

我們現(xiàn)在需要考慮虛擬化網(wǎng)絡(luò)流量分析，以利用虛擬化環(huán)境的可伸縮性。本質(zhì)上，我們需要重新思考流量分析架構(gòu)。

網(wǎng)絡(luò)流量可見(jiàn)性平臺(tái)包括應(yīng)用程序需要檢查的所有信息，同時(shí)允許可靠的流量分配和消耗。如果需要進(jìn)一步處理，則可能啟動(dòng)分析引擎的一個(gè)新的虛擬實(shí)例

現(xiàn)在，每個(gè)流量分析應(yīng)用程序都捕獲流量，進(jìn)行實(shí)時(shí)分析，并存儲(chǔ)元數(shù)據(jù)發(fā)現(xiàn)。展望未來(lái)，我們需要重新考慮這種方法，進(jìn)一步集中分析中的流量捕獲和存儲(chǔ)，允許監(jiān)視應(yīng)用程序進(jìn)行近乎實(shí)時(shí)的分析。這種新策略將進(jìn)一步的通信量捕獲、解密和存儲(chǔ)功能集中在一個(gè)平臺(tái)上，并允許利用軟件api分配通信量。現(xiàn)有的NVF技術(shù)只集中了流量聚合。通過(guò)存儲(chǔ)數(shù)據(jù)，這實(shí)際上擴(kuò)展了NVF的能力來(lái)控制時(shí)間，將包代理和包捕獲解決方案的優(yōu)點(diǎn)結(jié)合到一個(gè)單一的、統(tǒng)一的平臺(tái)中。

這創(chuàng)建了一個(gè)網(wǎng)絡(luò)流量可見(jiàn)性平臺(tái)，其中包括應(yīng)用程序需要檢查的所有信息，同時(shí)允許可靠的流量分配和消耗。如果需要進(jìn)一步處理，則可以在可靠地捕獲流量并在幾乎實(shí)時(shí)或?qū)崟r(shí)的情況下隨時(shí)可用時(shí)啟動(dòng)分析引擎的一個(gè)新的虛擬實(shí)例，無(wú)論何時(shí)啟動(dòng)資源，都不會(huì)丟失一個(gè)包。

這大大改變了方法。分析應(yīng)用程序現(xiàn)在可以實(shí)時(shí)甚至接近實(shí)時(shí)地運(yùn)行，而不是失去流量，而不是大型分析和計(jì)算基礎(chǔ)設(shè)施在無(wú)法跟上流量時(shí)失去對(duì)信息的訪問(wèn)。額外的優(yōu)點(diǎn)是，任何事件周圍的實(shí)際網(wǎng)絡(luò)流量都可以用于詳細(xì)的取證分析，從而更深入地了解事件前后的活動(dòng)。這種回溯分析與網(wǎng)絡(luò)安全尤其相關(guān)，因?yàn)樾碌墓舴椒赡芤呀?jīng)存在，但未被發(fā)現(xiàn)。

這種進(jìn)一步集中流量收集的方法能夠以極高的速率存儲(chǔ)和分發(fā)，允許在較便宜的服務(wù)器上虛擬化資源密集型的流量分析和操作，從而消除昂貴的專有硬件。網(wǎng)絡(luò)可見(jiàn)平臺(tái)吸收了流量峰值和增長(zhǎng)，因此針對(duì)平均流量消耗的設(shè)計(jì)成為常態(tài)，延長(zhǎng)了當(dāng)前監(jiān)控和分析設(shè)備的壽命，并推遲了必要的改進(jìn)。隨時(shí)數(shù)據(jù)訪問(wèn)提供了對(duì)任何事件(事件前和事件后)的快速數(shù)據(jù)包訪問(wèn)，提供了識(shí)別威脅或問(wèn)題嚴(yán)重性、影響和緩解措施的上下文。虛擬化分析允許軟件定義的流量監(jiān)控和分析，在降低總擁有成本的同時(shí)，創(chuàng)建更好的可視性和洞察力。