接下來(lái)的幾年里，DevOps(開(kāi)發(fā)軟件工程、技術(shù)運(yùn)營(yíng)和質(zhì)量保障三者的交集)團(tuán)隊(duì)和IT運(yùn)維部門將面臨新的挑戰(zhàn)，不過(guò)這樣的說(shuō)法聽(tīng)起來(lái)不免有些多余，因?yàn)樗麄儽旧碜钪饕呢?zé)任就是要解決困難以及克服挑戰(zhàn)。

隨著進(jìn)程、技術(shù)和工具的顯著變化，應(yīng)對(duì)這些問(wèn)題已經(jīng)變的越來(lái)越困難了。此外，企業(yè)用戶一直在向DevOps和IT運(yùn)維團(tuán)隊(duì)施加壓力，要求所有的東西都能通過(guò)點(diǎn)擊應(yīng)用程序來(lái)得以解決。然而，在后臺(tái)，處理這些問(wèn)題完全是另一番景象，用戶無(wú)法體會(huì)發(fā)現(xiàn)一個(gè)問(wèn)題是多么的困難，更何況要解決它。

當(dāng)前IT運(yùn)維和DevOps團(tuán)隊(duì)面臨的最大的挑戰(zhàn)之一是能夠準(zhǔn)確指出在他們工作環(huán)境中的大數(shù)據(jù)流中記錄的雖然微小但潛在的有害問(wèn)題。換言之，這就像在草叢里尋找一根針。

如果你在一家7天24小時(shí)都在線的公司的IT部門工作，下面的場(chǎng)景聽(tīng)起來(lái)或許很熟悉：你在半夜突然接到了一個(gè)電話，或許是某個(gè)怒氣沖沖的消費(fèi)者，也或許是由于應(yīng)用程序崩潰信用卡交易失敗而打過(guò)來(lái)的你的老板，這時(shí)候你會(huì)立即去打開(kāi)你的筆記本電腦、打開(kāi)日志管理系統(tǒng)，然后你會(huì)看到在設(shè)定的時(shí)間范圍內(nèi)，有10萬(wàn)條消息已經(jīng)被記錄下來(lái)了——一個(gè)人是不可能將這些數(shù)據(jù)逐條檢查完的。

因此，遇到這樣的情形你會(huì)怎樣做呢?

它是一個(gè)每一位IT運(yùn)維專家都會(huì)面臨的故事，他們度過(guò)了許多個(gè)不眠之夜，他們?cè)谌罩緱l目的海洋中航行，尋找著觸發(fā)突發(fā)事件的關(guān)鍵點(diǎn)。這就是實(shí)時(shí)、集中的日志分析發(fā)揮用武之地的地方。它能幫助這些人弄清楚日志數(shù)據(jù)的基本面，并準(zhǔn)確識(shí)別主要問(wèn)題。通過(guò)它，故障診斷的過(guò)程變的就像在公園里散步一樣簡(jiǎn)單、有效，同時(shí)專家還能夠據(jù)此預(yù)測(cè)未來(lái)的問(wèn)題。

人工智能及其對(duì)IT運(yùn)維和DevOps的影響

十幾年前，人工智能還只是個(gè)炒作的概念，但現(xiàn)在已經(jīng)被出于各種各樣的目的的人廣泛應(yīng)用于各行各業(yè)了。結(jié)合大數(shù)據(jù)、人工智能和垂直領(lǐng)域知識(shí)，技術(shù)專家和科學(xué)家已經(jīng)能夠創(chuàng)造出驚人的突破和機(jī)會(huì)，這些以前可只能在科幻小說(shuō)和電影中看到。

隨著IT運(yùn)維變得靈活、動(dòng)態(tài)和復(fù)雜，人類的大腦已經(jīng)不再能夠跟上大數(shù)據(jù)流的速度、體積和多樣性，這就使得人工智能成為優(yōu)化分析和決策過(guò)程中強(qiáng)大而重要的工具。人工智能有助于填補(bǔ)人類和大數(shù)據(jù)之間的空白，提供給人類必要的操作智能和速度，大大減輕了人類故障排除和實(shí)時(shí)決策的負(fù)擔(dān)。

AI能幫什么忙?

在上述所有的情況中，有一件事情是共同的，正如討論一開(kāi)始所說(shuō)，這些公司需要一個(gè)解決方案，能夠幫助IT運(yùn)維和DevOps團(tuán)隊(duì)快速的從堆積如山的日志數(shù)據(jù)條目中找到問(wèn)題所在。要識(shí)別那條在你工作環(huán)境中增添麻煩的并使應(yīng)用程序崩潰的日志條目，如果你只是單純知道你的日志數(shù)據(jù)出現(xiàn)了哪種類型的錯(cuò)誤，是不是太簡(jiǎn)單了些?當(dāng)然它也會(huì)減少一些的工作量。

一個(gè)解決方案是建立一個(gè)平臺(tái)，通過(guò)該平臺(tái)能從互聯(lián)網(wǎng)上收集各種相關(guān)數(shù)據(jù)、觀察人們?nèi)绾卫妙愃频难b置來(lái)解決在他們的系統(tǒng)中出現(xiàn)的問(wèn)題、以及通過(guò)掃描你的系統(tǒng)來(lái)識(shí)別潛在的問(wèn)題。實(shí)現(xiàn)這一目標(biāo)的一種方法是建立一個(gè)模擬用戶如何調(diào)查、監(jiān)視和解決事件并且允許它低估人類與數(shù)據(jù)交互的方式而不是分析數(shù)據(jù)本身的系統(tǒng)。例如，這項(xiàng)技術(shù)可以類似于亞馬遜的產(chǎn)品推薦系統(tǒng)和Google的PageRank算法，但這個(gè)是專注于日志數(shù)據(jù)的。

引入認(rèn)知洞察力

最新的一項(xiàng)技術(shù)實(shí)現(xiàn)了本文設(shè)想的解決方案，這項(xiàng)最近引起了很大反響的技術(shù)叫做認(rèn)知洞察力。這種使用機(jī)器學(xué)習(xí)算法的開(kāi)創(chuàng)性技術(shù)能讓領(lǐng)域知識(shí)與日志數(shù)據(jù)、開(kāi)源存儲(chǔ)庫(kù)、討論論壇和社會(huì)線程相匹配。結(jié)合所有的這些信息，IT運(yùn)維和DevOps團(tuán)隊(duì)可能從數(shù)據(jù)中獲取相關(guān)洞見(jiàn)，這其中可能包含著關(guān)鍵問(wèn)題的解決方案。

關(guān)鍵問(wèn)題的解決方案的概述

實(shí)時(shí)的障礙

DevOps工程師、IT運(yùn)營(yíng)經(jīng)理、首席技術(shù)官、副總工程師和首席信息安全官都面臨許多挑戰(zhàn)，但是通過(guò)將人工智能集成到日志分析和相關(guān)運(yùn)維過(guò)程中，可以有效地減輕這些挑戰(zhàn)帶來(lái)的壓力。我們來(lái)舉兩個(gè)最主要的用例：

安全

分布式拒絕服務(wù)(DDoS)攻擊正變得越來(lái)越普遍，過(guò)去的目標(biāo)只局限于政府、知名網(wǎng)站和跨國(guó)組織機(jī)構(gòu)，現(xiàn)在卻普遍開(kāi)始針對(duì)知名人士、中小企業(yè)和中型企業(yè)了。

為了避免這樣的攻擊，有一個(gè)集中的架構(gòu)來(lái)識(shí)別可疑的活動(dòng)并精確識(shí)別來(lái)自數(shù)千個(gè)數(shù)據(jù)條目的潛在威脅是非常必要的。因此，通過(guò)認(rèn)知洞察力來(lái)抵抗DDoS進(jìn)攻已經(jīng)被證明是非常有效的。在過(guò)去，像Dyn和英航這樣的領(lǐng)先公司持續(xù)受到DDoS的攻擊，不過(guò)現(xiàn)在，已經(jīng)有了一個(gè)成熟的、基于ELK的反DDoS攻擊策略，以阻止黑客的行動(dòng)擊，并且能夠確保他們的操作安全以免受未來(lái)的攻擊。

認(rèn)知洞察力從成千上萬(wàn)個(gè)數(shù)據(jù)條目中識(shí)別到了潛在威脅

IT運(yùn)維

在你所有日志的每個(gè)條目都經(jīng)過(guò)仔細(xì)的檢查及登記之后，把他們編譯到一個(gè)單獨(dú)的地方豈不是很棒?嗯，的確如此。您將能夠清楚地查看流程表，并對(duì)來(lái)自同一個(gè)地方的不同應(yīng)用程序的日志數(shù)據(jù)進(jìn)行查詢，這將極大地提高您的IT操作效率。

要解決IT運(yùn)維和DevOps團(tuán)隊(duì)面對(duì)的挑戰(zhàn)，就是能夠在大量的日志數(shù)據(jù)流中識(shí)別潛在的小的有害問(wèn)題，這正是認(rèn)知洞察力所做的事情。由于這個(gè)程序的核心是基于ELK的堆棧，所以它可以對(duì)數(shù)據(jù)進(jìn)行分類和簡(jiǎn)化，并且可以很容易地對(duì)你的IT運(yùn)維進(jìn)行清晰的描述。

快速找到IT工作中的“針”，并消除主要問(wèn)題

集成好的人工智能可以帶來(lái)收益

使用AI驅(qū)動(dòng)的日志分析系統(tǒng)使得在雜草中找針變得非常容易而且高效。這樣的系統(tǒng)將對(duì)整個(gè)組織的管理和運(yùn)營(yíng)產(chǎn)生巨大的影響。就像上面討論的公司的問(wèn)題一樣，將AI與日志管理系統(tǒng)集成在一起將會(huì)在以下幾個(gè)方面受益：

提高客戶的成功率

監(jiān)控和客戶支持

降低風(fēng)險(xiǎn)和優(yōu)化資源

使日志數(shù)據(jù)可訪問(wèn)效率最大化

換句話說(shuō)，認(rèn)知洞察力和其他類似的系統(tǒng)在數(shù)據(jù)日志管理和故障排除方面有很大的幫助。Rent-A-Center (RAC)是一家總部位于德克薩斯州的財(cái)富1000強(qiáng)公司，它提供了各種各樣的租賃產(chǎn)品和服務(wù)。它在墨西哥、波多黎各、加拿大和美國(guó)有超過(guò)3000家商店和2000個(gè)售貨亭，該公司嘗試集成兩種不同的ELK堆棧，但每天處理100GB數(shù)據(jù)過(guò)于麻煩，更不用提每天花在磁盤(pán)管理、內(nèi)存調(diào)用、額外數(shù)據(jù)輸入功能和其他技術(shù)問(wèn)題上的高昂成本和時(shí)間成本了。之后RAC轉(zhuǎn)向使用認(rèn)知洞察，因此他們能夠檢測(cè)未來(lái)的異常，并使其能夠很容易地?cái)U(kuò)展不斷增長(zhǎng)的數(shù)據(jù)量。他們是從這個(gè)管理著內(nèi)外部ELK堆棧的專注的IT團(tuán)隊(duì)中受益的一方。

開(kāi)放源碼在數(shù)據(jù)日志管理中的角色

許多著名的供應(yīng)商都在積極地研究和測(cè)試人工智能，以提高日志數(shù)據(jù)管理系統(tǒng)的效率。一些供應(yīng)商如下：

毫無(wú)疑問(wèn)，ELK正迅速成為一種趨勢(shì)，越來(lái)越多的供應(yīng)商在提供日志解決方案。這是因?yàn)樗呀?jīng)成為企業(yè)避免花費(fèi)前期巨額成本而安裝必要程序的好方法了。它還具備一些基本的繪圖和搜索功能，并且為了讓組織認(rèn)識(shí)到他們?nèi)罩緮?shù)據(jù)中存在的問(wèn)題，他們會(huì)選擇諸如認(rèn)知洞察力這種最新的技術(shù)，來(lái)快速找到“針”并消除主要問(wèn)題。