科學(xué)家正利用一種稱為深度強(qiáng)化學(xué)習(xí)（DRL：Deep Reinforcement Learning）的人工智能技術(shù)來保護(hù)計(jì)算機(jī)網(wǎng)絡(luò)，并邁出了關(guān)鍵一步。

當(dāng)在嚴(yán)格的模擬環(huán)境中面對(duì)復(fù)雜的網(wǎng)絡(luò)攻擊時(shí)，深度強(qiáng)化學(xué)習(xí)在95%的時(shí)間內(nèi)有效阻止對(duì)手達(dá)到目標(biāo)。測(cè)試結(jié)果為自主人工智能在主動(dòng)網(wǎng)絡(luò)防御中發(fā)揮作用提供了希望。

美國(guó)能源部太平洋西北國(guó)家實(shí)驗(yàn)室（PNNL）的科學(xué)家在一份研究論文中記錄了他們的發(fā)現(xiàn)，并于2月14日在華盛頓特區(qū)人工智能促進(jìn)協(xié)會(huì)年會(huì)期間，在網(wǎng)絡(luò)安全人工智能研討會(huì)上介紹了他們的工作。

項(xiàng)目起點(diǎn)是開發(fā)一個(gè)模擬環(huán)境，以測(cè)試涉及不同類型對(duì)手的多階段攻擊場(chǎng)景。為實(shí)驗(yàn)創(chuàng)建這樣一個(gè)動(dòng)態(tài)攻防模擬環(huán)境本身就是一個(gè)成果。該環(huán)境為研究人員提供了一種在受控測(cè)試環(huán)境下比較不同基于AI防御有效性的方法。

這些工具對(duì)于評(píng)估深度強(qiáng)化學(xué)習(xí)算法的性能至關(guān)重要。這種方法正在成為網(wǎng)絡(luò)安全專家的強(qiáng)大決策支持工具，DRL是一個(gè)具有學(xué)習(xí)能力、適應(yīng)快速變化的環(huán)境和自主決策能力的防御模式。以往其他形式的人工智能是檢測(cè)入侵或過濾垃圾郵件的標(biāo)準(zhǔn)，但深度強(qiáng)化學(xué)習(xí)擴(kuò)展了防御者在與對(duì)手的日常對(duì)峙中協(xié)調(diào)順序決策計(jì)劃的能力。

深度強(qiáng)化學(xué)習(xí)提供了更智能的網(wǎng)絡(luò)安全、更早發(fā)現(xiàn)網(wǎng)絡(luò)環(huán)境變化的能力，以及采取先發(fā)制人措施挫敗網(wǎng)絡(luò)攻擊的機(jī)會(huì)。

介紹該團(tuán)隊(duì)工作的數(shù)據(jù)科學(xué)家Samrat Chatterjee表示：“一個(gè)有效的網(wǎng)絡(luò)安全人工智能代理需要根據(jù)它所能收集的信息以及它所做出的決策結(jié)果來感知、分析、行動(dòng)和適應(yīng)。”“深度強(qiáng)化學(xué)習(xí)在這個(gè)領(lǐng)域具有巨大的潛力，因?yàn)橄到y(tǒng)狀態(tài)和可選擇行動(dòng)的數(shù)量可能很大。”

DRL結(jié)合了強(qiáng)化學(xué)習(xí)（RL）和深度學(xué)習(xí)（DL），尤其適用于需要在復(fù)雜環(huán)境中做出一系列決策的情況。就像剛開始走路的孩子從磕磕碰碰和擦傷中學(xué)習(xí)一樣，基于深度強(qiáng)化學(xué)習(xí)（DRL）的算法是通過對(duì)好決策的獎(jiǎng)勵(lì)和對(duì)壞決策的懲罰來訓(xùn)練的：導(dǎo)致理想結(jié)果的良好決策得到積極獎(jiǎng)勵(lì)（以數(shù)值表示）的支持；通過扣除獎(jiǎng)勵(lì)來阻止導(dǎo)致不良結(jié)果的不良選擇。

該團(tuán)隊(duì)使用開源軟件工具包OpenAI Gym作為基礎(chǔ)，創(chuàng)建了一個(gè)自定義的受控模擬環(huán)境，以評(píng)估四種深度強(qiáng)化學(xué)習(xí)算法的優(yōu)缺點(diǎn)。

同時(shí)使用了MITRE公司開發(fā)的MITRE ATT&CK框架，并結(jié)合了三個(gè)不同對(duì)手部署的7種戰(zhàn)術(shù)和15種技術(shù)。防御者配備了23個(gè)緩解措施，試圖阻止或阻擋攻擊的進(jìn)展。

攻擊的階段包括偵察、執(zhí)行、持久性、防御規(guī)避、指揮和控制、收集和過濾（當(dāng)數(shù)據(jù)從系統(tǒng)中傳輸出去時(shí)）等戰(zhàn)術(shù)。如果對(duì)手成功進(jìn)入最后的過濾階段，則攻擊被記錄為獲勝。

Chatterjee表示：“我們的算法在競(jìng)爭(zhēng)環(huán)境中運(yùn)行，這是一場(chǎng)與意圖破壞系統(tǒng)的對(duì)手的競(jìng)爭(zhēng)。是一種多階段攻擊，在這種攻擊中，對(duì)手可以追求多種攻擊路徑，這些路徑可能會(huì)隨著時(shí)間的推移而改變，因?yàn)樗麄冊(cè)噲D從偵察轉(zhuǎn)向利用。我們的挑戰(zhàn)是展示基于深度強(qiáng)化學(xué)習(xí)的防御如何阻止這種攻擊。”

DQN優(yōu)于其他方法

該團(tuán)隊(duì)基于四種深度強(qiáng)化學(xué)習(xí)算法：DQN（深度Q-Network）和其他三種變體來訓(xùn)練防御性代理，接受了有關(guān)網(wǎng)絡(luò)攻擊的模擬數(shù)據(jù)訓(xùn)練，然后測(cè)試了他們?cè)谟?xùn)練中沒有觀察到的攻擊。

DQN表現(xiàn)最好：

低等復(fù)雜的攻擊：DQN在攻擊階段中途阻止了79%的攻擊，在最后階段阻止停止了93%的攻擊。

中等復(fù)雜的攻擊：DQN在中途阻止了82%的攻擊，在最后階段阻止了95%的攻擊。

最復(fù)雜的攻擊：DQN在中途阻止了57%的攻擊，在最后階段阻止了84%的攻擊，遠(yuǎn)遠(yuǎn)高于其他三種算法。

Chatterjee說：“我們的目標(biāo)是創(chuàng)建一個(gè)自主的防御代理，它可以了解對(duì)手最有可能的下一步行動(dòng)，并對(duì)其進(jìn)行規(guī)劃，然后以最佳方式做出反應(yīng)，以保護(hù)系統(tǒng)。”

盡管取得了進(jìn)展，但沒有人愿意將網(wǎng)絡(luò)防御完全交給人工智能系統(tǒng)。相反，基于DRL的網(wǎng)絡(luò)安全系統(tǒng)需要與人類協(xié)同工作，前PNNL的合著者Arnab Bhattacharya說。“人工智能可以很好地防御特定的戰(zhàn)略，但不能很好地理解對(duì)手可能采取的所有方法。我們離人工智能取代人類網(wǎng)絡(luò)分析師的階段還很遠(yuǎn)。人類的反饋和指導(dǎo)很重要。”

除了Chatterjee和Bhattacharya，研討會(huì)論文的作者還包括PNNL的Mahantesh Halappanavar和前PNNL科學(xué)家Ashutosh Dutta。這項(xiàng)工作由能源部科學(xué)辦公室資助，推動(dòng)這項(xiàng)具體研究的一些早期工作是由PNNL的“科學(xué)中的人工推理數(shù)學(xué)”計(jì)劃通過實(shí)驗(yàn)室指導(dǎo)研究與開發(fā)計(jì)劃資助的。