從風(fēng)險的角度來看，生成式人工智能聊天機(jī)器人和大型語言模型可能是一把雙刃劍，但如果使用得當(dāng)，它們也可以在關(guān)鍵方面改善網(wǎng)絡(luò)安全。

　　OpenAI公司開發(fā)的ChatGPT的迅速崛起是今年最大的新聞之一，生成式AI聊天機(jī)器人和大型語言模型對網(wǎng)絡(luò)安全的潛在影響是討論的關(guān)鍵領(lǐng)域。關(guān)于這些新技術(shù)可能帶來的安全風(fēng)險有很多討論，從擔(dān)心與高級自學(xué)習(xí)算法共享敏感業(yè)務(wù)信息到惡意行為者使用它們來顯著增強(qiáng)攻擊。

　　一些國家、各州和企業(yè)以數(shù)據(jù)安全、保護(hù)和隱私為由，下令禁止使用ChatGPT等生成式人工智能技術(shù)。顯然，生成式人工智能聊天機(jī)器人和大型大型語言模型帶來的安全風(fēng)險是相當(dāng)大的。然而，生成式人工智能聊天機(jī)器人可以通過多種方式增強(qiáng)企業(yè)的網(wǎng)絡(luò)安全，為安全團(tuán)隊打擊網(wǎng)絡(luò)犯罪活動提供急需的助力。

　　以下是生成式人工智能聊天機(jī)器人和大型語言模型提高安全性的6種方法。

　　漏洞掃描和過濾

　　根據(jù)云安全聯(lián)盟(CSA)一份探討大型語言模型網(wǎng)絡(luò)安全影響的報告，生成式人工智能模型可用于顯著增強(qiáng)安全漏洞的掃描和過濾。在論文中，云安全聯(lián)盟(CSA)證明了OpenAI的CodexAPI是針對C、c#、Java和JavaScript等編程語言的有效漏洞掃描器。“我們可以預(yù)見，大型語言模型，就像Codex家族中的那些一樣，將成為未來漏洞掃描器的標(biāo)準(zhǔn)組成部分，”論文寫道。例如，可以開發(fā)掃描器來檢測和標(biāo)記各種語言中的不安全代碼模式，幫助開發(fā)人員在潛在的漏洞成為關(guān)鍵的安全風(fēng)險之前解決它們。

　　至于過濾，生成式人工智能模型可以解釋并為威脅標(biāo)識符添加有價值的場景，否則可能會被人類安全人員遺漏。例如，MITREATT&CK框架中的技術(shù)標(biāo)識符TT1059.001可能會被報告，但對于一些網(wǎng)絡(luò)安全專業(yè)人員來說并不熟悉，因此需要進(jìn)行簡要的解釋。ChatGPT可以準(zhǔn)確地將代碼識別為MITREATT&CK標(biāo)識符，并提供與之相關(guān)的具體問題的解釋，其中涉及使用惡意PowerShell腳本。它還詳細(xì)闡述了PowerShell的性質(zhì)及其在網(wǎng)絡(luò)安全攻擊中的潛在用途，并提供了相關(guān)示例。

　　今年5月，OXSecurity宣布推出OX-gpt，這是一個ChatGPT集成，旨在幫助開發(fā)人員提供定制的代碼修復(fù)建議和剪切粘貼代碼修復(fù)，包括代碼如何被黑客利用，攻擊的可能影響以及對組織的潛在損害。

　　反轉(zhuǎn)附加組件，分析PE文件的api

　　DeepInstinct網(wǎng)絡(luò)智能工程經(jīng)理MattFulmer表示，基于IDA和Ghidra等逆向工程框架，生成式人工智能/大型語言模型(LLM)技術(shù)可用于幫助構(gòu)建規(guī)則和逆轉(zhuǎn)流行的附加組件。“如果你明確了自己的需求，并將其與MITRE的攻擊和攻擊策略進(jìn)行比較，你就可以將結(jié)果離線，并更好地將其用作防御。”

　　llm還可以通過應(yīng)用程序進(jìn)行交流，分析可移植可執(zhí)行文件(PE)的API，并告訴你它們的用途，他補(bǔ)充道。“這可以減少安全研究人員花在查看PE文件和分析其中API通信上的時間。”

　　威脅搜索查詢

　　根據(jù)CSA的說法，安全防御者可以通過利用ChatGPT和其他llm來創(chuàng)建威脅搜索查詢來提高效率并加快響應(yīng)時間。通過為惡意軟件研究和檢測工具(如YARA)生成查詢，ChatGPT有助于快速識別和減輕潛在威脅，使防御者能夠?qū)Ｗ⒂谄渚W(wǎng)絡(luò)安全工作的關(guān)鍵方面。事實證明，在不斷發(fā)展的威脅環(huán)境中，這種能力對于保持穩(wěn)健的安全態(tài)勢是無價的。可以根據(jù)特定需求和組織希望在其環(huán)境中檢測或監(jiān)視的威脅來定制規(guī)則。

　　人工智能可以提高供應(yīng)鏈的安全性

　　生成式人工智能模型可以通過識別供應(yīng)商的潛在漏洞來解決供應(yīng)鏈安全風(fēng)險。今年4月，SecurityScorecard宣布推出一個新的安全評級平臺，通過與OpenAI的GPT-4系統(tǒng)和自然語言全球搜索集成來實現(xiàn)這一目標(biāo)。據(jù)該公司稱，客戶可以詢問有關(guān)其業(yè)務(wù)生態(tài)系統(tǒng)的開放式問題，包括供應(yīng)商的詳細(xì)信息，并迅速獲得答案，以推動風(fēng)險管理決策。例如，“找到我的10個評級最低的供應(yīng)商”或“顯示我的哪些關(guān)鍵供應(yīng)商在過去一年中被入侵”——SecurityScorecard聲稱，這些問題將產(chǎn)生結(jié)果，使團(tuán)隊能夠快速做出風(fēng)險管理決策。

　　檢測攻擊中的生成AI文本

　　據(jù)CSA稱，大型語言模型不僅生成文本，而且還致力于檢測和水印人工智能生成的文本，這可能成為電子郵件保護(hù)軟件的常見功能。CSA表示，識別攻擊中人工智能生成的文本可以幫助檢測網(wǎng)絡(luò)釣魚郵件和多態(tài)代碼，并且可以假設(shè)llm可以輕松檢測非典型電子郵件地址發(fā)件人或其相應(yīng)的域，同時能夠檢查文本中的底層鏈接是否指向已知的惡意網(wǎng)站。

　　安全代碼的生成和傳輸

　　像ChatGPT這樣的llm可以用來生成和傳輸安全代碼。CSA引用了一個網(wǎng)絡(luò)釣魚活動的例子，該活動成功地針對了公司內(nèi)的幾名員工，可能暴露了他們的憑證。雖然知道哪些員工打開了網(wǎng)絡(luò)釣魚郵件，但尚不清楚他們是否無意中執(zhí)行了旨在竊取他們憑證的惡意代碼。

　　為了調(diào)查這個問題，可以使用Microsoft365Defender高級搜索查詢來查找電子郵件收件人在收到已知惡意電子郵件后30分鐘內(nèi)執(zhí)行的最近10次登錄事件。該查詢有助于識別任何可能與受損憑據(jù)相關(guān)的可疑登錄活動。”

　　在這里，ChatGPT可以提供Microsoft365Defender搜索查詢，以檢查受感染的電子郵件帳戶的登錄嘗試，這有助于阻止攻擊者進(jìn)入系統(tǒng)，并澄清用戶是否需要更改密碼。這是在網(wǎng)絡(luò)事件響應(yīng)期間減少行動時間的一個很好的例子。

　　基于相同的示例，您可能會遇到相同的問題并找到Microsoft365Defender查找查詢，但是您的系統(tǒng)不使用KQL編程語言。可以進(jìn)行編程語言風(fēng)格轉(zhuǎn)換，而不是用您想要的語言搜索正確的示例。

　　他說，“這個例子說明了ChatGPT的底層Codex模型可以采用源代碼示例并用另一種編程語言生成示例。它還通過在其提供的答案和新創(chuàng)建背后的方法中添加關(guān)鍵細(xì)節(jié)，簡化了最終用戶的過程。”

　　根據(jù)CSA的說法，安全防御者可以通過利用ChatGPT和其他llm來創(chuàng)建威脅搜索查詢來提高效率并加快響應(yīng)時間。通過為惡意軟件研究和檢測工具(如YARA)生成查詢，ChatGPT有助于快速識別和減輕潛在威脅，使防御者能夠?qū)Ｗ⒂谄渚W(wǎng)絡(luò)安全工作的關(guān)鍵方面。事實證明，在不斷發(fā)展的威脅環(huán)境中，這種能力對于保持穩(wěn)健的安全態(tài)勢是無價的。可以根據(jù)特定需求和組織希望在其環(huán)境中檢測或監(jiān)視的威脅來定制規(guī)則。

　　人工智能可以提高供應(yīng)鏈的安全性

　　生成式人工智能模型可以通過識別供應(yīng)商的潛在漏洞來解決供應(yīng)鏈安全風(fēng)險。今年4月，SecurityScorecard宣布推出一個新的安全評級平臺，通過與OpenAI的GPT-4系統(tǒng)和自然語言全球搜索集成來實現(xiàn)這一目標(biāo)。據(jù)該公司稱，客戶可以詢問有關(guān)其業(yè)務(wù)生態(tài)系統(tǒng)的開放式問題，包括供應(yīng)商的詳細(xì)信息，并迅速獲得答案，以推動風(fēng)險管理決策。例如，“找到我的10個評級最低的供應(yīng)商”或“顯示我的哪些關(guān)鍵供應(yīng)商在過去一年中被入侵”——SecurityScorecard聲稱，這些問題將產(chǎn)生結(jié)果，使團(tuán)隊能夠快速做出風(fēng)險管理決策。

　　檢測攻擊中的生成AI文本

　　據(jù)CSA稱，大型語言模型不僅生成文本，而且還致力于檢測和水印人工智能生成的文本，這可能成為電子郵件保護(hù)軟件的常見功能。CSA表示，識別攻擊中人工智能生成的文本可以幫助檢測網(wǎng)絡(luò)釣魚郵件和多態(tài)代碼，并且可以假設(shè)llm可以輕松檢測非典型電子郵件地址發(fā)件人或其相應(yīng)的域，同時能夠檢查文本中的底層鏈接是否指向已知的惡意網(wǎng)站。

　　安全代碼的生成和傳輸

　　像ChatGPT這樣的llm可以用來生成和傳輸安全代碼。CSA引用了一個網(wǎng)絡(luò)釣魚活動的例子，該活動成功地針對了公司內(nèi)的幾名員工，可能暴露了他們的憑證。雖然知道哪些員工打開了網(wǎng)絡(luò)釣魚郵件，但尚不清楚他們是否無意中執(zhí)行了旨在竊取他們憑證的惡意代碼。

　　為了調(diào)查這個問題，可以使用Microsoft365Defender高級搜索查詢來查找電子郵件收件人在收到已知惡意電子郵件后30分鐘內(nèi)執(zhí)行的最近10次登錄事件。該查詢有助于識別任何可能與受損憑據(jù)相關(guān)的可疑登錄活動。”

　　在這里，ChatGPT可以提供Microsoft365Defender搜索查詢，以檢查受感染的電子郵件帳戶的登錄嘗試，這有助于阻止攻擊者進(jìn)入系統(tǒng)，并澄清用戶是否需要更改密碼。這是在網(wǎng)絡(luò)事件響應(yīng)期間減少行動時間的一個很好的例子。

　　基于相同的示例，您可能會遇到相同的問題并找到Microsoft365Defender查找查詢，但是您的系統(tǒng)不使用KQL編程語言。您可以進(jìn)行編程語言風(fēng)格轉(zhuǎn)換，而不是用您想要的語言搜索正確的示例。

　　“這個例子說明了ChatGPT的底層Codex模型可以采用源代碼示例并用另一種編程語言生成示例。它還通過在其提供的答案和新創(chuàng)建背后的方法中添加關(guān)鍵細(xì)節(jié)，簡化了最終用戶的過程。”領(lǐng)導(dǎo)者必須確保生成式人工智能聊天機(jī)器人的安全使用

　　Gigamon首席戰(zhàn)略官ChaimMazal表示，與許多現(xiàn)代技術(shù)一樣，從風(fēng)險的角度來看，人工智能和大型語言模型可能是一把雙刃劍，因此，領(lǐng)導(dǎo)者必須確保自己的團(tuán)隊安全可靠地使用這些產(chǎn)品。“安全和法律團(tuán)隊?wèi)?yīng)該合作，為他們的組織找到最好的前進(jìn)道路，在不損害知識產(chǎn)權(quán)或安全的情況下利用這些技術(shù)的能力。”

　　富爾默說，生成式人工智能是基于過時的結(jié)構(gòu)化數(shù)據(jù)，所以只有在評估其在安全和防御方面的應(yīng)用時，才能把它作為一個起點。例如，如果將其用于上述任何好處，則需要證明其輸出是合理的。把輸出放到線下，讓人把它做得更好、更準(zhǔn)確、更可操作。”

　　隨著時間的推移，生成式人工智能聊天機(jī)器人/大型語言模型最終將自然地增強(qiáng)安全性和防御能力，但利用人工智能/大型語言模型來幫助而不是傷害網(wǎng)絡(luò)安全態(tài)勢，最終都將歸結(jié)為內(nèi)部溝通和響應(yīng)。到Mazal說。“生成式人工智能/大型語言模型可以成為讓利益相關(guān)者以更快、更有效的方式全面解決安全問題的一種手段。領(lǐng)導(dǎo)者必須溝通如何利用工具來支持組織目標(biāo)，同時教育他們了解潛在的威脅。”

　　TovieAI公司的人工智能技術(shù)主管兼首席執(zhí)行官JoshuaKaiser表示，人工智能聊天機(jī)器人也需要定期更新，以保持對威脅的有效防御，而人類的監(jiān)督對于確保大型語言模型的正常運作至關(guān)重要。他說，“此外，大型語言模型需要理解場景，以提供準(zhǔn)確的響應(yīng)并捕捉任何安全問題，并應(yīng)定期進(jìn)行測試和評估，以識別潛在的弱點或漏洞。”