在采訪(fǎng)中，AutoRABIT的CTO Jason Lord探討了將智能體集成到現(xiàn)實(shí)世界中的系統(tǒng)所帶來(lái)的網(wǎng)絡(luò)安全風(fēng)險(xiǎn)。諸如幻覺(jué)、提示注入和嵌入式偏見(jiàn)等問(wèn)題可能會(huì)使這些系統(tǒng)成為易受攻擊的目標(biāo)。

Lord呼吁進(jìn)行監(jiān)督、持續(xù)監(jiān)控和人為介入循環(huán)控制以應(yīng)對(duì)這些威脅。

許多智能體都是建立在基礎(chǔ)模型或大型語(yǔ)言模型(LLM)之上的。當(dāng)這些智能體嵌入到現(xiàn)實(shí)世界的系統(tǒng)中時(shí)，基礎(chǔ)模型和LLM固有的不可預(yù)測(cè)性(如幻覺(jué)或提示注入)是如何轉(zhuǎn)化為風(fēng)險(xiǎn)的?

基礎(chǔ)模型和LLM從海量數(shù)據(jù)中學(xué)習(xí)，這意味著任何潛在的偏見(jiàn)、低質(zhì)量輸入或事實(shí)錯(cuò)誤都會(huì)嵌入到它們的行為中。隨著時(shí)間的推移，這些不準(zhǔn)確之處可能會(huì)累積——尤其是當(dāng)模型遇到更多樣化的上下文時(shí)。

雖然LLM的固有不可預(yù)測(cè)性對(duì)于創(chuàng)意或?qū)υ?huà)目的可能是有用的，但在生產(chǎn)環(huán)境中它可能會(huì)暴露出重大風(fēng)險(xiǎn)?；糜X(jué)(捏造或錯(cuò)誤陳述)和提示注入(對(duì)輸入的惡意操縱)可能會(huì)引入隱藏的漏洞。

在最壞的情況下，這些問(wèn)題會(huì)成為攻擊載體，提供對(duì)關(guān)鍵系統(tǒng)或敏感數(shù)據(jù)的意外訪(fǎng)問(wèn)。即使智能體的響應(yīng)中存在輕微的不一致，也可能損害數(shù)據(jù)完整性或打開(kāi)后門(mén)。這會(huì)產(chǎn)生從未經(jīng)授權(quán)的披露到系統(tǒng)損壞等實(shí)際風(fēng)險(xiǎn)——所有這些都可能?chē)?yán)重影響組織的安全態(tài)勢(shì)。

如果智能體能夠訪(fǎng)問(wèn)企業(yè)系統(tǒng)、工具或數(shù)據(jù)，它們會(huì)引入哪些新的攻擊面或供應(yīng)鏈風(fēng)險(xiǎn)?我們是否基本上是在創(chuàng)建新的特權(quán)身份?

是的，智能體實(shí)際上成為了一種新的特權(quán)身份類(lèi)別，可能擁有訪(fǎng)問(wèn)敏感信息和關(guān)鍵業(yè)務(wù)流程的權(quán)限。因?yàn)樗鼈兛梢蕴幚砻睢z索或修改數(shù)據(jù)，并與其他企業(yè)系統(tǒng)進(jìn)行交互，所以智能體的憑據(jù)或邏輯一旦遭到單次破壞，其破壞性可能與整個(gè)特權(quán)用戶(hù)帳戶(hù)遭到攻擊一樣嚴(yán)重。

智能體特別具有挑戰(zhàn)性的一點(diǎn)是，與常規(guī)腳本或應(yīng)用程序相比，它們的行為更不可預(yù)測(cè)且更難審計(jì)。它們依賴(lài)于可能被操縱的自然語(yǔ)言輸入——通過(guò)提示注入、對(duì)抗性示例或配置錯(cuò)誤的訪(fǎng)問(wèn)控制——來(lái)執(zhí)行不需要的或惡意的操作。

組織還應(yīng)考慮AI驅(qū)動(dòng)的供應(yīng)鏈風(fēng)險(xiǎn)。當(dāng)智能體生成代碼或產(chǎn)生被持續(xù)集成/持續(xù)部署(CI/CD)管道使用的工件時(shí)，它們可能會(huì)無(wú)意中嵌入漏洞或?qū)⒂腥毕莸倪壿媯鞑サ较掠蜗到y(tǒng)中。這些隱藏風(fēng)險(xiǎn)可能會(huì)一直存在，直到通過(guò)徹底審計(jì)或利用嘗試被發(fā)現(xiàn)，這強(qiáng)調(diào)了嚴(yán)格治理、訪(fǎng)問(wèn)控制和持續(xù)監(jiān)控AI生成輸出的必要性。

你是否預(yù)見(jiàn)智能體會(huì)成為與通過(guò)釣魚(yú)或社會(huì)工程學(xué)攻擊人類(lèi)相同的目標(biāo)?所謂的“智能體感知”對(duì)手會(huì)是什么樣子?

絕對(duì)的。智能體將簡(jiǎn)單地被添加到目標(biāo)列表中，但攻擊者不會(huì)使用操縱人類(lèi)的戰(zhàn)術(shù)(如釣魚(yú)郵件)，而是可能會(huì)通過(guò)制作旨在操縱智能體行為的惡意輸入來(lái)進(jìn)行提示注入。這些攻擊利用了智能體對(duì)看似良性的指令或數(shù)據(jù)的信任，導(dǎo)致其泄露信息、提升權(quán)限或采取有害行為。

“智能體感知”對(duì)手將研究特定智能體如何解釋語(yǔ)言、做出決策以及與工具進(jìn)行交互。他們可能會(huì)在共享文檔、聊天消息或API響應(yīng)中嵌入隱藏命令。這些攻擊看起來(lái)不會(huì)像傳統(tǒng)的漏洞利用——它們會(huì)看起來(lái)像正常的對(duì)話(huà)或常規(guī)數(shù)據(jù)流。

隨著智能體在企業(yè)系統(tǒng)中承擔(dān)更多責(zé)任——處理工單、更新記錄或管理基礎(chǔ)架構(gòu)——攻擊者將更加關(guān)注直接操縱智能體。這使得AI特定的安全控制(如輸入驗(yàn)證、行為監(jiān)控和強(qiáng)大的審計(jì)跟蹤)對(duì)于檢測(cè)和防止這些攻擊至關(guān)重要。

當(dāng)前，你對(duì)智能體在網(wǎng)絡(luò)安全中最興奮的應(yīng)用場(chǎng)景是什么?以及你認(rèn)為哪些應(yīng)用場(chǎng)景仍然被過(guò)度炒作或過(guò)早?

AI在過(guò)去幾年中取得了長(zhǎng)足的進(jìn)步。威脅檢測(cè)和自動(dòng)響應(yīng)是智能體能夠?yàn)榫W(wǎng)絡(luò)安全團(tuán)隊(duì)帶來(lái)切實(shí)益處的兩種方式。能夠分類(lèi)警報(bào)、跨不同工具關(guān)聯(lián)信號(hào)并提供豐富上下文的智能體可以極大地提高分析師的效率。通過(guò)增強(qiáng)現(xiàn)有的安全運(yùn)營(yíng)中心(SOC)工作流程，智能體可幫助員工專(zhuān)注于戰(zhàn)略任務(wù)，而不是篩選原始數(shù)據(jù)。

然而，能夠在實(shí)時(shí)生產(chǎn)環(huán)境中做出單方面決策的完全自主的智能體仍然存在風(fēng)險(xiǎn)。幻覺(jué)或錯(cuò)誤行為可能會(huì)關(guān)閉關(guān)鍵基礎(chǔ)設(shè)施或創(chuàng)建后門(mén)，而人類(lèi)操作員卻未能及時(shí)發(fā)現(xiàn)錯(cuò)誤。監(jiān)督機(jī)制、手動(dòng)審批和強(qiáng)大的防護(hù)欄仍然至關(guān)重要。

被過(guò)度炒作或過(guò)早的應(yīng)用場(chǎng)景包括無(wú)需人類(lèi)干預(yù)的端到端“自我修復(fù)”系統(tǒng)。在不斷變化的安全環(huán)境中，確保問(wèn)責(zé)制和減輕意外后果需要人類(lèi)審查過(guò)程。將智能體與人為介入循環(huán)策略相結(jié)合，在一段時(shí)間內(nèi)很可能仍將是最佳實(shí)踐。

展望未來(lái)3到5年，一個(gè)成熟的智能體賦能的SOC會(huì)是什么樣子?哪些功能將成為常態(tài)，而我們?nèi)詫⒃趹?yīng)對(duì)哪些風(fēng)險(xiǎn)?

僅在過(guò)去一年我們就看到了如此多的增長(zhǎng)，因此我想象在未來(lái)3到5年內(nèi)，智能體將非常令人印象深刻。我預(yù)計(jì)，智能體賦能的SOC將配備在整個(gè)事件生命周期中嵌入的半自主智能體。它們將能夠分類(lèi)警報(bào)、生成事件報(bào)告并實(shí)施補(bǔ)救操作。

跨工具集成(例如，漏洞掃描器、端點(diǎn)檢測(cè)和響應(yīng)(EDR)解決方案或威脅情報(bào)源)是未來(lái)幾年將發(fā)展的另一種能力。人類(lèi)分析師將能夠更專(zhuān)注于戰(zhàn)略分析、微調(diào)其智能體的行為，以及處理獨(dú)特的網(wǎng)絡(luò)安全情況。

成熟度的提高將伴隨著同樣成熟的攻擊和網(wǎng)絡(luò)安全風(fēng)險(xiǎn)。保持強(qiáng)大的安全態(tài)勢(shì)不僅需要先進(jìn)的AI，還需要持續(xù)的驗(yàn)證、紅隊(duì)測(cè)試和仔細(xì)的治理。沒(méi)有任何工具是萬(wàn)能的——尤其是在不斷演變的威脅環(huán)境中。