從AI應用中的風險，如中毒的訓練數(shù)據(jù)和幻覺現(xiàn)象，到AI賦能的安全措施，再到深度偽造、用戶錯誤以及新型AI生成的攻擊技術(shù)，網(wǎng)絡(luò)安全行業(yè)正充斥著令人恐懼的安全威脅，這些威脅讓CISO們不堪重負。

例如，在2025年4月的RSA會議期間及之后，與會者紛紛對AI帶來的恐懼、不確定性和懷疑(FUD)表示強烈不滿，尤其是供應商方面的表現(xiàn)。

其中一位是Netflix的信息風險工程師Tony Martin-Vegue，他在RSAC會議后的采訪中告訴記者，雖然AI的炒作和潛力很大，但無法阻止其發(fā)展，不過有方法可以穿透炒作，并在最關(guān)鍵的地方應用基本控制措施。

首先，他說，要關(guān)注企業(yè)為何部署AI。“我認為，盡管AI的能力被過度炒作和寄予厚望，但不使用AI也存在風險，也就是說，不使用AI的企業(yè)將被淘汰，而使用AI的風險正是所有FUD的來源。”

在應用控制措施方面，他建議采用與采用云、BYOD和其他強大技術(shù)時相同的流程，即循環(huán)往復地執(zhí)行，首先要了解AI在何處、如何被使用，由誰使用，以及用于什么目的，然后，重點關(guān)注員工與工具共享的數(shù)據(jù)的安全性。

了解你的AI

“AI是一項將深刻改變社會的基本變革，其影響力甚至可能超過互聯(lián)網(wǎng)，但這一變革發(fā)生得如此之快，以至于很多人難以理解其模糊效應，”SANS研究所AI和新興威脅研究主管Rob T. Lee解釋道。“現(xiàn)在，企業(yè)的每個部分都將以不同形式利用AI。你需要一種方法來從根本上降低實施風險，這意味著要了解人們在哪里使用它，以及在什么業(yè)務用例下使用，遍及整個企業(yè)。”

Lee正在幫助SANS開發(fā)社區(qū)共識的AI安全指南檢查表，他每天花30分鐘使用先進的智能體進行各種業(yè)務目的，并鼓勵其他網(wǎng)絡(luò)安全和執(zhí)行領(lǐng)導也這樣做，因為一旦他們熟悉了這些程序及其能力，就可以開始選擇控制措施了。

例如，Lee提到Moderna在2025年5月宣布將人力資源和IT合并到一個新角色下，即首席人力與數(shù)字技術(shù)官。“工作不再僅僅涉及人類，而是涉及管理人類和智能體，”Lee解釋道，“這要求人力資源和IT以新的方式協(xié)作。”

重新審視安全基礎(chǔ)

這并不是說因為AI是全新的，當前的安全基礎(chǔ)就不重要了，它們當然重要。

美國全國公司董事協(xié)會(NACD)的高級網(wǎng)絡(luò)風險顧問Chris Hetner解釋道：“網(wǎng)絡(luò)安全行業(yè)經(jīng)常在一個回聲室中運作，高度反應性。回聲室通過談論自主式AI、AI漂移和其他風險來推動機器運轉(zhuǎn)，然后，一整套新的供應商就會讓CISO的組合變得不堪重負。”“AI只是現(xiàn)有技術(shù)的延伸。它為我們提供了另一個視角，讓我們可以將注意力重新集中在本質(zhì)上。”

當Hetner提到本質(zhì)時，他強調(diào)了理解業(yè)務概況、確定數(shù)字景觀中的威脅以及辨別業(yè)務單元之間互連的重要性，然后，安全領(lǐng)導者應評估在發(fā)生泄露或曝光事件時可能產(chǎn)生的運營、法律、監(jiān)管和財務影響，接著，他們應將這些信息匯總成一個全面的風險概況，提交給執(zhí)行團隊和董事會，以便他們確定愿意接受、緩解和轉(zhuǎn)移哪些風險。

保護數(shù)據(jù)

鑒于AI被用于分析財務、銷售、人力資源、產(chǎn)品開發(fā)、客戶關(guān)系和其他敏感數(shù)據(jù)，Martin-Vegue認為數(shù)據(jù)保護應該是風險管理者控制措施列表中的首要任務，這又回到了了解員工如何使用AI、用于什么功能以及他們向AI啟用應用程序中輸入的數(shù)據(jù)類型上。

或者，正如2025年5月來自澳大利亞、新西蘭、英國和美國安全機構(gòu)的一份關(guān)于AI數(shù)據(jù)安全的聯(lián)合備忘錄所解釋的那樣：了解你的數(shù)據(jù)是什么、在哪里以及將流向哪里。

當然，說起來容易做起來難，因為根據(jù)多項調(diào)查，大多數(shù)企業(yè)不知道他們所有的敏感數(shù)據(jù)在哪里，更不用說如何控制它們了，然而，與其他新技術(shù)一樣，保護用于LLM的數(shù)據(jù)歸結(jié)為用戶教育和數(shù)據(jù)治理，包括傳統(tǒng)控制措施，如掃描和加密。

“你的用戶可能不了解使用這些AI解決方案的最佳方式，因此網(wǎng)絡(luò)安全和治理領(lǐng)導者需要幫助設(shè)計適用于他們和你的風險管理團隊的使用案例和部署方案。”長期從事網(wǎng)絡(luò)安全分析并在Protect AI擔任CISO的Diana Kelley說。

保護模型

Kelley指出了各種AI采用和部署模型之間的風險差異，像ChatGPT這樣的免費、公共版本AI，用戶將數(shù)據(jù)插入基于網(wǎng)絡(luò)的聊天提示中，對員工與界面共享的數(shù)據(jù)發(fā)生的處理幾乎沒有控制權(quán)。支付專業(yè)版費用并將AI引入企業(yè)內(nèi)部，企業(yè)可以獲得更多控制權(quán)，但企業(yè)許可證和自托管成本往往超出了小企業(yè)的承受能力，另一種選擇是在受管理的云平臺上運行基礎(chǔ)模型，如Amazon Bedrock和其他安全配置的云服務，數(shù)據(jù)在賬戶持有者的保護環(huán)境中進行處理和分析。

“這不是魔法或小火花，盡管在你的應用程序中AI經(jīng)常被這樣表現(xiàn)，它是數(shù)學，它是軟件，我們知道如何保護軟件，然而，AI是一種新型軟件，需要新型的安全方法和工具，”Kelley補充道，“模型文件是一種不同類型的文件，因此你需要一個專為其獨特結(jié)構(gòu)設(shè)計的掃描器。”

模型文件是一組權(quán)重和偏差，她繼續(xù)說道，當它被反序列化時，企業(yè)就在運行不受信任的代碼，這使得模型成為模型序列化攻擊(MSA)的主要目標，網(wǎng)絡(luò)犯罪分子希望借此操縱目標系統(tǒng)。

除了MSA風險外，AI模型，尤其是從開源獲取的模型，還可能成為模仿可信文件名稱但包含惡意軟件的拼寫錯誤攻擊(typosquatting attacks)的受害者，它們還容易受到神經(jīng)后門和其他供應鏈漏洞的攻擊，這就是為什么Kelley建議在批準模型進行部署和開發(fā)之前對其進行掃描。

由于支持AI應用程序的LLM與傳統(tǒng)軟件不同，對不同類型的掃描和監(jiān)控的需求導致了專業(yè)化解決方案的激增，但跡象表明，隨著傳統(tǒng)安全供應商開始整合專業(yè)工具，如Palo Alto Networks即將收購Protect AI，這個市場正在收縮。

“了解AI技術(shù)的工作原理，知道你的員工如何使用它，并建立控制措施，”Kelley重復道，“是的，這需要很多工作，但不必害怕，你也不必相信FUD，這就是我們進行風險管理的方式。”