人工智能的飛速發(fā)展正以前所未有的速度改變著各個行業(yè)，大型語言模型 ( LLM ) 和代理系統(tǒng)已成為現(xiàn)代工作流程的關(guān)鍵。這種快速部署也暴露出巨大的漏洞，防火墻、EDR 和 SIEM 等傳統(tǒng)工具難以應(yīng)對 AI 特有的威脅，包括自適應(yīng)威脅模式和隱蔽的即時攻擊工程。

除了技術(shù)威脅之外，以人為中心的威脅也是現(xiàn)有網(wǎng)絡(luò)安全問題的核心，利用生成式人工智能 (GPU) 生成的高度個性化網(wǎng)絡(luò)釣魚誘餌很容易被檢測到。2025 年 Verizon 數(shù)據(jù)泄露調(diào)查報告 (DBIR) 明確指出，60% 的泄露事件涉及人為因素，凸顯了安全意識培訓(xùn) (SAT) 和人力風(fēng)險管理 (HRM) 在緩解人工智能驅(qū)動威脅方面的重要作用。由于安全發(fā)展落后于人工智能集成，組織需要重新思考其戰(zhàn)略，并通過實施分層防御來應(yīng)對快速發(fā)展的人工智能威脅。

人工智能與傳統(tǒng)安全：理解不匹配之處

人工智能系統(tǒng)，尤其是那些具有自適應(yīng)或代理能力的系統(tǒng)，會動態(tài)演進(jìn)，這與為確定性環(huán)境構(gòu)建的靜態(tài)傳統(tǒng)工具不同。這種不一致性使系統(tǒng)容易受到以人工智能為重點的攻擊，例如數(shù)據(jù)中毒、即時注入、模型竊取和代理顛覆——這些攻擊通常能夠規(guī)避傳統(tǒng)防御機(jī)制。傳統(tǒng)工具難以檢測到這些攻擊，因為它們不遵循可預(yù)測的模式，因此需要更具自適應(yīng)性、針對人工智能的安全解決方案。

人類的缺陷和行為只會加劇這些弱點；內(nèi)部攻擊、社會工程以及與人工智能系統(tǒng)的不安全交互，使組織容易受到攻擊。隨著人工智能改變網(wǎng)絡(luò)安全，傳統(tǒng)的安全解決方案必須適應(yīng)其帶來的新挑戰(zhàn)。

采用整體方法保障人工智能安全

人工智能的自上而下安全方法可確保人工智能系統(tǒng)在設(shè)計時將安全性融入機(jī)器學(xué)習(xí)安全操作 (MLSecOps) 的整個生命周期，從范圍界定和訓(xùn)練到部署和持續(xù)監(jiān)控。機(jī)密性、完整性和可用性——CIA三角——是理解和應(yīng)對人工智能系統(tǒng)安全挑戰(zhàn)的廣泛接受的框架。“機(jī)密性”要求對訓(xùn)練數(shù)據(jù)和模型參數(shù)采取強(qiáng)有力的保護(hù)措施，以防止泄露或被盜。“完整性”可防止可能操縱模型的對抗性攻擊，從而提供可靠的輸出。“可用性”可防止可能導(dǎo)致操作停滯的資源耗盡攻擊。此外，SAT 和 HRM 應(yīng)盡早整合，以便政策和教育與人工智能的工作流程保持一致，從而在漏洞出現(xiàn)之前進(jìn)行預(yù)測。

分層防御：融合技術(shù)與以人為本的工具

將人工智能特定的安全措施與人類意識相結(jié)合，可以通過自適應(yīng)保護(hù)和明智的用戶實踐，確保企業(yè)能夠抵御不斷演變的威脅。以下是一些企業(yè)必須關(guān)注的工具：

• 模型掃描（主動檢查人工智能是否存在隱藏風(fēng)險）為人工智能系統(tǒng)提供安全檢查。它使用專門的工具自動搜索人工智能本身的隱藏問題，例如偏見、非法或攻擊性輸出以及敏感數(shù)據(jù)泄露。一些模型掃描器可以檢查人工智能的核心設(shè)計和代碼，而另一些則通過在運行過程中模擬攻擊來主動嘗試破壞人工智能。最佳實踐是將掃描與紅隊測試相結(jié)合——即由有道德的專家故意嘗試入侵或欺騙人工智能，以發(fā)現(xiàn)自動化工具可能遺漏的復(fù)雜漏洞。
• 特定于人工智能的監(jiān)控工具會分析輸入輸出流中是否存在對抗提示或數(shù)據(jù)中毒嘗試等異常情況，從而為威脅情報平臺提供見解。
• AI 感知授權(quán)機(jī)制提供與矢量數(shù)據(jù)庫和非結(jié)構(gòu)化數(shù)據(jù)的安全交互，防止未經(jīng)授權(quán)的查詢和操作。通過實施細(xì)粒度的權(quán)限、監(jiān)控訪問模式并應(yīng)用 AI 驅(qū)動的身份驗證機(jī)制，組織可以保護(hù)敏感數(shù)據(jù)集，避免 AI 生態(tài)系統(tǒng)中數(shù)據(jù)泄露、對抗性操縱和基于提示的漏洞利用等風(fēng)險。
• 模型穩(wěn)定性分析可以追蹤代理AI系統(tǒng)中的行為異常和決策路徑的變化。通過實時檢查與預(yù)期性能的偏差，組織可以進(jìn)行行為異常檢測，追蹤AI決策模式的偏差，從而識別對抗性操縱或非預(yù)期行為。 
• 支持自動化合規(guī)性管理的AI防火墻能夠標(biāo)記和阻止違反策略的輸入和輸出，從而促進(jìn)符合安全和道德準(zhǔn)則。此類系統(tǒng)實時分析AI交互，阻止未經(jīng)授權(quán)的查詢、攻擊性內(nèi)容生成和對抗性操作，并增強(qiáng)自動化治理，以維護(hù)AI驅(qū)動環(huán)境中的完整性。
• 人力風(fēng)險管理通過為員工提供網(wǎng)絡(luò)釣魚模擬、基于角色的訪問權(quán)限以及營造安全至上的文化來緩解內(nèi)部威脅，從而有效預(yù)防與人工智能相關(guān)的威脅。安全評估 (SAT) 培訓(xùn)員工如何檢測惡意人工智能提示、學(xué)習(xí)安全的數(shù)據(jù)處理以及報告異常情況。公司應(yīng)制定關(guān)于人工智能交互的精準(zhǔn)政策，確保用戶遵守明確的準(zhǔn)則。

安全實施人工智能的監(jiān)管框架

部署有效的 AI 安全框架對于應(yīng)對即將到來的威脅至關(guān)重要。OWASP 十大法學(xué)碩士 (LLM) 安全漏洞重點關(guān)注關(guān)鍵漏洞，例如提示注入，安全意識培訓(xùn)旨在指導(dǎo)用戶如何識別和避免漏洞利用提示。

MITRE ATT&CK 在更廣泛的網(wǎng)絡(luò)安全環(huán)境中解決社會工程問題，而 MITRE ATLAS 則專門映射針對人工智能的對抗技術(shù)，例如模型規(guī)避或數(shù)據(jù)中毒。

像 NIST 的 AI 風(fēng)險管理框架這樣的 AI 安全框架，融入了人力風(fēng)險管理，以確保 AI 安全實踐與組織政策保持一致。“管理”階段也以 CIA 基本三要素為藍(lán)本，特別包含員工培訓(xùn)，以確保團(tuán)隊內(nèi)部都遵守 AI 安全原則。

為了有效使用這些框架，需要跨部門協(xié)調(diào)。安全人員、數(shù)據(jù)科學(xué)家和人力資源從業(yè)人員需要通力合作，制定計劃，確保人工智能系統(tǒng)受到保護(hù)，同時鼓勵以負(fù)責(zé)任和合乎道德的方式使用它們。

簡而言之，以人工智能為中心的工具能夠?qū)崿F(xiàn)實時監(jiān)控、動態(tài)訪問控制和自動化策略執(zhí)行，從而促進(jìn)有效的人工智能安全。對安全評估測試 (SAT) 項目（例如網(wǎng)絡(luò)釣魚模擬、人工智能提示安全培訓(xùn)）和人力資源管理框架的戰(zhàn)略性投資，能夠培養(yǎng)安全意識文化，從而安全地采用人工智能。隨著人工智能系統(tǒng)日益復(fù)雜，企業(yè)必須不斷更新其安全組件，以確保基礎(chǔ)設(shè)施安全和員工培訓(xùn)始終是重中之重。