危險(xiǎn)的速度競(jìng)賽

人工智能(AI)和大語(yǔ)言模型(LLM)正在重塑各行各業(yè)，提高效率，并開(kāi)啟新的商業(yè)機(jī)會(huì)，AI的快速采用也帶來(lái)了重大的安全、合規(guī)和治理挑戰(zhàn)。然而，大多數(shù)組織在加速AI部署的過(guò)程時(shí)，更傾向于期待顛覆性創(chuàng)新，而非采用可靠的安全實(shí)踐。

Lakera 全球 GenAI 安全就緒報(bào)告顯示，90%的組織正在積極實(shí)施或計(jì)劃探索 LLM 使用案例；但是5%對(duì)他們的 AI 安全準(zhǔn)備工作充滿信心；22%的組織正在進(jìn)行特定于 AI 的威脅建模。

世界經(jīng)濟(jì)論壇與埃森哲合作進(jìn)行的一項(xiàng)研究結(jié)果顯示，63%的企業(yè)在部署前未能評(píng)估AI工具的安全性，從而給企業(yè)帶來(lái)了一系列風(fēng)險(xiǎn)。

其中既包括現(xiàn)成的AI解決方案，也包括與軟件開(kāi)發(fā)團(tuán)隊(duì)合作創(chuàng)建的內(nèi)部實(shí)施方案。根據(jù)Tricentis的《2025年質(zhì)量轉(zhuǎn)型報(bào)告》，這些團(tuán)隊(duì)壓倒性地專注于提高交付速度(45%)，而非提升軟件質(zhì)量(13%)。而Tricentis的調(diào)查結(jié)果顯示，三分之一(32%)的受訪者承認(rèn)，質(zhì)量低下的軟件可能會(huì)導(dǎo)致更頻繁的安全漏洞或合規(guī)失敗。

這些漏洞和失敗確實(shí)越來(lái)越頻繁。思科5月7日發(fā)布的最新網(wǎng)絡(luò)安全就緒指數(shù)發(fā)現(xiàn)，86%的組織在過(guò)去一年中經(jīng)歷過(guò)與人工智能相關(guān)的安全事件。不到一半(45%)的組織認(rèn)為他們擁有進(jìn)行全面人工智能安全評(píng)估的內(nèi)部資源和專業(yè)知識(shí)。

可見(jiàn)，組織必須平衡AI創(chuàng)新與風(fēng)險(xiǎn)管理，確保監(jiān)管一致性、客戶信任和董事會(huì)層面的監(jiān)督。缺乏系統(tǒng)化的安全策略，企業(yè)可能會(huì)面臨敏感數(shù)據(jù)暴露、遭受對(duì)抗性操縱以及利益相關(guān)者信心削弱的風(fēng)險(xiǎn)。

AI安全不再僅僅是一個(gè)運(yùn)營(yíng)問(wèn)題；它是一項(xiàng)戰(zhàn)略性要?jiǎng)?wù)，直接影響企業(yè)風(fēng)險(xiǎn)、監(jiān)管暴露和長(zhǎng)期業(yè)務(wù)可行性。

匆忙上馬帶來(lái)的8大安全風(fēng)險(xiǎn)

網(wǎng)絡(luò)安全專業(yè)媒體CSO在采訪眾多專家后得出結(jié)論，未能在部署前充分測(cè)試AI系統(tǒng)會(huì)使組織面臨一系列與傳統(tǒng)軟件風(fēng)險(xiǎn)顯著不同的漏洞。以下是一些最普遍的風(fēng)險(xiǎn)：

1.數(shù)據(jù)暴露

人工智能系統(tǒng)通常處理大量敏感信息，如果沒(méi)有經(jīng)過(guò)強(qiáng)大的測(cè)試，組織可能會(huì)忽視這些數(shù)據(jù)通過(guò)不安全的存儲(chǔ)、過(guò)于寬松的API響應(yīng)或薄弱的訪問(wèn)控制而輕易泄露的可能性。

"許多人工智能系統(tǒng)在推理過(guò)程中提取用戶數(shù)據(jù)或存儲(chǔ)上下文以保持會(huì)話持久性。"AI安全測(cè)試供應(yīng)商Mindgard首席執(zhí)行官兼聯(lián)合創(chuàng)始人Peter Garraghan表示，"如果不審核數(shù)據(jù)處理，就有很高的風(fēng)險(xiǎn)通過(guò)模型輸出、日志暴露或?yàn)E用微調(diào)數(shù)據(jù)集導(dǎo)致數(shù)據(jù)泄露。LLM（大語(yǔ)言模型）的記憶功能或流式輸出模式會(huì)加劇這些風(fēng)險(xiǎn)。"

2.模型級(jí)漏洞

這類漏洞包括提示注入、越獄和對(duì)抗性提示鏈接。如果沒(méi)有嚴(yán)格測(cè)試，模型可能被操縱以繞過(guò)輸出限制、泄露敏感數(shù)據(jù)或執(zhí)行非預(yù)期任務(wù)。

英國(guó)蘭卡斯特大學(xué)講師Garraghan解釋說(shuō)，這些攻擊通常利用模型對(duì)齊機(jī)制中的缺陷，或其對(duì)基于token之間的統(tǒng)計(jì)關(guān)系進(jìn)行預(yù)測(cè)和推理的依賴。

舉例來(lái)說(shuō)，攻擊者可能使用特定的提示模式，讓模型"忘記"之前的安全指令，或者利用模型對(duì)某些詞語(yǔ)組合的處理方式，誘導(dǎo)它生成本應(yīng)被禁止的內(nèi)容。這些攻擊方法能夠繞過(guò)模型的安全保護(hù)機(jī)制，導(dǎo)致模型執(zhí)行不當(dāng)行為。

3.模型完整性和對(duì)抗性攻擊

.如果不測(cè)試對(duì)抗性操縱或受污染的訓(xùn)練數(shù)據(jù)，攻擊者很容易影響人工智能模型的行為，特別是當(dāng)它被用于支持業(yè)務(wù)決策或自動(dòng)化敏感任務(wù)時(shí)，組織可能面臨模型被操縱而做出錯(cuò)誤決策的風(fēng)險(xiǎn)。

全球網(wǎng)絡(luò)咨詢公司CyXcel的首席運(yùn)營(yíng)官Jano Bermudes表示："攻擊者可以操縱輸入數(shù)據(jù)來(lái)欺騙人工智能模型，導(dǎo)致其做出錯(cuò)誤決策。這包括規(guī)避攻擊和數(shù)據(jù)投毒。"

所謂規(guī)避攻擊，是一種對(duì)抗性操縱，攻擊者精心設(shè)計(jì)輸入數(shù)據(jù)，使模型產(chǎn)生錯(cuò)誤的輸出或決策。例如，通過(guò)微調(diào)圖像中的像素，使圖像識(shí)別系統(tǒng)將停車標(biāo)志誤認(rèn)為限速標(biāo)志。

數(shù)據(jù)投毒是指在模型訓(xùn)練階段，攻擊者向訓(xùn)練數(shù)據(jù)集中注入惡意或有偏見(jiàn)的數(shù)據(jù)，從而使模型學(xué)習(xí)到錯(cuò)誤的模式或偏見(jiàn)。當(dāng)模型部署后，這些"毒素"會(huì)導(dǎo)致模型在特定情況下做出有利于攻擊者的決策。

4.系統(tǒng)集成風(fēng)險(xiǎn)

 AI模型通常不是獨(dú)立運(yùn)行的，而是作為更大應(yīng)用系統(tǒng)的一個(gè)組成部分被集成進(jìn)去。這種集成主要通過(guò)API、MCP、A2A、插件和RAG架構(gòu)（檢索增強(qiáng)生成）等方式實(shí)現(xiàn)。

Mindgard公司的Garraghan指出，這些集成點(diǎn)的安全測(cè)試不足，可能導(dǎo)致模型輸入和輸出的不安全處理、通過(guò)序列化數(shù)據(jù)格式的注入路徑以及托管環(huán)境內(nèi)的權(quán)限提升三類主要安全問(wèn)題，而這些安全風(fēng)險(xiǎn)點(diǎn)在傳統(tǒng)應(yīng)用安全工作流程中經(jīng)常被忽視：

模型輸入和輸出的不安全處理：例如，未經(jīng)驗(yàn)證的用戶輸入可能被直接傳遞給模型，或模型的輸出未經(jīng)過(guò)濾就被執(zhí)行，這可能導(dǎo)致注入攻擊或信息泄露。

通過(guò)序列化數(shù)據(jù)格式的注入路徑：序列化是將數(shù)據(jù)結(jié)構(gòu)或?qū)ο筠D(zhuǎn)換為可存儲(chǔ)或傳輸格式的過(guò)程。攻擊者可能利用這些數(shù)據(jù)格式中的漏洞注入惡意代碼，例如通過(guò)JSON、XML或其他數(shù)據(jù)交換格式。

托管環(huán)境內(nèi)的權(quán)限提升：AI模型可能需要訪問(wèn)各種資源，如果權(quán)限管理不當(dāng)，攻擊者可能利用這些權(quán)限訪問(wèn)敏感數(shù)據(jù)或執(zhí)行未授權(quán)操作。

因此，僅僅關(guān)注AI模型本身的安全性遠(yuǎn)遠(yuǎn)不夠，還必須考慮模型如何與更廣泛的應(yīng)用環(huán)境集成，以及這些集成點(diǎn)可能引入的安全漏洞。

5.訪問(wèn)控制失敗

AI工具在與更廣泛的系統(tǒng)（如數(shù)據(jù)庫(kù)、云服務(wù)、企業(yè)應(yīng)用等）相連接時(shí)，如果配置不當(dāng)，可能導(dǎo)致三類主要安全問(wèn)題，使濫用行為難以被發(fā)現(xiàn)。：

暴露的API密鑰：如果這些密鑰被硬編碼在代碼中、存儲(chǔ)在不安全的位置或意外公開(kāi)（如上傳到公共代碼倉(cāng)庫(kù)），攻擊者可能獲取這些密鑰并冒充合法用戶訪問(wèn)系統(tǒng)。例如，一個(gè)暴露的OpenAI API密鑰可能被攻擊者用來(lái)生成大量?jī)?nèi)容，導(dǎo)致賬單激增。

糟糕的身份驗(yàn)證：諸如弱密碼策略、缺少多因素認(rèn)證、過(guò)于寬松的訪問(wèn)控制或不安全的會(huì)話管理這樣的糟糕的身份驗(yàn)證，可能允許未授權(quán)用戶訪問(wèn)AI系統(tǒng)或通過(guò)AI系統(tǒng)訪問(wèn)其連接的資源。例如，如果AI聊天機(jī)器人的身份驗(yàn)證機(jī)制存在缺陷，攻擊者可能繞過(guò)限制，訪問(wèn)敏感信息或執(zhí)行特權(quán)操作。

不足的日志記錄：如果系統(tǒng)沒(méi)有適當(dāng)記錄訪問(wèn)和操作日志，或日志存儲(chǔ)不安全，管理員可能無(wú)法發(fā)現(xiàn)正在進(jìn)行的攻擊或事后調(diào)查安全事件。這使得濫用行為難以被檢測(cè)和追蹤，攻擊者可能長(zhǎng)時(shí)間不被發(fā)現(xiàn)地操作系統(tǒng)。

6.運(yùn)行時(shí)安全故障

AI系統(tǒng)可能會(huì)表現(xiàn)出"新興行為"（emergent behavior）。這是指系統(tǒng)在實(shí)際運(yùn)行環(huán)境中展現(xiàn)出的、在開(kāi)發(fā)和測(cè)試階段未被預(yù)見(jiàn)的行為模式。這種現(xiàn)象特別容易在兩種情況下發(fā)生：系統(tǒng)面對(duì)動(dòng)態(tài)變化的輸入條件時(shí)，系統(tǒng)與其他服務(wù)進(jìn)行復(fù)雜交互時(shí)。

Garraghan表示，"邏輯損壞、上下文溢出或輸出反射等漏洞通常只在運(yùn)行時(shí)出現(xiàn)，需要運(yùn)營(yíng)紅隊(duì)測(cè)試或?qū)崟r(shí)流量模擬才能檢測(cè)到。"

由此可見(jiàn)AI系統(tǒng)安全測(cè)試的復(fù)雜性，僅依靠開(kāi)發(fā)階段的靜態(tài)測(cè)試是不夠的，還需要在部署環(huán)境中進(jìn)行動(dòng)態(tài)安全監(jiān)控和測(cè)試，以發(fā)現(xiàn)那些只在實(shí)際運(yùn)行條件下才會(huì)出現(xiàn)的安全漏洞。

7.合規(guī)違規(guī)

企業(yè)如果未能確保其AI工具符合相關(guān)監(jiān)管標(biāo)準(zhǔn)，可能面臨法律后果。這種風(fēng)險(xiǎn)主要來(lái)自兩個(gè)方面：未經(jīng)授權(quán)的數(shù)據(jù)處理和未經(jīng)測(cè)試的模型行為在規(guī)模下導(dǎo)致的中斷。

其中，未經(jīng)測(cè)試的模型行為在規(guī)模下導(dǎo)致的中斷指的是AI系統(tǒng)在大規(guī)模部署后出現(xiàn)的問(wèn)題，例如：AI系統(tǒng)做出有歧視性的決策；自動(dòng)化系統(tǒng)故障導(dǎo)致大規(guī)模服務(wù)中斷；AI系統(tǒng)提供不準(zhǔn)確或有害建議，導(dǎo)致用戶損失；算法偏見(jiàn)導(dǎo)致不公平結(jié)果，影響特定群體。

隨著全球AI監(jiān)管框架的不斷發(fā)展（如歐盟的《人工智能法案》、中國(guó)的《生成式人工智能服務(wù)管理暫行辦法》等），企業(yè)面臨的合規(guī)要求越來(lái)越嚴(yán)格。

8.更廣泛的運(yùn)營(yíng)影響

AI安全不僅是技術(shù)問(wèn)題，而是涉及整個(gè)組織的風(fēng)險(xiǎn)管理問(wèn)題。忽視AI安全測(cè)試可能導(dǎo)致技術(shù)漏洞轉(zhuǎn)化為業(yè)務(wù)風(fēng)險(xiǎn)，包括數(shù)據(jù)泄露、合規(guī)違規(guī)、聲譽(yù)損害和財(cái)務(wù)損失。組織需要將AI安全視為戰(zhàn)略優(yōu)先事項(xiàng)，而不僅僅是技術(shù)考量。

"如果不進(jìn)行測(cè)試，這些技術(shù)漏洞不會(huì)孤立存在，"Mindgard的Garraghan表示。"它們表現(xiàn)為跨越工程領(lǐng)域的更廣泛組織風(fēng)險(xiǎn)。從運(yùn)營(yíng)影響的角度來(lái)看，人工智能安全測(cè)試不足的后果直接映射到安全、保障和業(yè)務(wù)保證的失敗。"

合規(guī)專家ISMS.online的首席產(chǎn)品官Sam Peters看到，由于組織傾向于忽視適當(dāng)?shù)腁I安全審查，導(dǎo)致了廣泛的運(yùn)營(yíng)影響。

"當(dāng)AI系統(tǒng)匆忙投入生產(chǎn)時(shí)，我們看到三個(gè)關(guān)鍵領(lǐng)域存在反復(fù)出現(xiàn)的漏洞：模型完整性（包括投毒和規(guī)避攻擊）、數(shù)據(jù)隱私（如訓(xùn)練數(shù)據(jù)泄露或敏感數(shù)據(jù)處理不當(dāng)）以及治理差距（從缺乏透明度到訪問(wèn)控制薄弱）。"他說(shuō)。

Peters強(qiáng)調(diào)，這些問(wèn)題不再是一種猜測(cè)，而是已經(jīng)在實(shí)際環(huán)境中被利用了。

測(cè)試的重要性及要點(diǎn)

當(dāng)"速度"成為唯一追求時(shí)，安全往往成為第一個(gè)被犧牲的方面，這種匆忙部署AI的做法正在為企業(yè)埋下定時(shí)炸彈。

AI項(xiàng)目部署交付之前的測(cè)試就顯得尤為重要。以下是AI安全測(cè)試的幾個(gè)要點(diǎn)：

1.平衡快速部署與安全需求

.CSO們正面臨快速部署AI與確保安全之間的困境。Sparrow公司的James Lei建議抵制不受約束的熱情，將基本安全實(shí)踐引入部署過(guò)程。

他說(shuō)："組織應(yīng)該像測(cè)試任何高風(fēng)險(xiǎn)軟件一樣測(cè)試人工智能工具，運(yùn)行模擬攻擊，檢查濫用場(chǎng)景，驗(yàn)證輸入和輸出流，并確保任何處理的數(shù)據(jù)都得到適當(dāng)保護(hù)。"

2.實(shí)施全面的AI測(cè)試策略

組織需要采用多層次的測(cè)試方法來(lái)保障AI系統(tǒng)安全：

• 滲透測(cè)試：通過(guò)模擬攻擊識(shí)別系統(tǒng)漏洞
• 偏見(jiàn)和公平性審計(jì)：確保AI決策公平且無(wú)歧視
• 合規(guī)檢查：驗(yàn)證系統(tǒng)是否遵守相關(guān)法規(guī)和標(biāo)準(zhǔn)

通過(guò)將安全測(cè)試集成到AI開(kāi)發(fā)生命周期中，組織可以利用人工智能的好處，同時(shí)防范潛在威脅。

"在部署AI工具之前，組織應(yīng)該進(jìn)行針對(duì)AI的威脅建模，對(duì)抗性輸入的紅隊(duì)測(cè)試，以及對(duì)模型漂移和數(shù)據(jù)泄露的穩(wěn)健測(cè)試，"ISMS.online的Peters表示，同時(shí)還應(yīng)該將AI特定控制集成到風(fēng)險(xiǎn)管理和合規(guī)計(jì)劃中。

3.采用AI特定的安全測(cè)試方法

Intigriti的首席黑客官Inti De Ceukelaire指出了AI測(cè)試的獨(dú)特挑戰(zhàn)："與常規(guī)軟件測(cè)試不同，你不能僅僅通過(guò)查看神經(jīng)網(wǎng)絡(luò)的代碼來(lái)判斷它是否安全。即使它是在干凈、高質(zhì)量的數(shù)據(jù)上訓(xùn)練的，它仍然可能表現(xiàn)出奇怪的行為。這使得很難知道何時(shí)測(cè)試足夠了。"

ISMS.online的Peters強(qiáng)調(diào)了AI系統(tǒng)需要特殊的安全測(cè)試方法："在部署AI工具之前，組織應(yīng)該進(jìn)行針對(duì)AI的威脅建模，對(duì)抗性輸入的紅隊(duì)測(cè)試，以及對(duì)模型漂移和數(shù)據(jù)泄露的穩(wěn)健測(cè)試。"

Mindgard的Garraghan補(bǔ)充了更具體的測(cè)試框架： "這包括靜態(tài)模型分析、動(dòng)態(tài)提示模糊測(cè)試、集成層攻擊模擬和運(yùn)行時(shí)行為監(jiān)控。這些實(shí)踐應(yīng)該嵌入到人工智能部署生命周期中，就像DevSecOps實(shí)踐集成到軟件CI/CD管道中一樣。"

4.拓展測(cè)試范圍

測(cè)試人員需要擴(kuò)展測(cè)試范圍，不僅關(guān)注AI應(yīng)該做什么，還要考慮它能做的其他事情。

"AI工具通常為簡(jiǎn)單問(wèn)題提供復(fù)雜解決方案。測(cè)試人員可能只關(guān)注工具應(yīng)該做什么，而忽略它能做的其他事情。"Intigriti的 De Ceukelaire舉例，翻譯工具可能被誘騙打開(kāi)帶有惡意代碼的PDF或訪問(wèn)內(nèi)部文件并將其翻譯給公司外部的人。"

5.利用標(biāo)準(zhǔn)框架進(jìn)行AI治理

Peters強(qiáng)調(diào)了標(biāo)準(zhǔn)框架在AI治理中的價(jià)值："這正是新的ISO/IEC 42001標(biāo)準(zhǔn)能真正幫助的地方。它提供了負(fù)責(zé)任地治理AI的框架，包括風(fēng)險(xiǎn)評(píng)估、數(shù)據(jù)處理、安全控制和持續(xù)監(jiān)控的指導(dǎo)。"

將AI特定控制集成到組織的風(fēng)險(xiǎn)管理和合規(guī)計(jì)劃中，可以建立更全面的安全保障體系。

參考鏈接：8 security risks overlooked in the rush to implement AI | CSO Online