發現風險清單的五大變化

“OWASP大語言模型（LLM）應用十大風險” 項目始于2023年，是一項社區驅動的工作，旨在指導開發人員、安全專業人員和組織優先識別和緩解關鍵的生成式AI應用風險。從某種角度來說，OWASP大語言模型應用十大風險可謂大模型安全態勢的風向標。

圖片

2025年十大風險是對2023年8月發布的OWASP LLM十大風險1.0版本的更新，這些風險按重要程度進行排序，每個風險都包含定義、示例、攻擊場景和預防措施。

通過對比2023年版的“十大風險”，可以有效分析當前LLM的安全態勢。安全牛分析發現，這些關鍵發現主要有以下五點：

其一，"提示注入"仍是首要風險，保持在第一位置不變。提示注入涉及用戶通過提示操縱LLM行為或輸出，繞過安全措施，生成有害內容和啟用未經授權訪問等后果。

其二，"敏感信息泄露"問題更加突出，從2023年版本的第六位上升至第二位。根據OWASP的報告，隨著AI應用的激增，通過大語言模型(LLM)和生成式AI泄露敏感信息已成為一個更為關鍵的風險。這涉及LLM在與員工和客戶互動過程中可能泄露組織持有的敏感數據的風險，包括個人身份信息和知識產權。開發人員經常假設LLM會自動保護私密數據，但多起事件表明，敏感信息通過模型輸出或系統漏洞被無意泄露。

其三，“供應鏈安全”風險上升，從第五位上升到第三位。OWASP強調，LLM供應鏈容易受到各種漏洞的影響，這可能影響訓練數據、模型和部署平臺的完整性，導致有偏見的輸出、安全漏洞或系統故障。OWASP項目負責人Steve Wilson指出，OWASP發布第一版清單時，供應鏈漏洞風險主要還是理論性的；而現在，開發人員和組織必須對他們使用的開源AI技術的集成保持警惕。

其四，新增"系統提示泄露"，排在第七位。"系統提示泄露"指的是用于引導模型行為的系統提示或指令可能包含不打算被發現的敏感信息的風險。系統提示旨在根據應用程序的要求指導模型的輸出，但可能無意中包含可用于促進其他攻擊的機密。最近的事件表明開發人員不能安全地假設這些提示中的信息保持機密后，社區強烈要求加入這一風險。

其五，“向量和嵌入漏洞”帶來新的威脅，排在第八位。這涉及向量和嵌入的生成、存儲或檢索方面的弱點如何被惡意行為利用來注入有害內容、操縱模型輸出或訪問敏感信息。這是對社區要求就檢索增強生成(RAG)和其他基于嵌入方法的安全指導的回應，這些現在是模型輸出基礎的核心實踐。某種形式的RAG現在已成為企業LLM應用的默認架構。

這些特性還反映了業界對現有風險的更深入理解，以及LLM在實際應用中使用方式的演變。值得注意的是，盡管存在這些風險，但AI/LLM安全商業生態系統在過去一年半時間里已經取得了顯著發展，從最初的少數開源工具發展到現在形成了一個健康且不斷增長的安全工具生態系統。

LLM應用十大風險

從排名第一的提示注入到新增的系統提示泄露，“OWASP大語言模型（LLM）應用十大風險”涵蓋了從模型安全、數據保護到資源消耗等多個維度的風險。

LLM01提示注入

提示注入漏洞是指用戶的提示以非預期方式改變LLM的行為或輸出。即使這些輸入對人類來說是不可感知的，只要模型能夠解析內容，就可能產生提示注入。

提示注入漏洞存在于模型處理提示的方式中，攻擊者可能強制模型將提示數據錯誤傳遞到其他部分，導致違反指導原則、生成有害內容、啟用未授權訪問或影響關鍵決策。雖然檢索增強生成(RAG)和微調等技術旨在使LLM輸出更加相關和準確，但研究表明它們并不能完全緩解提示注入漏洞。

提示注入和越獄在LLM安全中是相關概念，它們經常被交替使用。提示注入涉及通過特定輸入操縱模型響應以改變其行為，這可能包括繞過安全措施。越獄是一種提示注入形式，攻擊者提供的輸入導致模型完全無視其安全協議。開發人員可以在系統提示和輸入處理中構建安全防護來幫助緩解提示注入攻擊，但有效防止越獄需要持續更新模型的訓練和安全機制。

LLM02敏感信息泄露

敏感信息會影響LLM及其應用場景。這包括個人身份信息(PII)、財務細節、健康記錄、機密業務數據、安全憑證和法律文件。專有模型的訓練方法和源代碼等也被視為敏感信息，特別是在封閉或基礎模型中。

LLM存在通過輸出暴露敏感數據的風險，可能導致未經授權的數據訪問、隱私侵犯和知識產權泄露。消費者應該了解如何安全地與LLM互動。他們需要理解無意中提供敏感數據的風險，這些數據后續可能在模型的輸出中被泄露。

為降低這一風險，LLM應用程序應執行充分的數據凈化，以防止用戶數據進入訓練模型。應用程序所有者還應提供明確的使用條款政策，允許用戶選擇不將其數據包含在訓練模型中。在系統提示中添加對于LLM應返回的數據類型的限制，可以緩解敏感信息泄露。但是，這些限制可能并不總是被遵守，并可能通過提示注入或其他方法被繞過。

LLM03供應鏈安全

LLM供應鏈容易受到各種漏洞的影響，這些漏洞可能影響訓練數據、模型和部署平臺的完整性。這些風險可能導致有偏見的輸出、安全漏洞或系統故障。雖然傳統軟件漏洞關注代碼缺陷和依賴性等問題，但在機器學習中，風險還擴展到第三方預訓練模型和數據。這些外部元素可能通過篡改或投毒攻擊被操縱。

創建LLM是一項專業任務，通常依賴于第三方模型。開放訪問LLM的興起和新的微調方法(如"LoRA"低秩適應和"PEFT"參數高效微調)，特別是在Hugging Face等平臺上，引入了新的供應鏈風險。此外，設備端LLM的出現增加了LLM應用程序的攻擊面和供應鏈風險。

LLM04數據和模型投毒

數據投毒發生在預訓練、微調或嵌入數據被操縱以引入漏洞、后門或偏見時。這種操縱可能會損害模型的安全性、性能或道德行為，導致有害輸出或能力受損。常見風險包括模型性能下降、有偏見或有害的內容，以及下游系統被利用。

數據投毒可以針對LLM生命周期的不同階段，包括預訓練（從通用數據學習）、微調（使模型適應特定任務）和嵌入（將文本轉換為數值向量）。理解這些階段有助于識別漏洞可能的來源。數據投毒被視為一種完整性攻擊，因為篡改訓練數據會影響模型做出準確預測的能力。使用外部數據源的風險特別高，因為它們可能包含未經驗證或惡意的內容。

此外，通過共享存儲庫或開源平臺分發的模型可能帶來超出數據投毒的風險，例如通過惡意序列化等技術嵌入的惡意軟件，這些軟件在加載模型時可能執行有害代碼。同時還要考慮，數據投毒可能導致后門的植入。這種后門可能使模型的行為保持不變，直到某個觸發器導致其改變。這可能使此類更改難以測試和檢測，實際上為模型成為潛伏特工創造了機會。

LLM05不當輸出處理

不當輸出處理特指在將大語言模型生成的輸出傳遞給下游組件和系統之前，對其進行不充分的驗證、凈化和處理。由于LLM生成的內容可以通過提示輸入來控制，這種行為類似于為用戶提供對附加功能的間接訪問。

不當輸出處理與過度依賴的區別在于，它處理LLM生成的輸出在傳遞到下游之前的問題，而過度依賴則關注對LLM輸出的準確性和適當性過度依賴的更廣泛問題。成功利用不當輸出處理漏洞可能導致Web瀏覽器中的XSS和CSRF，以及后端系統上的SSRF、權限提升或遠程代碼執行。

以下條件可能增加此漏洞的影響:

1. 應用程序授予LLM超出最終用戶預期的權限，從而能夠實現權限提升或遠程代碼執行；
2. 應用程序容易受到間接提示注入攻擊，這可能允許攻擊者獲得對目標用戶環境的特權訪問；
3. 第三方擴展沒有充分驗證輸入；
4. 缺乏針對不同上下文的適當輸出編碼；
5. 對LLM輸出的監控和日志記錄不足；
6. 缺乏對LLM使用的速率限制或異常檢測。

LLM06過度代理權限

LLM系統通常被開發者授予一定程度的代理權限，即通過擴展調用函數或與其他系統交互的能力，以響應提示并采取行動。對調用哪個擴展的決定，也可能委托給LLM"代理"根據輸入提示或LLM輸出動態來確定。基于代理的系統通常會使用先前調用的輸出來指導和引導后續調用，并反復調用LLM。

過度代理權限是一種漏洞，它使系統能夠響應來自LLM的意外、模糊或被操縱的輸出而執行有害操作，不管是什么導致LLM出現故障。

常見觸發因素包括:

1. 由設計不當的良性提示或性能不佳的模型導致的幻覺/虛構；
2. 來自惡意用戶、早期調用惡意/受損擴展或(在多代理/協作系統中)惡意/受損對等代理的直接/間接提示注入。

過度代理權限的根本原因通常是功能過度、權限過度和自主權過度，可能導致機密性、完整性和可用性方面的廣泛影響，這取決于基于LLM的應用程序能夠與哪些系統進行交互。

LLM07系統提示泄露

提示泄露漏洞指的是用于引導模型行為的系統提示或指令可能包含敏感信息的風險。系統提示旨在根據應用程序的要求指導模型的輸出，但可能無意中包含機密信息，這些信息可能被用來促進其他攻擊。因此，系統提示語言中不應包含憑證、連接字符串等敏感數據。

同樣，如果系統提示中包含描述不同角色和權限的信息，或者像連接字符串或密碼這樣的敏感數據，雖然披露這些信息可能有幫助，但根本的安全風險不是這些信息被披露，而是應用程序通過將這些委托給LLM而允許繞過強大的會話管理和授權檢查，以及敏感數據被存儲在不應該存儲的地方。

LLM08向量和嵌入漏洞

在使用檢索增強生成(RAG)的大語言模型(LLM)系統中，向量和嵌入漏洞帶來重大安全風險。向量和嵌入的生成、存儲或檢索方面的弱點可能被惡意行為(有意或無意)利用，從而注入有害內容、操縱模型輸出或訪問敏感信息。

檢索增強生成(RAG)是一種模型適應技術，通過將預訓練語言模型與外部知識源結合，來提高LLM應用程序響應的性能和上下文相關性。檢索增強使用向量機制和嵌入。

LLM09錯誤信息

錯誤信息發生在LLM產生看似可信但實際是虛假或誤導性的信息時。這種漏洞可能導致安全漏洞、聲譽損害和法律責任。

錯誤信息的主要原因之一是幻覺：LLM生成看似準確但實際是虛構的內容。當LLM使用統計模式填補訓練數據中的空白而不真正理解內容時，就會出現幻覺。因此，模型可能產生聽起來正確但完全沒有根據的答案。雖然幻覺是錯誤信息的主要來源，但它們不是唯一的原因；訓練數據引入的偏見和不完整的信息也可能造成影響。

一個相關的問題是過度依賴。過度依賴發生在用戶過分信任LLM生成的內容，未能驗證其準確性時。這種過度依賴加劇了錯誤信息的影響，因為用戶可能在沒有充分審查的情況下將錯誤數據整合到關鍵決策或流程中。

LLM10無界消耗

無界消耗風險指的是LLM應用在缺乏合理限制的情況下，可能被攻擊者利用進行過度推理，導致資源耗盡、服務中斷甚至模型被竊取的安全隱患。

推理是LLM的關鍵功能，涉及應用學習到的模式和知識來產生相關的響應或預測。成功實施旨在破壞服務、耗盡目標財務資源，甚至通過克隆模型行為來竊取知識產權的攻擊，都依賴于一類常見的安全漏洞。

無界消耗發生在LLM應用程序允許用戶進行過度和不受控制的推理時，導致拒絕服務(DoS)、經濟損失、模型盜竊和服務降級等風險。LLM的高計算需求，特別是在云環境中，使其容易受到資源利用和未授權使用的影響。

OWASP項目負責人Steve Wilson最后指出，隨著AI技術快速發展，攻擊者也開始利用AI來發動更復雜的攻擊，企業必須與時俱進，采用新型安全工具來保護自己的AI應用系統。