雖然AI威脅的格局每天都在變化，但我們知道有幾個大語言模型(LLM)漏洞對當今的公司運營構成了重大風險。如果網絡團隊對這些漏洞是什么以及如何緩解這些漏洞有很強的把握，公司就可以繼續利用低成本管理進行創新，而不會承擔不必要的風險。

提示和數據泄露

在LLM中，數據泄露的可能性是一個真實且日益令人擔憂的問題，LLM可能會被“騙”泄露敏感的公司或用戶信息，導致一系列隱私和安全問題，迅速泄密是另一個大問題，如果惡意用戶訪問系統提示符，公司的知識產權可能會受到損害。

這兩個漏洞都與快速注入有關，這是一種日益流行和危險的黑客技術。直接和間接的快速注射攻擊正在變得普遍，并伴隨著嚴重的后果。成功的提示注入攻擊可能導致跨插件請求偽造、跨站點腳本編寫和培訓數據提取，其中每一項都會將公司機密、個人用戶數據和基本培訓數據置于風險之中。

因此，公司需要在AI應用程序開發生命周期中實施檢查系統。從尋找和處理數據到選擇和培訓應用程序，每一步都應該有限制，以降低入侵風險。沙箱、白名單和API網關等常規安全實踐在處理LLM時同樣有價值(如果不是更高的話)。除此之外，在將所有插件與LLM應用程序集成之前，團隊應該仔細檢查所有插件，并且對于所有高權限任務，人工批準應該仍然是必不可少的。

折衷的模型性能

AI模型的有效性取決于數據質量，但在整個模型開發過程中——從預訓練到微調和嵌入——訓練數據集很容易受到黑客的攻擊。

大多數公司利用第三方模式，由不知名的人管理數據，網絡團隊不能盲目相信數據沒有被篡改。無論你是使用第三方模式還是自己擁有的模式，總會有不良行為者的“數據中毒”風險，這可能會對模式的表現產生重大影響，進而損害品牌的聲譽。

開源的AutoPoison框架清楚地概述了數據中毒如何在指令調優過程中影響模型。此外，以下是網絡團隊可以實施的一系列戰略，以降低風險并最大限度地提高AI模型的性能。

• 供應鏈審查：仔細審查供應鏈，以驗證數據來源是否干凈，并采取嚴密的安全措施。問一些問題，比如“數據是如何收集的?”以及“是否考慮到了適當的同意和道德考量?”你還可以查詢誰為數據添加了標簽和注釋，他們的資格，以及標簽中是否存在任何偏見或不一致。此外，解決數據所有權和許可問題，包括誰擁有數據以及許可條款和條件是什么。
• 數據清理和清理：確保在進入模型之前檢查所有數據和來源。例如，在將PII放入模型之前，必須對其進行編輯。
• 紅色團隊演習：在模型生命周期的測試階段進行以LLM為重點的紅色團隊演習。具體地說，對涉及操縱訓練數據以注入惡意代碼、偏見或有害內容的測試場景進行優先排序，并采用多種攻擊方法，包括對抗性輸入、中毒攻擊和模型提取技術。

受損的互聯系統

像GPT-4這樣的高級型號通常集成到系統中，在系統中它們與其他應用程序進行通信，但只要涉及到API，下游系統就會面臨風險，這意味著一個惡意提示可能會對互聯系統產生多米諾骨牌效應。要降低此風險，請考慮以下幾點：

• 如果允許LLM調用外部API，請在執行可能具有破壞性的操作之前請求用戶確認。
• 在互連不同的系統之前檢查LLM輸出。檢查它們是否存在可能導致遠程代碼執行(RCE)等風險的潛在漏洞。
• 特別注意這些產出促進不同計算機系統之間互動的情況。
• 對互聯系統中涉及的所有API實施強有力的安全措施。
• 使用強大的身份驗證和授權協議，防止未經授權的訪問和數據泄露。
• 監控API活動中的異常和可疑行為跡象，例如異常請求模式或利用漏洞的嘗試。

網絡帶寬飽和

網絡帶寬飽和漏洞可被攻擊者作為拒絕服務(DoS)攻擊的一部分加以利用，并可能對LLM的使用成本造成痛苦的影響。

在模型拒絕服務攻擊中，攻擊者以過度消耗帶寬或系統處理能力等資源的方式與模型接觸，最終損害目標系統的可用性。反過來，公司可能會面臨服務質量下降和天價賬單。由于DoS攻擊在網絡安全環境中并不新鮮，因此可以使用幾種策略來防御模型拒絕服務攻擊，并降低成本快速上升的風險。

• 速率限制：實施速率限制，防止你的系統被過多的請求淹沒。為你的應用程序確定正確的速率限制將取決于模型的大小和復雜性、硬件和基礎設施以及平均請求數和高峰使用時間。
• 字符限制：設置用戶在查詢中可以包含的字符數量限制，以保護你的基于LLM的API免受資源耗盡的影響。
• 框架提供的方法：利用框架提供商提供的方法加強對攻擊的防御。例如，如果你使用的是LangChain，請考慮使用max_iterations參數。

保護LLM需要多方面的方法，包括仔細考慮數據處理、模型培訓、系統集成和資源使用，但通過實施建議的戰略并保持警惕，公司可以利用低成本管理的力量，同時將相關風險降至最低。