對現實世界的影響

“如果一家公司的智能體利用了過時或不準確的數據，AI幻覺可能會虛構出并不存在的漏洞，或錯誤解讀威脅情報，導致不必要的警報或忽視真正的風險。此類錯誤可能會分散對真正威脅的注意力，創造新的漏洞，并浪費本已緊張的安全運營團隊資源。”Tanium的AI副總裁Harman Kaur在接受采訪時表示。

一個新興的擔憂是“包幻覺”現象，即AI模型會建議不存在的軟件包，這一問題已被識別為供應鏈攻擊的潛在媒介，被稱為“slopsquatting”。攻擊者可以利用這些幻覺，創建具有建議名稱的惡意軟件包，導致開發者無意中將有害代碼集成到他們的系統中。

“如果未經徹底驗證和人工審查就使用AI生成的代碼，可能會引入重大風險和復雜性。初級開發者尤其容易受到錯誤代碼或配置文件的風險影響，因為他們缺乏足夠的能力來正確審核代碼。對于高級開發者而言，他們可能會及時發現錯誤，然而，越來越多的人過度依賴GenAI，盲目信任其輸出。”ImmuniWeb的CEO Ilia Kolochenko表示。

另一個擔憂是AI可能產生虛假的威脅情報，如果這些報告被當作事實接受，可能會分散對實際威脅的注意力，導致真正的漏洞得不到處理。當AI輸出未與可靠來源進行交叉驗證時，風險會進一步加劇。

緩解AI幻覺的策略

“AI幻覺是概率模型的預期副產品，”Qwiet AI的CTO Chetan Conikee解釋道，他強調重點不應放在完全消除它們上，而是放在最小化對運營的影響上。“CISO的首要任務應該是通過設計、監控和政策來限制運營影響。”

這始于有意的架構設計，Conikee建議在AI系統周圍實施結構化的信任框架，這種方法包括實用的中間件，通過確定性檢查和特定領域過濾器來審查輸入和輸出，這一步驟確保模型不在孤立環境中運行，而是在明確界定的范圍內運行，反映企業的需求和安全態勢。

可追溯性是另一個基石。“所有AI生成的響應都必須包含元數據，包括來源上下文、模型版本、提示結構和時間戳。”Conikee指出。當出現不準確時，此類元數據能夠加快審計和根本原因分析的速度，這是將AI輸出集成到業務運營或面向客戶的工具中的關鍵保障措施。

對于部署大型語言模型(LLM)的企業，Conikee建議除非必要，否則應避免開放式生成。相反，企業應依賴基于精心策劃的內部知識庫的檢索增強生成(RAG)。“這確保了模型從經過驗證的信息中提取數據，并與內部標準保持一致。”Conikee解釋道。

嚴格的測試也很重要。“在測試階段應納入幻覺檢測工具，”Conikee說。在模型進入生產環境之前，安全領導者應定義可接受的風險閾值和故障模式。“目標不是完美的準確性，而是對GenAI的使用地點和方式進行可衡量和可審計的控制。”

通過將信任、可追溯性和控制嵌入到AI部署中，CISO可以在創新與責任之間取得平衡，在不影響進展的情況下控制幻覺：

1. 實施檢索增強生成(RAG)：RAG結合了AI的生成能力與從經過驗證的數據源中提取信息的檢索系統，這種方法使AI輸出基于事實數據，降低了產生幻覺的可能性。

2. 采用自動化推理工具：像亞馬遜這樣的公司正在開發使用數學證明來驗證AI輸出的工具，確保它們與既定規則和政策保持一致，這些工具可以提供一層保障，特別是在關鍵應用中。

3. 定期更新訓練數據：確保AI系統基于當前和準確的數據進行訓練，可以最小化產生幻覺的風險，過時或有偏見的數據可能導致AI生成不正確的輸出。

4. 融入人工監督：在關鍵場景中，人類專家應審查AI生成的輸出，這種監督可以捕捉AI可能遺漏的錯誤，并提供AI所缺乏的上下文。

5. 教育用戶了解AI的局限性：培訓用戶了解AI的能力和局限性，可以培養對AI輸出的健康懷疑態度，鼓勵用戶驗證AI生成的信息，可以防止不準確信息的傳播。

GuidePoint Security的進攻性安全高級副總裁Victor Wieczorek解釋說：“我們需要實際的護欄，這意味著將AI響應直接與記錄的政策相關聯，標記或記錄高風險輸出，并確保在重大事項到達客戶之前由人類進行審查。將模型視為一名新實習生：它可以幫助起草想法和處理常規問題，但不應就任何敏感事項做出最終決定。”