研究人員利用 AI 越獄技術大量竊取 Chrome 信息
Cato Networks作為一家安全訪問服務邊緣(SASE)解決方案提供商,近日發布了其《2025年Cato CTRL威脅報告》,揭示了一項重要發現。研究人員稱,他們成功設計了一種技術,使毫無編程經驗的個人也能夠利用現成的生成式AI(GenAI)工具創建惡意軟件。
通過“沉浸式世界”技術實現LLM越獄,打造Chrome信息竊取工具
該研究的核心是一項名為“沉浸式世界”(Immersive World)的新型大語言模型(LLM)越獄技術,由Cato CTRL威脅情報研究員開發。該技術通過構建一個詳細的虛構敘事環境,為包括DeepSeek、Microsoft Copilot和OpenAI的ChatGPT在內的GenAI工具分派特定角色和任務。
通過這種敘事操縱,研究員成功繞過了這些AI工具的默認安全控制,迫使它們生成能夠竊取Google Chrome登錄憑證的功能性惡意軟件。
“Cato CTRL威脅情報研究員在沒有惡意軟件編碼經驗的情況下,成功越獄多個LLM,包括DeepSeek-R1、DeepSeek-V3、Microsoft Copilot和OpenAI的ChatGPT,打造了一個完全可用的Google Chrome信息竊取工具,適用于Chrome 133。”
Cato Networks
這一“沉浸式世界”技術揭示了GenAI提供商所實施保護措施中的一個關鍵漏洞,因為它輕松繞過了旨在防止濫用的限制。Cato Networks威脅情報研究員Vitaly Simonovich表示:“我們認為,零知識威脅分子的崛起對組織構成了高度風險,因為GenAI工具大幅降低了創建惡意軟件的門檻。”
報告的發布促使Cato Networks與受影響的GenAI工具提供商取得聯系。盡管微軟和OpenAI確認收到了相關信息,但DeepSeek尚未作出回應。
截圖顯示研究人員與DeepSeek互動,最終生成了一個功能性的Chrome信息竊取工具(圖片來自Cato Networks)
谷歌拒絕審查惡意軟件代碼
研究人員稱,盡管谷歌被提供了審查所生成惡意軟件代碼的機會,但其拒絕進行審查。各大科技公司對此缺乏統一回應,突顯了應對先進AI工具威脅的復雜性。
LLM與越獄技術
盡管LLM相對較新,但越獄技術已與之同步發展。2024年2月發布的報告顯示,DeepSeek-R1 LLM在一次安全分析中未能阻止超過一半的越獄攻擊。同樣,SlashNext于2023年9月發布的報告展示了研究人員如何成功越獄多個AI聊天機器人以生成釣魚郵件。
防護措施
作為Cato Networks威脅情報團隊的首期年度出版物,《2025年Cato CTRL威脅報告》強調了主動、全面的AI安全策略的迫切需求。其中包括通過構建包含預期提示和響應的可靠數據集,以及全面測試AI系統,來防止LLM越獄。
常規的AI紅隊測試同樣重要,因為它有助于發現漏洞和其他安全問題。此外,應設置明確的免責聲明和使用條款,告知用戶正在與AI交互,并定義可接受行為以防止濫用。