網絡犯罪分子已開始利用地下論壇帖子和泄露數據來優化惡意的大型語言模型(LLM)，以便為特定的詐騙方案定制AI模型，威脅情報公司Flashpoint警告稱。

具體而言，詐騙者正在使用惡意數據集(如泄露的憑證、詐騙腳本和信息竊取日志)對非法LLM(包括WormGPT和FraudGPT)進行微調。當對手利用這些模型生成輸出時，他們會收集用戶反饋來微調回應，從而形成一個惡性循環，使攻擊能力隨時間不斷增強。

“這一趨勢尤為令人擔憂，因為它表明對手正在‘閉環優化模型’——通過實時反饋和非法數據，他們的攻擊能力不斷得到提升，”Flashpoint網絡威脅情報副總裁Ian Gray告訴記者。

Flashpoint還觀察到，在一些私人聊天群組中，用戶將失敗的提示詞嘗試反饋給LLM開發者，導致在數天內實現快速迭代和性能提升。例如，Flashpoint觀察到，一名用戶報告了金融詐騙提示詞的格式問題，不久后開發者便分享了帶有優化模板的更新版本。

“這種由泄露數據和犯罪協作推動的惡意AI的自適應和自我改進特性，使其成為一種特別強大且難以應對的威脅?！盙ray說道。

網絡犯罪分子正在為特定的詐騙方案定制AI模型，包括根據行業或語言定制的釣魚郵件，以及編寫虛假招聘信息、發票或驗證提示。

“一些供應商甚至以分層定價、API訪問和私鑰許可的方式推銷這些工具，模仿了(合法的)SaaS經濟模式?！盕lashpoint的研究人員發現。

“這種專業化可能導致更高的成功率，并實現攻擊階段的自動化復雜操作?！盕lashpoint的Gray告訴記者。

深度偽造即服務(DaaS)成為主流

網絡犯罪供應商還降低了創建合成視頻和語音的門檻，提供了包括以下內容的深度偽造即服務(DaaS)產品：

? 用于約會詐騙的定制人臉生成

? 用于語音驗證欺詐的音頻偽造

? 基于客戶提交腳本的同步視頻虛擬形象

這些服務越來越多地提供附加選項，如預加載的背景故事、匹配的虛假文件和自動化的通話安排。

提示詞工程即服務

地下社區還圍繞設計越獄提示詞的藝術興起了起來。

這些“繞過構建者”專門破解主流LLM(如ChatGPT或Gemini)的限制，以解鎖受限制的輸出，如社交攻擊腳本、分步黑客教程和銀行詐騙手冊，包括“了解你的客戶”(KYC)繞過指南。

“這種‘提示詞工程即服務’(PEaaS)降低了入門門檻，使更廣泛的參與者能夠通過預包裝的惡意提示詞利用先進的AI能力?！盙ray警告說。

“這些趨勢共同構成了一種適應性威脅：定制模型在非法數據的優化下變得更加強大，PEaaS擴大了威脅參與者的范圍，而持續的優化確保了它們能不斷進化以對抗防御措施?！彼f道。

深度剖析

Flashpoint分析師在超過10萬個非法來源中實時追蹤了這些發展動態，監控范圍從暗網市場和Telegram群組到地下LLM社區。

在2025年1月1日至5月30日期間，研究人員記錄了超過250萬條與AI相關的帖子，涵蓋了各種惡意戰術，包括越獄提示詞、深度偽造服務廣告、釣魚工具包和專為欺詐及其他網絡犯罪形式定制的語言模型。

地下LLM戰術與策略

Cisco Talos的相關研究警告稱，網絡犯罪分子繼續采用LLM來簡化流程、編寫可用于攻擊用戶的工具和腳本，并生成更容易繞過防御的內容。

Talos觀察到，網絡犯罪分子轉而使用未受審查的LLM，甚至是為非法目的定制的犯罪LLM。

惡意LLM的廣告特性表明，網絡犯罪分子正將這些系統與各種外部工具鏈接，以掃描網站漏洞、驗證被盜信用卡號碼及進行其他惡意操作。

同時，對手經常比LLM開發者更快地破解合法模型，Talos警告道。

對抗惡意AI

Flashpoint的《AI與威脅情報：防御者指南》解釋稱，盡管AI在網絡安全中是一把雙刃劍，但那些將AI深思熟慮地融入其威脅情報和響應工作流程的防御者能夠超越對手。

企業需要平衡自動化與專家分析，區分炒作與現實，并持續適應快速演變的威脅環境。

“防御者應首先將AI視為人類專業知識的增強，而非替代，”Flashpoint的Gray說道，“這一理念確保AI能夠強化現有工作流程，通過減少噪音和加速決策來創造價值，而非制造新的盲點?！?/p>

Gray補充道：“組織原則應是通過利用AI從高信號數據中提取洞察，加速發現過程并構建非結構化內容，從而增強其收集優勢。最終目標是提高效率，通過為分析師提供輔助其判斷的工具、保持人類控制權并提供上下文來實現這一目標。”