在ChatGPT推出兩年后，生成式AI已成為網絡安全領域的重要力量。2024年生成式AI技術的影響無處不在，從深偽欺詐到“影子AI”的風險，再到AI安全法規的出現和AI驅動的漏洞研究潛力。以下，我們將盤點過去一年AI與網絡安全的五大熱點話題。

1.深偽攻擊與AI釣魚襲擊激增

目前，AI安全威脅的核心并非AI生成的惡意軟件或流氓AI，而是通過AI生成的釣魚誘餌和深偽技術實施的欺詐。這些攻擊具有巨大的現實威脅。比如，香港某金融從業者因深偽視頻會議被騙，轉賬高達2560萬美元。類似的案例表明，深偽技術正在通過逼真的人臉仿真和聲音模仿，威脅個人與企業的財務安全。

據安全公司iProov統計，2023年基于生物識別驗證的“換臉”攻擊激增了704%。深偽視頻不僅欺騙了用戶，也繞過了面部識別等生物特征驗證系統。而AI驅動的商業電子郵件欺詐（BEC）也表現強勁，據VIPRE Security估計，AI生成的釣魚郵件占商業欺詐誘餌的40%。

2.企業“影子AI”帶來的數據泄露風險

企業內未經授權或監控的AI工具的使用（即“影子AI”）正在增長，帶來了數據泄露風險。據Cyberhaven報告，2024年企業員工上傳到生成式AI工具的敏感數據增長了485%，其中包括客戶支持信息、源代碼和研發數據。

盡管AI工具提升了生產力，但企業在安全培訓和政策制定上的滯后引發了擔憂。例如，美國眾議院于2024年3月禁止員工使用微軟Copilot，擔心其導致敏感數據泄露。

3.LLM破解與APT組織的結合

2024年，針對大型語言模型（LLM）的攻擊進一步演變，如Palo Alto Networks開發的“Deceptive Delight”方法僅需三次交互就能繞過安全限制。此外，知名APT組織如俄羅斯、朝鮮和中國的威脅行為者已被發現利用ChatGPT進行腳本生成、漏洞研究和目標偵察。

微軟和OpenAI披露這些活動后迅速采取了關閉措施，且微軟提議將LLM攻擊方法納入MITRE ATT&CK框架，反映了LLM威脅對網絡安全生態的深遠影響。

4.全球AI安全立法進程加速

2024年，全球AI法規進入新階段。歐盟率先通過《AI法案》，以風險等級分類AI系統，禁止高風險應用，并設立相應的監管要求。而美國尚未推出類似的國家級法規，盡管其發布了針對關鍵基礎設施的AI安全指南。此外，加州等州也嘗試引入AI法規，但面臨創新抑制的批評。

5.AI賦能網絡安全的機遇

AI技術不僅是威脅，也為網絡防御帶來了全新可能性。例如，谷歌的AI驅動漏洞研究工具Big Sleep發現了SQLite數據庫的漏洞，而其改進的OSS-Fuzz工具在開源項目中識別了26個新漏洞。

RSAC 2024會議也強調了AI對關鍵基礎設施和國家安全防御的重要價值，從模式識別到自動化分析，AI正在幫助網絡安全團隊大幅提高效率。

生成式AI的崛起，讓網絡空間的攻防之戰變得更加復雜。一方面，AI提升了攻擊者的破壞力，另一方面，它也為安全從業者提供了前所未有的高效工具。這場博弈在未來幾年只會愈發激烈，而全球各國的監管與產業力量也需緊密跟隨其發展步伐。