人工智能（AI）和機器學習（ML）已經進入企業環境。

根據IBM 的《2024 年人工智能在行動》報告，兩大群體正在加入人工智能：領導者和學習者。領導者看到了可量化的成果，三分之二的人報告收入增長了 25%（或更多）。與此同時，學習者表示他們正在遵循人工智能路線圖（72%），但只有 40% 的人表示他們的高管完全了解人工智能投資的價值。

他們有一個共同點？那就是數據安全挑戰。盡管他們在人工智能和機器學習方面取得了成功，但安全仍然是首要關注的問題。原因如下。

全速前進：人工智能和機器學習如何變得更智能

從歷史上看，計算機按照指令行事。跳出思維定式不是一種選擇——代碼行決定了什么是可能的和允許的。

AI和ML模型采用了不同的方法。AI 和 ML 模型沒有嚴格的結構，而是有一般的指導方針。公司提供大量訓練數據，幫助這些模型“學習”，從而提高其輸出。

一個簡單的例子是用于識別狗圖像的 AI 工具。底層 ML 結構提供了基本指導——狗有四條腿、兩只耳朵、一條尾巴和毛皮。數千張狗和非狗的圖像被提供給 AI。它“看到”的圖片越多，它區分狗的能力就越強。

脫軌：未經授權的模型修改的風險

如果攻擊者能夠訪問 AI 模型，他們就可以修改模型輸出。請考慮上述示例。惡意行為者會破壞業務網絡，并用未標記的貓圖像和錯誤標記為狗的圖像充斥訓練模型。隨著時間的推移，模型準確性會受到影響，輸出不再可靠。

《福布斯》報道了最近的一場比賽，黑客試圖“越獄”流行的人工智能模型，并誘騙它們產生不準確或有害的內容。生成工具的興起使這種保護成為優先事項——2023 年，研究人員發現，只需在查詢末尾添加一串隨機符號，他們就可以說服生成人工智能 (gen AI)工具提供繞過模型安全過濾器的答案。

而且這種擔憂不僅僅是概念上的。正如The Hacker News所指出的，一種名為“Sleepy Pickle”的攻擊技術對 ML 模型構成了重大風險。通過將惡意負載插入 pickle 文件（用于序列化 Python 對象結構），攻擊者可以更改模型權衡和比較數據的方式并更改模型輸出。這可能使他們能夠生成對用戶造成傷害的錯誤信息、竊取用戶數據或生成包含惡意鏈接的內容。

堅持到底：提高安全性的三個要素

為了降低人工智能和機器學習受損的風險，有三個要素至關重要：

1）保護數據

準確、及時和可靠的數據是可用模型輸出的基礎。然而，集中和關聯這些數據的過程為攻擊者創造了一個誘人的目標。如果他們能夠滲透到大規模人工智能數據存儲中，他們就可以操縱模型輸出。

因此，企業需要能夠自動、持續監控人工智能基礎設施以發現受損跡象的解決方案。

2）保護模型

人工智能和機器學習模型的更改可能會導致輸出看似合法，但實際上已被攻擊者修改。在最好的情況下，這些輸出會給客戶帶來不便并減慢業務流程。在最壞的情況下，它們可能會對聲譽和收入產生負面影響。

為了降低模型操縱的風險，組織需要能夠識別安全漏洞和檢測錯誤配置的工具。

3）確保使用安全

誰在使用模型？使用什么數據？用于什么目的？即使數據和模型是安全的，惡意行為者的使用也可能使公司面臨風險。持續的合規性監控對于確保合法使用至關重要。

充分利用模型

AI 和 ML 工具可以幫助企業發現數據洞察并增加收入。然而，如果模型受到攻擊，它們可能會被用來提供不準確的輸出或部署惡意代碼。

借助Guardium AI 安全，企業可以更好地管理敏感模型的安全風險。了解具體方法。