近日，云安全提供商 Wiz 發(fā)現(xiàn)上傳到 Hugging Face 的生成式 AI 模型存在兩個關(guān)鍵的架構(gòu)缺陷。

在最新發(fā)表的一篇博文中，Wiz Research 描述了這兩個缺陷及其可能給 AI 即服務(wù)提供商帶來的風(fēng)險。

• 共享推理基礎(chǔ)設(shè)施接管風(fēng)險
• 共享持續(xù)集成和持續(xù)部署（CI/CD）接管風(fēng)險

共享推理基礎(chǔ)設(shè)施接管風(fēng)險

在分析上傳到 Hugging Face 上的幾個 AI 模型時，Wiz 的研究人員發(fā)現(xiàn)其中一些模型在共享推理基礎(chǔ)設(shè)施。

在生成式 AI 中，推理指的是根據(jù)先前訓(xùn)練的模型和輸入數(shù)據(jù)進(jìn)行預(yù)測或決策的模型。

推理基礎(chǔ)設(shè)施允許執(zhí)行 AI 模型，可以是 "邊緣"（如 Transformers.js）、通過應(yīng)用編程接口（API）或按照推理即服務(wù)（Inference-as-a-Service）模式（如 Hugging Face 的推理端點）。

Wiz 研究人員發(fā)現(xiàn)，推理基礎(chǔ)設(shè)施經(jīng)常運行使用 'pickle' 格式的不受信任的、潛在惡意的模型。'pickle' 格式的 AI 模型是使用 Python pickle 模塊保存的訓(xùn)練模型的序列化壓縮版本，比存儲原始訓(xùn)練數(shù)據(jù)更緊湊、占用空間更少。

但是，惡意的 pickle 序列化模型可能包含遠(yuǎn)程代碼執(zhí)行有效載荷，使攻擊者的權(quán)限升級并跨租戶訪問其他客戶的模型。

共享持續(xù)集成和持續(xù)部署（CI/CD）接管風(fēng)險

持續(xù)集成和持續(xù)部署（CI/CD）管道是一種自動化軟件開發(fā)工作流程，可簡化應(yīng)用程序的構(gòu)建、測試和部署過程。

它實質(zhì)上是將原本需要手動完成的步驟自動化，從而加快發(fā)布速度并減少錯誤。

Wiz 研究人員發(fā)現(xiàn)，攻擊者可能會試圖接管 CI/CD 管道本身，并發(fā)起供應(yīng)鏈攻擊。

來源：Wiz

AI基礎(chǔ)設(shè)施風(fēng)險的潛在利用方式

在這篇博文中，Wiz 還描述了攻擊者可能利用這兩種風(fēng)險的一些方法，包括：

• 利用輸入使模型產(chǎn)生錯誤預(yù)測（例如，adversarial.js）
• 使用產(chǎn)生正確預(yù)測結(jié)果的輸入，但這些預(yù)測結(jié)果卻在應(yīng)用程序中被不安全地使用（例如，產(chǎn)生會導(dǎo)致數(shù)據(jù)庫 SQL 注入的預(yù)測結(jié)果）
• 使用特制的、pickle 序列化的惡意模型執(zhí)行未經(jīng)授權(quán)的活動，如遠(yuǎn)程代碼執(zhí)行 (RCE)

Wiz 研究人員還通過利用 Hugging Face 上的已命名基礎(chǔ)設(shè)施漏洞展示了對云中使用的生成式AI模型的攻擊。

來源：Wiz

Wiz 研究人員發(fā)現(xiàn)，Hugging Face 平臺上的生成式 AI 模型在收到惡意預(yù)設(shè)關(guān)鍵詞（后門）時會執(zhí)行命令。

缺乏檢查 AI 模型完整性的工具

Wiz 解釋稱，目前只有極少數(shù)工具可用于檢查特定模型的完整性，并驗證其確實沒有惡意行為。不過，Hugging Face 提供的 Pickle Scanning 可以幫助驗證 AI 模型。

另外，開發(fā)人員和工程師在下載模型時必須非常謹(jǐn)慎。使用不受信任的 AI 模型可能會給應(yīng)用程序帶來完整性和安全風(fēng)險，相當(dāng)于應(yīng)用程序中包含不受信任的代碼。

Wiz 研究人員強調(diào)，這些風(fēng)險并非 Hugging Face 所獨有，它們代表了許多 AI 即服務(wù)公司將面臨的租戶分離挑戰(zhàn)。考慮到這些公司運行客戶代碼和處理大量數(shù)據(jù)的模式，它們的增長速度超過以往任何行業(yè)，安全界應(yīng)該與這些公司密切合作，確保建立安全基礎(chǔ)設(shè)施和防護(hù)措施，同時不會阻礙公司迅速增長。