隱形AI風險浮現:安全專家呼吁該治理“影子AI”了
網安領導者和CISO發現,近年來大量影子AI應用程序已危及企業網絡,有些甚至持續運行一年多。
這些應用并非典型的攻擊手段,而是員工在無IT和安全監管的情況下私自創建的AI程序。目的是實現從自動化報告到營銷自動化、數據分析等多種功能。依賴公司數據,它們正在使用私有數據訓練公共模型,由此衍生風險。
因此,許多機構將影子AI視為2025年關鍵威脅之一。
影子AI泛濫成災
所謂影子AI,是指未經批準在企業內部使用的AI工具和應用。
影子AI就像"數字類固醇",讓人能在更短時間完成更多工作。WinWire的CTO Vineet Arora指出,各部門紛紛使用未批準的AI解決方案,因為直接獲得的好處太誘人了。
Prompt Security的CEO兼聯合創始人Itamar Golan表示:"我們每天看到50個新AI應用,已整理超過1.2萬個。約40%默認會使用任何提供的數據訓練,這意味著用戶知識產權可能被納入模型。"
影子AI應用數量正快速增長。Software AG的一項調查顯示,75%的知識工作者已在使用AI工具,46%的人即使雇主禁止也不會放棄使用。大多數影子AI應用依賴ChatGPT和谷歌的Gemini。
自2023年以來,ChatGPT允許用戶在幾分鐘內創建定制機器人。據統計,一個典型的銷售、市場和定價經理,如今平均在ChatGPT中擁有22個定制機器人。
考慮到73.8%的ChatGPT賬戶都是缺乏安全和隱私控制的非公司賬戶,影子AI如此蔓延也就不足為奇了。Gemini的這一比例更高,達到94.4%。Salesforce的一項調查顯示,超過一半(55%)的全球員工承認在工作中使用未經批準的AI工具。
Arora發現,各業務部門都在秘密使用AI驅動的SaaS工具。由于多個團隊擁有獨立預算權限,業務部門正在快速部署AI,而且往往沒有經過安全審批。
大多數創建影子AI應用的員工并非出于惡意。他們正在應對日益復雜的工作、時間緊缺和更嚴格的期限。Golan比作"這就像在環法自行車賽中使用興奮劑一樣,人們想獲得優勢,但沒有意識到長期后果。"
Arora指出,現有的IT和安全框架無法檢測影子AI,大多數傳統工具和流程都缺乏對AI應用的可見性和控制,這是影子AI在企業中泛濫的原因。
一場看不見的虛擬海嘯
這種方式創建的AI應用和工具,很少甚至從未設置防護措施,帶來了重大風險,包括數據泄露、合規性違規和聲譽損害。
員工可能將敏感信息上傳到生成式AI工具中,導致這些數據被不當使用或泄露。據Cyberhaven報告,2024年企業員工上傳到生成式AI工具的敏感數據增長了485%。
Golan分析說,當用戶在模型中粘貼源代碼或財務數據,這些數據就存在于該模型中了。正在訓練公共模型的公司,默認使用影子AI應用執行各種任務。一旦專有數據進入公共領域模型,任何組織都將面臨更大挑戰,尤其是對于有重大合規性和監管要求的上市公司而言。
他舉例,數以千計嵌入主流SaaS產品中的AI功能正被修改,在IT或安全人員不知情的情況下訓練、存儲和泄露公司數據。
影子AI的使用還可能違反企業的數據保護政策和法規要求,導致合規性問題。Golan指出,或許即將出臺的歐盟人工智能法案的罰款規模會超過GDPR,并警告說,如果私有數據流向未經批準的AI工具,美國的受監管行業也可能面臨處罰。
此外,影子AI還存在運行時漏洞和提示注入攻擊的風險,傳統的終端安全和數據防丟失系統無法檢測和阻止這些風險。
影子AI正在緩慢瓦解企業的安全邊界。由于看不到組織內部影子AI使用的激增,許多企業都沒有注意到這一點。
Golan舉例,一家紐約金融公司的安全主管以為他們使用的AI工具不到10個,但經過10天的審計,他們發現了65個未經授權的解決方案,其中大多數都沒有正式許可。
影子AI治理的七個關鍵
是時候系統治理影子AI了。
Golan認為,組織要直面影子AI,而不能假裝其不存在。否則,可能會在問題發生時措手不及。
Arora表示,數據證明,一旦員工了解公司有經過批準的AI途徑和明確的政策,就不會再覺得有必要秘密使用未經批準的工具。這可以減少了風險和摩擦。
Arora認為,對于影子AI的管控目標,是在不失控的情況下實現創新。不斷平衡靈活性和安全性,不能因噎廢食,扼殺創新。因此組織必須制定具有強大安全性的策略,同時讓員工有效地使用AI技術,全面禁止往往會導致AI使用地下化,從而加劇風險。
在這種情況下,影子AI治理應該關注以下七個關鍵:
1. 進行正式的影子AI審計。建立基于全面AI審計的起始基線。使用代理分析、網絡監控和清單來揪出未經授權的AI使用情況。Arora認為,檢測影子AI需要網絡流量監控、數據流分析、軟件資產管理、申請,甚至人工審計。
2. 創建負責任AI辦公室,將IT、安全、法律和合規性的政策制定、供應商審查和風險評估集中起來。Arora指出,這種做法在他的客戶那里非常有效。他指出,這個辦公室應該配套強有力的AI治理框架和對員工的數據泄露潛在風險培訓。經審批的AI目錄和強大的數據治理將確保員工使用安全、經批準的解決方案。
3. 部署AI感知安全控制。傳統工具無法發現基于文本的漏洞。采用專注于AI的數據防丟失、實時監控和自動化,以標記可疑提示。
4. 建立集中的AI清單和目錄。經過審查的已批準AI工具列表,可以減少業務部門對臨時服務的誘惑。當IT和安全部門主動更新列表時,創建影子AI應用程序的動機就會減少。這種方法的關鍵是保持警惕,并對用戶需求快速響應安全的高級AI工具。
5. 強制執行員工培訓,提供影子AI對任何企業有害的實例。Arora說:"如果員工不理解,政策就沒有意義。"教育員工安全使用AI和潛在的數據處理風險。
6. 與治理、風險和合規性(GRC)以及風險管理相集成。Arora和Golan都強調,AI監管必須與關鍵的治理、風險和合規性流程相掛鉤,這對受監管行業至關重要。
7. 認識到全面禁令行不通,要想新辦法快速提供合法的AI應用程序。Golan指出,全面禁令從來都不管用,反而會導致更多影子AI應用程序的創建和使用。Arora建議他的客戶提供企業級安全AI選項(如Microsoft 365 Copilot、ChatGPT Enterprise),并明確負責任使用的指引。
通過結合集中的AI治理策略、用戶培訓和主動監控,組織可以利用生成式AI的潛力,而不會犧牲合規性或安全性。Arora強調,單一的集中管理解決方案加上一致的政策至關重要,能夠促進創新,同時保護企業數據,這兩全其美的最佳方案。
影子AI將長期存在。與其徹底封殺,不如著眼于實現安全生產力,讓員工能夠按照自己的方式利用AI的變革力量。
參考鏈接:
https://venturebeat.com/security/shadow-ai-unapproved-ai-apps-compromising-security-what-you-can-do-about-it/。