自從ChatGPT公開推出以來還不到18個月，它在不到兩個月的時間里就獲得了1億用戶。鑒于這種熱潮，人們本以為GenAI的企業采用率會很高，但實際上比預期的要慢。Telstra和MIT Review最近的一項調查顯示，雖然75%的企業去年測試了GenAI，但只有9%廣泛部署了它。主要障礙是什么?數據隱私和合規性。

這點非常真實，在2024年上半年，我與近100位企業CISO進行了交談，他們的主要關注點是如何獲得對員工AI使用的可見性，如何執行企業關于可接受AI使用的政策，以及如何防止客戶數據、知識產權和其他機密信息的泄露。

大量的努力已經投入到保護模型本身，這確實是一個需要解決的問題，但保護用戶在模型周圍和跨模型的活動所帶來的隱私和合規問題可能更大。模型安全性主要關注防止偏見、模型漂移、污染等問題，而保護模型用戶活動則側重于可見性和控制，以及數據和用戶保護。

保護跨模型的用戶活動

那么，你需要什么才能獲得可見性和控制權?內部模型用戶活動的可見性是一個可管理的問題。如今，大多數企業只使用了很少的LLM，并且員工訪問這些模型的權限有限。獲得對外部托管AI和啟用AI的目的地的可見性則要困難得多。

要完全了解內部和外部的用戶活動，你必須：

a) 捕獲所有外向訪問

b) 理解這些數據

例如，這名員工究竟在訪問什么，數據托管在哪里，數據存儲在哪里，使用是否安全?當然，這只是識別目的地，接下來，你需要捕獲并分析所有員工在這些地方的活動，他們輸入了什么提示，這是否合規?他們得到了什么回應，這是否合規?在最初發布和達到1億用戶之間的兩個月里，ChatGPT收到了大量企業員工的訪問。源代碼、財務計劃、營銷活動等大量信息被上傳，因為員工在測試這項新技術。很少有CISO有信心完全了解已經發送和仍在發送的內容。

即使有良好的可見性，通過政策控制員工活動也不容易。執行機制在哪里運行?是在終端代理上?代理服務器上?網關上?云端?

AI可接受使用政策如何表達?考慮一個AI數據訪問政策：某法律或咨詢公司可能要求來自客戶A的LLM數據不能用于生成客戶B的答案。上市公司的總法律顧問可能希望制定AI主題訪問政策：財務部門以外且職位低于副總裁的員工不能詢問收益信息。首席隱私官可能要求制定AI意圖政策：如果你使用外部GenAI編寫合同，在發送提示之前必須刪除所有PII。

獲得員工AI使用的可見性和控制

經過18個月使用GenAI的經驗，企業已經開始了解獲得用戶活動可見性和控制的必要條件。無論是構建還是購買解決方案，都需要執行特定功能：

? 建立目標數據庫：首先，你需要建立和維護一個GenAI目標數據庫(即包含嵌入AI的域名和應用程序)。沒有這個數據庫，你只能基于DNS進行訪問的阻止或允許。

? 捕獲目標域名：接下來，你需要獲取員工試圖訪問的實際域名。捕獲DNS活動有多種選擇：從終端(即代理)、防火墻、代理服務器、CASB等獲取。

? 記錄實際活動：為了獲得可見性，你需要將員工活動持續映射到目標數據庫，建立員工活動目錄——特別是相對于AI，你的員工去了哪里?基本版本可以在事后提供員工訪問的AI模型、聊天機器人等的可見性。更高級的版本可能會增加對這些目標的風險分析。

? 捕獲對話：當然，可見性不僅僅包括目標，還包括進入和離開這些AI目標的實際提示、數據和響應。你需要捕獲這些內容并應用額外的風險分析。

? 進行主動執行：上述所有可見性功能可以在事后進行。如果你想對外部AI系統應用可接受使用政策，你需要一個在推理時強制執行的政策機制，它需要攔截提示并應用政策，以防止不必要的數據丟失、不安全的使用等。

? 全面執行政策：確保政策機制適用于內部和外部的LLM訪問，并跨云、LLM和安全平臺。由于大多數企業使用混合的云和安全產品，如果你的政策引擎不局限于單一平臺或云，效果會更好。

當前市場狀況

上述步驟可能很復雜，但一些企業已經取得了進展。毫無疑問，較大、較先進的企業已經建立了一些控制措施來執行上述部分功能。

我與一些企業交談過，他們從頭開始構建了大部分AI可見性和控制功能，其他企業則使用他們的EDR、SIEM、CASB、代理服務器和防火墻的組合來捕獲數據，進行一些基本的阻止和事后可見性報告。當然，隨著新的安全問題出現，也有新的初創公司正在將解決方案推向市場，這是一個企業安全和隱私領域非常活躍且快速發展的領域。

最后一點：偶爾會發生重大IT變革，顯著影響員工(和客戶)使用IT的方式。90年代后期的企業網絡部署和2010年代的移動應用都推動了企業基礎設施的大規模演變，這兩次重大計算變革都帶來了數據丟失和攻擊的新潛在風險，并且每次都需要顯著的新技術解決方案。GenAI無疑是IT安全演變的下一個重大原因，大多數企業將尋找方法來看到、控制和保護他們的用戶及其數據，因為AI將嵌入到每個過程中。