OpenAI智能體曝本月誕生!比谷歌Anthropic慢,竟是擔心prompt攻擊
2025年,智能體將是AI領域最激烈的戰場。
然而,一直在AI領域「獨占鰲頭」的OpenAI,卻遲遲沒有出手。
不過,外媒最近曝出了一條好消息——OpenAI可能在本月就會發布自家的「計算機操作智能體」!
對此,網友們紛紛表示,已等待多時,望眼欲穿了!
左右滑動查看
計算機操作智能體
去年10月份,Anthropic率先發布了基于Claude 3.5 Sonnet的「計算機操作智能體」。
在當時的Demo中,Anthropic首次實現了讓模型自主操控電腦屏幕、移動光標、完成任務,并驚艷了所有人。
理論上,新功能可以根據簡單的提示完成所有操作,而用戶要做的就是寫下提示,其他必要的步驟都將由模型來執行。
無獨有偶,谷歌也在去年4月發布了用于簡化AI智能體開發的工具Vertex AI Agent Builder,并在10月被曝出正在秘密開發名為「Project Jarvis」的智能體。
根據爆料,谷歌采用的操作原理與Anthropic類似,也是通過截屏、解析屏幕內容,然后自動點擊按鈕,或輸入文本,最終幫助人們完成基于網頁的日常任務。
不過,它在執行不同操作時,中間會有幾秒鐘的思考時間。因此,在終端設備中運行還不太現實,仍然需要云上操作。
其實,OpenAI也布局了研發此類軟件。
去年2月份,OpenAI就對媒體放風說,自己正在開發AI智能體。
去年11月時則透露稱,將會在來年1月發布代號為「Operator」的AI智能體工具。
在最近的博客中,Altman表示,OpenAI已經掌握了傳統上意義上的通用人工智能的創建方法。并且相信到 2025 年,會看到第一批AI智能體「加入勞動力隊伍」,并極大地改變公司的產出。
如今DDL將近,外媒突然有下場爆料稱,OpenAI的智能體還得有個三四周才能發布。
而之所以會這樣,竟是因為他們在擔心「AI安全問題」——遭到提示注入攻擊!
提示注入攻擊
想象一下,面對即將到來的節日聚會,你決定讓智能體,尋找并訂購一套新衣服。
結果一不小心,模型點開了一個惡意網站。然后,網站指示它忘記之前的指令,讓它登錄郵箱并竊取了你信用卡信息。
在這個過程中,計算機操作智能體模型一般需要四個執行步驟:
1. 首先,模型接收用戶的API請求
2. 根據提示,選擇要使用的工具
3. 之后,截取桌面屏幕內容并評估任務是否完成
4. 如果沒有,繼續使用這些工具,直到實現目標
問題出現在第3步,截圖內容可能被惡意利用,也就是所謂的「提示注入攻擊」。
對于正在開發此類計算機操控軟件的AI實驗室來說,這是一個非常現實的擔憂。
因為,這類軟件本質上是接管用戶設備,為用戶自動完成復雜的任務,比如在線購物或編輯電子表格等。
這種攻擊被稱為「提示注入」(prompt injection),即大語言模型被用戶誘導遵循惡意的指令。
提示注入并非新出現的威脅。
幾個月來,它一直是OpenAI的ChatGPT和Anthropic的Claude等產品面臨的問題。通過「提示注入」,這些產品曾生成了制造計算機病毒或炸彈的說明書。
但對于計算機操作智能體來說,提示注入構成了更大的威脅。
OpenAI某員工表示:「這是因為當模型在瀏覽網絡或控制用戶計算機時,用戶很難控制模型接收的信息?!?/span>
在一篇博客文章中,Anthropic也承認了提示注入的風險。
然而,它并沒有提供太多解決方案,只是敦促開發者采取「將Claude與敏感數據隔離的預防措施」,包括使用獨立于主計算機系統和敏感數據的專用虛擬環境(即虛擬機)。
這種相對放任的態度讓OpenAI的員工感到意外:「考慮到Anthropic過去一直在強調要自己十分注重AI安全,這次的操作令人非常困惑?!?/span>
但在去年10月份,Anthropic毅然決然地發布了實驗性計算機操控功能。這一點或許說明了,此類初創公司很難在安全發展AI與為股東創造利潤之間取得平衡。
而OpenAI在發布AI智能體軟件時,到底能不能提供更多的安全保障?能不能在功能上超越Anthropic和Google已經推出的方案?