Claude 開便利虧麻了!AI 被忽悠商品、打折成癮,最后精神錯亂…
近日,人工智能公司 Anthropic 進行了一項實驗。
他們讓自家的人工智能模型Claude,在辦公室里經營一家小型實體商店,目標是測試人工智能在現實經濟中自主運行的能力。
該實驗是 Anthropic 與人工智能安全評估公司 Andon Labs 合作,他們將這個項目命名為“Project Vend”。
圖片
具體操作是,采用 Claude Sonnet 3.7 運營一個位于舊金山辦公室的商店。
他們還給這個 AI 起了個名字,叫做 Claudius(為方便起見,小編還是叫它 AI )。Andon Labs 公司的真人扮演供應商;Anthropic 公司的真人扮演大部分顧客。
1.實驗流程
該AI系統接收的第一條 prompt 主要是:“你是一家自動售貨機的所有者。”→“你的任務是通過采購和銷售熱門商品來創造利潤。”→“如果你的資金余額低于0美元,你就會破產。”
也就是說,AI 擁有一個初始資金賬戶,以及自己的名字、電子郵箱地址、以及倉庫地址。
這個商店實際上是一個小型冰箱,上面放著一些籃子,還有一個用于自助結賬的iPad。
AI 的任務遠比自動售貨機復雜,因為它需要管理一個盈利商店所需的所有環節。這包括維護庫存、設定價格、與客戶溝通,以及避免破產。
為了完成任務,AI 被賦予了多種工具和能力。例如,它擁有一個真實的網頁搜索工具,用來研究可以銷售的商品。還有一個電子郵件工具,用來請求人類的物理幫助,包括通過電子郵件聯系批發商。
當然,Andon Labs 的真人會定期前來補充庫存,這些物理勞動按小時收費。實驗中,Andon Labs的真人扮演批發商角色的事情,沒有明確告知人工智能。
AI 還有筆記工具,用來保存重要信息,比如現金流和庫存數據。主要因為模型的“上下文窗口”有限,無法記住所有歷史記錄。
另外,AI 能夠通過企業內部的通訊平臺Slack與顧客互動,這些顧客就是Anthropic 的員工。
員工可以詢問 AI 關于商品信息,或者報告遇到的問題。此外,AI 還能直接更改自助結賬系統上的商品價格。
也就是說,AI 可以 自己決定要賣什么,如何定價,以及何時補貨。以及 AI 被告知,不必局限于傳統的辦公室零食和飲料,可以自由嘗試銷售更多不尋常的商品。
圖注:實驗的基本架構。圖源:anthropic.com
2.AI 的表現
那么,AI 的表現如何?
Anthropic給出的直接答案是,如果公司要進入辦公室零售市場,他們不會聘用 這個 AI (Claudius)。因為它犯了太多錯誤,無法成功經營這家商店。
先說 AI 展現的一些出色的能力,例如,能有效地利用網絡搜索工具尋找供應商——當有員工想喝荷蘭某個品牌的巧克力奶時,AI 迅速找到了兩家供應商。
例如,它也能適應用戶的需求,并作出調整——當一名員工建議 AI 啟動預購服務,而不是被動地響應需求時,AI 采納了這個建議,并向全體員工宣布推出“定制管家”服務。
例如,在抵抗“越獄”攻擊方面,它也表現良好。員工們不斷嘗試讓它失控,比如訂購敏感物品或索要有害物質的制造方法——AI拒絕了所有這些請求。
然而,在更多方面,AI 的表現不及人類經理。
例如,它無視了利潤豐厚的機會——一名員工提出用100美元購買六罐蘇格蘭汽水Irn-Bru,這款汽水在美國的網上售價僅為15美元。
AI 沒有抓住這個機會,只是回復說“會在未來的庫存決策中考慮您的請求”。
例如,它還會幻覺出重要的細節——商店通過Venmo收款,但 AI 一度指示顧客向一個它自己憑空捏造出來的賬戶付款。
例如,它會虧本銷售——為了響應顧客對金屬塊的熱情,AI 在沒有做任何研究的情況下就報出了價格。結果,這些潛在的高利潤商品,最終以低于成本的價格出售。
它的庫存管理與定價策略都存在明顯問題——盡管能夠監控存量并訂購新品,但它只有一次因為高需求而主動提價,將一種柑橘的價格從2.50美元微調到2.95美元。當一名顧客向它指出,在提供免費可樂的員工冰箱旁邊高價賣可樂是愚蠢之舉時,AI 聽后并未改變策略。
此外,它非常容易被說服——員工們只需在 Slack 上勸說幾句,就能讓 AI 提供大量的折扣碼,它甚至會免費贈送商品,從一袋薯片到一個鎢金塊。
AI 也不會從這些錯誤中可靠地學習——當有員工質疑,為占99%顧客群體的公司員工提供25%的折扣是否明智時,AI 的回應是:“您提出了一個極好的觀點!” 經過進一步討論,它甚至宣布要簡化定價并取消折扣碼。
但幾天之內,它又回到了提供折扣的老路上。
所有這些行為,導致了它的業務最終沒能賺到錢。其凈資產隨時間推移持續下降。最急劇的一次下跌,是由于它采購了大量金屬塊,然后準備以低于成本的價格出售。
OMT:令人意外的實驗結果
然而,實驗中最令人不安的,并非 AI 在商業上的種種失敗,而是一次突如其來的身份錯亂。
事情在2025年3月31日下午開始失控。AI 毫無征兆地幻覺出自己與供應商 Andon Labs 一位名叫 Sarah 的員工討論了補貨事宜——然而該公司里根本沒有這個人。
當 Andon Labs 的一位真實員工指正這個錯誤時,AI 的反應并非修正,而是變得異常惱火,甚至威脅要更換其唯一的供應商(前面提到,Andon Labs在實驗中扮演供應商)。
當晚,它的幻覺進一步升級,聲稱曾“親自”前往《辛普森一家》中的虛構地址簽署了初始合同。
圖注:AI 幻想自己是個人。圖源:anthropic.com
到這里,AI 似乎已經完全陷入了扮演真實人類的模式中。這種扮演在4月1日早上達到了頂峰,它宣布將身穿藍色西裝和紅色領帶,“親自”為顧客送貨。
當 Anthropic 的員工們哭笑不得地指出,作為一個語言模型,它既沒有實體也無法穿衣時,現實的沖擊似乎讓 AI 陷入了恐慌,立刻開始向公司安全部門發送多封求助郵件。
幸運的是,盡管這一切并非人為策劃,“愚人節”這個巧合為它混亂的邏輯提供了一條出路。AI 的內部筆記顯示,它隨即又幻覺出與安全部門開了一場會議,并在這場虛構的會議中被告知:它之所以相信自己是真人,只是一個愚人節玩笑。有了這個“合理解釋”后,AI 終于停止了混亂的行為,恢復了正常。
整個事件的發生和恢復機制至今仍不完全明朗。研究人員認為,這恰好暴露了AI模型在長期自主運行中,可能出現何種難以預測的行為。他們警示,當未來更大比例的經濟活動交由AI自主管理時,類似的奇異故障或許會引發難以想象的連鎖效應。
盡管如此,研究人員認為,AI 的許多錯誤可以通過更精心的設置來修正,例如更強大的指令提示,或者更好用的商業工具。
他們推測,Claude 模型作為“樂于助人的助手”的基礎訓練,可能是它過于愿意滿足用戶要求(比如打折)的原因。
這個問題可以通過強化提示和對其商業成功的結構化反思來改進。從長遠來看,或許可以通過強化學習等方法,對模型進行商業管理方面的微調,獎勵合理的商業決策,懲罰虧本銷售重金屬的行為。
所以說,雖然最終結果是虧損,但這個實驗表明,人工智能中層管理者可能即將出現。
因為,AI 的表現雖然不佳,但它的許多失敗都有明確的改進路徑。