編輯 | 言征

出品 | 51CTO技術(shù)棧（微信號：blog51cto）

10個月過去，世界“首位AI程序員”究竟如何了？

近日， Answer.AI 團(tuán)隊中經(jīng)常試驗 AI 開發(fā)工具的測試團(tuán)隊秉著“百聞不如一見”的精神，與最受Twitter追捧的編程神器共事了一個月，結(jié)果非常慘烈。

“作為 Answer.AI 團(tuán)隊中經(jīng)常試驗 AI 開發(fā)工具的一員，Devin 給人的感覺有些不同。如果它能實現(xiàn)承諾的一半，它就能改變我們的工作方式。但盡管 Twitter 上充滿了熱情，我們卻找不到太多關(guān)于人們實際使用它的詳細(xì)記錄。所以我們決定對它進(jìn)行測試，在各種現(xiàn)實世界的任務(wù)中對其進(jìn)行測試。這就是我們的故事——一次徹底的、現(xiàn)實世界的嘗試，嘗試使用 2024 年最受炒作的 AI 產(chǎn)品之一。

圖片

不過，經(jīng)過20項實際的工作測試任務(wù)后，“首位AI軟件工程師”的服務(wù)在真實工作水平表現(xiàn)相當(dāng)糟糕。

隸屬于 Answer.AI（由 Jeremy Howard 和 Eric Ries 創(chuàng)立的 AI 研發(fā)實驗室）的三名數(shù)據(jù)科學(xué)家對 Devin 進(jìn)行了測試，發(fā)現(xiàn)它只成功完成了 20 項任務(wù)中的 3 項。

1.20項只完成了三項，Devin真實實力不堪一擊

在本月初（1月8日），由 Hamel Husain、Isaac Flath 和 Johno Whitaker 發(fā)表了一項針對Devin的綜合分析中，Devin 開局不錯，成功地將數(shù)據(jù)從 Notion 數(shù)據(jù)庫提取到 Google 表格中。

圖片

AI 代理還設(shè)法創(chuàng)建了一個行星跟蹤器，用于檢查有關(guān)木星和土星歷史位置的說法。

但隨著三名研究人員繼續(xù)測試，他們遇到了問題。

研究人員在他們的報告中解釋說：

“看似簡單的任務(wù)通常需要幾天而不是幾小時，Devin會陷入技術(shù)死胡同或產(chǎn)生過于復(fù)雜、不可用的解決方案。“更令人擔(dān)憂的是，Devin 傾向于推進(jìn)實際上不可能的任務(wù)。”

例如，他們引用了Devin在被要求將多個應(yīng)用程序部署到基礎(chǔ)設(shè)施部署平臺 Railway 時如何不理解、如何不受支持，并花了一天多的時間嘗試不奏效的方法，此外還產(chǎn)生不存在的功能等類似的幻覺。

在提交給 Devin 的20項任務(wù)中，AI軟件工程師只圓滿地完成了其中的 3 項——上面提到的兩項任務(wù)和研究如何使用 Python 構(gòu)建 Discord 機(jī)器人的第三項挑戰(zhàn)。其他3項任務(wù)產(chǎn)生了不確定的結(jié)果，14個項目徹底失敗。

圖片

研究人員表示，Devin提供了完美的用戶體驗，在奏效時令人印象深刻。

“但問題是——它很少奏效，在我們嘗試的20項任務(wù)中，我們看到14次失敗，3 次結(jié)果不確定，只有 3 次成功。”他們寫道。

“更令人擔(dān)憂的是，我們無法預(yù)測哪些任務(wù)會成功。即使是類似于我們早期勝利的任務(wù)也會以復(fù)雜、耗時的方式失敗。看似有希望的自主性變成了一種負(fù)擔(dān)——Devin會花幾天時間尋找不可能的解決方案，而不是識別根本的障礙。”

我們在實際使用AI工具中會反復(fù)觀察到這樣一種現(xiàn)象甚至是模式：無法預(yù)測哪些任務(wù)會成功。

所以，社交媒體的吹捧熱情和公司估值與現(xiàn)實世界的真實效用并不匹配。

但我們還是需要可靠的、可交付的產(chǎn)品和服務(wù)來推動增長，不是嗎？

截至目前，Devin背后的公司Cognition AI沒有回應(yīng)置評請求。

2.Devin自主執(zhí)行任務(wù)的原理

“Devin”被譽為自主編程智能體，于 2024 年 3 月推出。該機(jī)器人的創(chuàng)建者是一家名為 Cognition AI 的機(jī)構(gòu)，它聲稱“Devin 可以端到端地構(gòu)建和部署應(yīng)用程序”，以及“可以自主查找和修復(fù)代碼庫中的錯誤”。該工具于 2024 年 12 月正式發(fā)布，起價為每月 500 美元。

根據(jù) Cognition 官方文檔的描述，Devin 是一名自主的 AI 軟件工程師，可以編寫、運行和測試代碼，幫助軟件工程師完成個人任務(wù)或團(tuán)隊項目，它可以審查 PR、支持代碼遷移、響應(yīng)隨叫隨到的問題、構(gòu)建 Web 應(yīng)用程序，甚至執(zhí)行個人助理任務(wù)，例如在 DoorDash 上訂購午餐，以便您可以專注于您的代碼庫。

原理上大概是這樣：該服務(wù)使用 Slack 作為其命令的主接口，這些命令被發(fā)送到其所在的計算環(huán)境，一個托管終端、瀏覽器、代碼編輯器和規(guī)劃器的 Docker 容器。AI 代理支持與外部服務(wù)的 API 集成。例如，這允許它通過 SendGrid 代表用戶發(fā)送電子郵件。

Devin 是一個“復(fù)合 AI 系統(tǒng)”，這意味著它依賴于多個底層 AI 模型，其中包括 OpenAI 的 GPT-4o，并且之后會有更過的模型加入。

從理論上講，用戶能夠要求Devin執(zhí)行將代碼遷移到 Jupyter Notebook 開發(fā)平臺 nbdev 等任務(wù)，并期望它能夠成功完成這些任務(wù)。但這可能要求太高了。

3.早期就被曝視頻造假，問題還很多

去年3月，Devin 在爆火不久后，就被人曝料早期評估發(fā)現(xiàn)了問題。起因是Cognition AI 發(fā)布了一段宣傳視頻，引起了業(yè)界的廣泛關(guān)注，據(jù)稱該視頻展示了 AI 編碼員可以在自由職業(yè)者平臺 Upwork 上自主完成項目來賺錢。

圖片

但很快，軟件開發(fā)人員 Carl Brown 分析了該視頻，并在他的 Internet of Bugs YouTube 頻道上揭穿了它：自己對于視頻中操作只需要36分鐘，而用Devin則至少需要6小時甚至可能超過一天的時間。

另外，Devin 還因涉嫌包含關(guān)鍵安全問題而被另一位 YouTube 代碼專家點名批評。

只能說，即便是較為成熟的編程賽道，要做一款另用戶真正滿意的自主Agent，任重道遠(yuǎn)。

參考鏈接：??https://www.answer.ai/posts/2025-01-08-devin.html#appendix-tasks-attempted-with-devin??

本文轉(zhuǎn)載自??51CTO技術(shù)棧??，作者：言征