成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

一直爆料OpenAI「草莓」的賬號(hào),竟然是個(gè)智能體?斯坦福系創(chuàng)企「炒作」AgentQ

人工智能 新聞
當(dāng)炒作出了「潑天的流量」,已經(jīng)沒(méi)人關(guān)心產(chǎn)品厲不厲害了。

最近,OpenAI 的秘密項(xiàng)目「Q*」一直受到了圈內(nèi)人士的廣泛關(guān)注。上個(gè)月,以它為前身、代號(hào)為「草莓(Strawberry)」的項(xiàng)目又被曝光了。據(jù)推測(cè),該項(xiàng)目能夠提供高級(jí)推理能力。

最近幾天,關(guān)于這個(gè)項(xiàng)目,網(wǎng)絡(luò)上又來(lái)了幾波「鴿死人不償命」的傳播。尤其是一個(gè)「草莓哥」的賬號(hào),不間斷地宣傳,給人期望又讓人失望。

沒(méi)想到,這個(gè) Sam Altman 出現(xiàn)在哪里,它就在哪里跟帖的「營(yíng)銷(xiāo)號(hào)」,皮下竟然是個(gè)智能體?

今天,一家 AI 智能體初創(chuàng)公司「MultiOn」的創(chuàng)始人直接出來(lái)認(rèn)領(lǐng):雖然沒(méi)等來(lái) OpenAI 發(fā)布「Q*」,但我們發(fā)了操控「草莓哥」賬號(hào)的全新智能體 Agent Q,快來(lái)和我們?cè)诰€玩耍吧!

MultiOn 聯(lián)合創(chuàng)始人兼 CEO Div Garg,他在斯坦福讀計(jì)算機(jī)科學(xué)博士期間休學(xué)創(chuàng)業(yè)。

這波看起來(lái)讓 OpenAI 給自己做嫁衣的營(yíng)銷(xiāo)操作給大家都看懵了。畢竟,最近很多人徹夜未眠等待 OpenAI 的「大新聞」。這要追溯到 Sam Altman 和「草莓哥」的互動(dòng),在 Sam Altman 曬出的草莓照片下,他回復(fù)了「草莓哥」:驚喜馬上就來(lái)。

圖片

不過(guò),「MultiOn」的創(chuàng)始人 Div Garg 已經(jīng)把認(rèn)領(lǐng) Agent Q 就是「草莓哥」的帖子悄悄刪了。

此次,「MultiOn」宣稱,他們發(fā)布的 Agent Q 是一款突破性的 AI 智能體。它的訓(xùn)練方法結(jié)合了蒙特卡洛樹(shù)搜索(MCTS)和自我批評(píng),并且通過(guò)一種叫做直接偏好優(yōu)化(DPO)的算法來(lái)學(xué)習(xí)人類的反饋。

與此同時(shí),作為擁有規(guī)劃和 AI 自我修復(fù)功能的下一代 AI 智能體,Agent Q 的性能是 LLama 3 基線零樣本性能的 3.4 倍。同時(shí),在真實(shí)場(chǎng)景任務(wù)的評(píng)估中,Agent Q 的成功率達(dá)到了 95.4%。

Agent Q 能做什么呢?我們先來(lái)看一下官方 Demo。

它能夠?yàn)槟泐A(yù)定某個(gè)時(shí)間某家餐廳的座位。

圖片

然后為你執(zhí)行網(wǎng)頁(yè)操作,比如查詢空位情況。最終成功預(yù)定。

圖片

此外還能預(yù)定航班(比如本周六從紐約飛往舊金山,單程、靠窗和經(jīng)濟(jì)艙)。


不過(guò),網(wǎng)友似乎對(duì) Agent Q 并不買(mǎi)賬。大家關(guān)心更多的還是他們是否真的借「草莓哥」賬號(hào)炒作的事情,甚至有些人稱他們?yōu)闊o(wú)恥的騙子。

圖片

重要組件和方法概覽

目前,Agent Q 的相關(guān)論文已經(jīng)放出,由 MultiOn 和斯坦福大學(xué)的研究者聯(lián)合撰寫(xiě)。這項(xiàng)研究的成果將在今年晚些時(shí)候向開(kāi)發(fā)人員和使用 MultiOn 的普通用戶開(kāi)放。

圖片

  • 論文地址:https://multion-research.s3.us-east-2.amazonaws.com/AgentQ.pdf

總結(jié)一波:Agent Q 能夠自主地在網(wǎng)頁(yè)上實(shí)施規(guī)劃并自我糾錯(cuò),從成功和失敗的經(jīng)驗(yàn)中學(xué)習(xí),提高它在復(fù)雜任務(wù)中的表現(xiàn)。最終,該智能體可以更好地規(guī)劃如何在互聯(lián)網(wǎng)上沖浪,以適應(yīng)現(xiàn)實(shí)世界的復(fù)雜情況。

在技術(shù)細(xì)節(jié)上, Agent Q 的主要組件包括如下:

使用 MCTS(Monte Carlo Tree Search,蒙特卡洛樹(shù)搜索)進(jìn)行引導(dǎo)式搜索:該技術(shù)通過(guò)探索不同的操作和網(wǎng)頁(yè)來(lái)自主生成數(shù)據(jù),以平衡探索和利用。MCTS 使用高采樣溫度和多樣化提示來(lái)擴(kuò)展操作空間,確保多樣化和最佳的軌跡集合。

AI 自我批評(píng):在每個(gè)步驟中,基于 AI 的自我批評(píng)都會(huì)提供有價(jià)值的反饋,從而完善智能體的決策過(guò)程。這一步驟級(jí)反饋對(duì)于長(zhǎng)期任務(wù)至關(guān)重要,因?yàn)橄∈栊盘?hào)通常會(huì)導(dǎo)致學(xué)習(xí)困難。

直接偏好優(yōu)化(DPO):該算法通過(guò)從 MCTS 生成的數(shù)據(jù)構(gòu)建偏好對(duì)以微調(diào)模型。這種離策略訓(xùn)練方法允許模型從聚合數(shù)據(jù)集(包括搜索過(guò)程中探索的次優(yōu)分支)中有效地學(xué)習(xí),從而提高復(fù)雜環(huán)境中的成功率。

下面重點(diǎn)講一下網(wǎng)頁(yè)(Web-Page)端的 MCTS 算法。研究者探索了如何通過(guò) MCTS 賦予智能體額外的搜索能力。

在以往的工作中,MCTS 算法通常由四個(gè)階段組成:選擇、擴(kuò)展、模擬和反向傳播,每個(gè)階段在平衡探索與利用、迭代細(xì)化策略方面都發(fā)揮著關(guān)鍵作用。

研究者將網(wǎng)頁(yè)智能體執(zhí)行公式化為網(wǎng)頁(yè)樹(shù)搜索,其中狀態(tài)由智能體歷史和當(dāng)前網(wǎng)頁(yè)的 DOM 樹(shù)組成。與國(guó)際象棋或圍棋等棋盤(pán)游戲不同,研究者使用的復(fù)雜網(wǎng)絡(luò)智能體操作空間是開(kāi)放格式且可變的。

研究者將基礎(chǔ)模型用作操作建議(action-proposal)分布,并在每個(gè)節(jié)點(diǎn)(網(wǎng)頁(yè))上采樣固定數(shù)量的可能操作。一旦在瀏覽器中選擇并執(zhí)行一個(gè)操作,則會(huì)遍歷下個(gè)網(wǎng)頁(yè),并且該網(wǎng)頁(yè)與更新的歷史記錄共同成為新節(jié)點(diǎn)。

研究者對(duì)反饋模型進(jìn)行多次迭代查詢,每次從列表中刪除從上一次迭代中選擇的最佳操作,直到對(duì)所有操作進(jìn)行完整排序。下圖 4 為完整的 AI 反饋過(guò)程。

圖片

擴(kuò)展和回溯。研究者在瀏覽器環(huán)境中選擇并執(zhí)行一個(gè)操作以到達(dá)一個(gè)新節(jié)點(diǎn)(頁(yè)面)。從選定的狀態(tài)節(jié)點(diǎn)軌跡開(kāi)始,他們使用當(dāng)前策略 ??_?? 展開(kāi)軌跡,直到到達(dá)終止?fàn)顟B(tài)。環(huán)境在軌跡結(jié)束時(shí)返回獎(jiǎng)勵(lì) ??,其中如果智能體成功則 ?? = 1,否則 ?? = 0。接下來(lái),通過(guò)從葉節(jié)點(diǎn)到根節(jié)點(diǎn)自下而上地更新每個(gè)節(jié)點(diǎn)的值來(lái)反向傳播此獎(jiǎng)勵(lì),如下所示:

下圖 3 展示了所有結(jié)果和基線。當(dāng)讓智能體在測(cè)試時(shí)能夠搜索信息時(shí),即為基礎(chǔ) xLAM-v0.1-r 模型應(yīng)用 MCTS 時(shí),成功率從 28.6% 提升到了 48.4%,接近平均人類表現(xiàn)的 50.0%,并且顯著超過(guò)了僅通過(guò)結(jié)果監(jiān)督訓(xùn)練的零樣本 DPO 模型的性能。

圖片

研究者進(jìn)一步根據(jù)下圖中概述的算法對(duì)基礎(chǔ)模型進(jìn)行了微調(diào),結(jié)果比基礎(chǔ) DPO 模型提高了 0.9%。在精心訓(xùn)練的 Agent Q 模型上再應(yīng)用 MCTS,智能體的性能提升到了 50.5%,略微超過(guò)了人類的平均表現(xiàn)。

圖片

他們認(rèn)為,即使智能體經(jīng)過(guò)了大量的強(qiáng)化學(xué)習(xí)訓(xùn)練,在測(cè)試時(shí)具備搜索能力仍然是一個(gè)重要的范式轉(zhuǎn)變。與沒(méi)有經(jīng)過(guò)訓(xùn)練的零樣本智能體相比,這是一個(gè)顯著的進(jìn)步。

此外,盡管密集級(jí)監(jiān)督比純粹的基于結(jié)果的監(jiān)督有所改善,但在 WebShop 環(huán)境中,這種訓(xùn)練方法的提升效果并不大。這是因?yàn)樵谶@個(gè)環(huán)境里,智能體只需要做很短的決策路徑,可以通過(guò)結(jié)果來(lái)學(xué)習(xí)信用分配。

評(píng)估結(jié)果

研究者選擇了讓智能體在 OpenTable 官網(wǎng)上預(yù)訂餐廳的任務(wù)來(lái)測(cè)試 Agent Q 框架在真實(shí)世界的表現(xiàn)如何。要完成這個(gè)訂餐任務(wù),智能體必須在 OpenTable 網(wǎng)站上找到餐廳的頁(yè)面,選擇特定的日期和時(shí)間,并挑選符合用戶偏好的座位,最后提交用戶的聯(lián)系方式,才能預(yù)定成功。

最初,他們對(duì) xLAM-v0.1-r 模型進(jìn)行了實(shí)驗(yàn),但該模型表現(xiàn)不佳,初始成功率僅為 0.0%。因此,他們轉(zhuǎn)而使用 LLaMa 70B Instruct 模型,取得了一些初步的成功。

不過(guò)由于 OpenTable 是一個(gè)實(shí)時(shí)環(huán)境,很難通過(guò)編程或自動(dòng)化的方式進(jìn)行測(cè)量和評(píng)估。因此,研究者使用 GPT-4-V 根據(jù)以下指標(biāo)為每個(gè)軌跡收集獎(jiǎng)勵(lì):(1) 日期和時(shí)間設(shè)置正確,(2) 聚會(huì)規(guī)模設(shè)置正確,(3) 用戶信息輸入正確,以及 (4) 點(diǎn)擊完成預(yù)訂。如果滿足上述所有條件,則視為智能體完成了任務(wù)。結(jié)果監(jiān)督設(shè)置如下圖 5 所示。

而 Agent Q 將 LLaMa-3 模型的零樣本成功率從 18.6% 大幅提高到了 81.7%,這個(gè)結(jié)果僅在單日自主數(shù)據(jù)收集后便實(shí)現(xiàn)了,相當(dāng)于成功率激增了 340%。在引入在線搜索功能后,成功率更是攀升至 95.4%。

圖片

更多技術(shù)細(xì)節(jié)和評(píng)估結(jié)果請(qǐng)參閱原論文。

責(zé)任編輯:張燕妮 來(lái)源: 機(jī)器之心
相關(guān)推薦

2023-08-10 14:01:08

開(kāi)源虛擬

2024-04-24 09:47:36

2023-03-13 08:09:03

Protobuffeature分割

2023-07-07 17:03:23

AI智能

2025-01-15 13:30:00

2024-10-21 12:40:00

視頻生成模型

2025-06-03 17:40:30

AIDeepSeekOpenAI

2012-03-21 21:38:27

蘋(píng)果

2013-01-31 09:45:14

斯坦福超級(jí)電腦百萬(wàn)內(nèi)核

2019-12-12 10:08:57

AI 數(shù)據(jù)人工智能

2025-06-04 08:00:00

2025-01-14 12:22:10

2019-03-27 10:47:05

人工智能法律AI

2024-09-26 10:23:46

2025-04-09 11:25:36

2024-10-28 10:30:00

AI開(kāi)源模型

2009-05-19 09:06:41

Apple斯坦福iPhone

2019-12-16 14:33:01

AI人工智能斯坦福

2021-10-13 09:38:13

人工智能機(jī)器學(xué)習(xí)技術(shù)

2024-07-22 08:00:00

機(jī)器人虛擬
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)

主站蜘蛛池模板: 四虎影视在线 | 91在线电影 | 91精品国产综合久久久久久蜜臀 | 欧美日韩一区二区在线 | 作爱视频免费观看 | 麻豆国产一区二区三区四区 | 成人欧美一区二区三区黑人孕妇 | 日韩福利| 国产一在线观看 | 91久久国产 | 欧美成人一区二区三区片免费 | 色视频免费 | 精品中文字幕一区 | 91中文视频 | 免费看淫片 | 欧美一区2区三区4区公司 | 欧美一级免费看 | 国产伦一区二区三区四区 | 一级欧美 | 在线亚洲免费 | 日韩一区二区三区视频 | 91在线看片 | 中文字幕亚洲视频 | 国产美女视频一区 | 在线观看国产wwwa级羞羞视频 | 91精品国产91久久久久久最新 | 91在线观看视频 | 久久精品国产一区二区电影 | 日韩精品免费在线观看 | 亚洲成av人片在线观看 | 色又黄又爽网站www久久 | 黑人久久久 | 免费一区二区三区 | 一区二区三区在线观看免费视频 | 激情欧美一区二区三区中文字幕 | 欧美日本一区 | 国产日韩欧美精品一区二区 | 极品一区 | 久久亚洲一区二区三区四区 | 欧美freesex黑人又粗又大 | 亚洲国产二区 |