本文作者王曉強(qiáng)，加拿大蒙特利爾大學(xué)（Université de Montréal）和 Mila 人工智能研究所博士生，師從劉邦教授。博士期間的主要研究方向?yàn)樽匀徽Z(yǔ)言處理，重點(diǎn)關(guān)注大語(yǔ)言模型的能力評(píng)估及其在智能體中的應(yīng)用。目前已在自然語(yǔ)言處理領(lǐng)域的頂級(jí)會(huì)議 ACL、EMNLP 等發(fā)表多篇論文。

在人工智能的宏大發(fā)展藍(lán)圖里，通用人工智能（AGI）堪稱(chēng)研究者們夢(mèng)寐以求的 「圣杯」，其終極目標(biāo)是打造出像人類(lèi)一樣擁有廣泛且靈活智能的系統(tǒng)，能夠理解、學(xué)習(xí)并勝任幾乎所有任務(wù)。在邁向這個(gè)目標(biāo)的征程中，實(shí)現(xiàn)人工智能與數(shù)字世界的高效交互至關(guān)重要，而桌面任務(wù) UI 自動(dòng)化更是其中的關(guān)鍵賽道。

想象一下，未來(lái)我們只需輕松說(shuō)出指令，電腦就能自動(dòng)完成各種復(fù)雜操作，繁瑣的手動(dòng)操作成為歷史，工作效率大幅提升，這樣的場(chǎng)景是不是很令人期待？

去年，Anthropic 發(fā)布的 Computer use 為 AI 在桌面操作領(lǐng)域帶來(lái)了新突破。它允許開(kāi)發(fā)者通過(guò) API，讓 Claude 像人類(lèi)一樣操作計(jì)算機(jī)，極大拓展了 AI 在桌面操作領(lǐng)域的應(yīng)用場(chǎng)景。

今年一月份，OpenAI 重磅推出的 Computer Using Agent（CUA）也備受矚目，其賦能的 Operator 憑借 GPT-4o 的視覺(jué)能力，能夠 「看懂」網(wǎng)站并與之交互，還可在 ChatGPT 界面自動(dòng)執(zhí)行多種常規(guī)瀏覽器任務(wù)。

與它們采用商用 API 不同，今天要給大家介紹一個(gè)來(lái)自加拿大蒙特利爾大學(xué)和 Mila 研究所的研究團(tuán)隊(duì)的開(kāi)源解決方案 ——OSCAR（Operating System Control via state-Aware reasoning and Re-planning）。

OSCAR 不僅實(shí)現(xiàn)了桌面任務(wù) UI 自動(dòng)化，還在多個(gè)操作系統(tǒng)環(huán)境（桌面 Windows、Ubuntu 和智能手機(jī) Android）完成了泛化與驗(yàn)證。目前，該研究已被 AI 領(lǐng)域頂級(jí)會(huì)議 ICLR 錄用。下面，就讓我們深入了解一下它的創(chuàng)新之處。

• 論文題目：OSCAR: Operating System Control via State-Aware Reasoning and Re-Planning
• 論文鏈接：https://arxiv.org/abs/2410.18963

操作系統(tǒng) UI 交互自動(dòng)化面臨的挑戰(zhàn)：動(dòng)態(tài)自適應(yīng)難題

基于多模態(tài)大型語(yǔ)言模型（MLLM）的智能體（Agent）在復(fù)雜任務(wù)自動(dòng)化領(lǐng)域表現(xiàn)出色，廣泛應(yīng)用于網(wǎng)絡(luò)瀏覽、游戲、軟件開(kāi)發(fā)等場(chǎng)景，但不同應(yīng)用的觀察和動(dòng)作空間差異極大，導(dǎo)致智能體通用性差，難以適應(yīng)復(fù)雜工作流。

此外，以往的 UI 交互智能體多在靜態(tài)離線的環(huán)境中開(kāi)發(fā)，靠視覺(jué)問(wèn)答和預(yù)設(shè)動(dòng)作路徑操作，缺乏操作系統(tǒng)實(shí)時(shí)反饋，任務(wù)失敗時(shí)無(wú)法動(dòng)態(tài)自適應(yīng)。在現(xiàn)實(shí)應(yīng)用中，實(shí)時(shí)反饋和自適應(yīng)調(diào)整對(duì)適應(yīng)新的 UI 環(huán)境至關(guān)重要，比如 「打開(kāi)某文件并打印」 有多種操作路徑，可通過(guò)開(kāi)始菜單搜索，也能直接導(dǎo)航路徑，但傳統(tǒng)智能體難以應(yīng)對(duì)這種多樣性。

具體構(gòu)建通用 UI 交互智能體面臨以下挑戰(zhàn)：

• 統(tǒng)一控制接口難題：智能體需熟練運(yùn)用鼠標(biāo)、鍵盤(pán)等標(biāo)準(zhǔn)輸入方式，精準(zhǔn)理解視覺(jué)信息并轉(zhuǎn)化為指令，在不同應(yīng)用中穩(wěn)定高效操作。
• UI 定位困境：智能體要能解讀屏幕信息，精準(zhǔn)識(shí)別各類(lèi)元素，如網(wǎng)頁(yè)搜索時(shí)準(zhǔn)確找到搜索框并正確交互，對(duì)其理解和定位能力要求高。
• 新 UI 探索與重規(guī)劃挑戰(zhàn)：智能體需像人類(lèi)面對(duì)陌生軟件一樣，具備動(dòng)態(tài)探索和調(diào)整計(jì)劃的能力，能處理軟件崩潰等意外，依據(jù)反饋優(yōu)化策略。

OSCAR 的獨(dú)特設(shè)計(jì)：靈活狀態(tài)機(jī)與動(dòng)態(tài)重規(guī)劃的巧妙結(jié)合

為解決上述難題，研究團(tuán)隊(duì)推出 OSCAR。它以代碼為核心控制方式，與動(dòng)態(tài)操作系統(tǒng)環(huán)境自主交互，創(chuàng)新點(diǎn)如下：

• 狀態(tài)機(jī)架構(gòu)：OSCAR 采用狀態(tài)機(jī)模式，通過(guò) [Init]（初始化）、[Observe]（觀察）、[Plan]（規(guī)劃）、[Execute]（執(zhí)行）、[Verify]（驗(yàn)證）等狀態(tài)循環(huán)，處理任務(wù)各環(huán)節(jié)。遇到問(wèn)題時(shí)利用實(shí)時(shí)反饋重新規(guī)劃，比傳統(tǒng)方式效率更高、適應(yīng)性更強(qiáng)。

OSCAR 狀態(tài)機(jī)

• 視覺(jué)和語(yǔ)義雙重 UI 定位：OSCAR 利用 Set-of-Mark（SoM）提示技術(shù)和可訪問(wèn)性（A11Y）樹(shù)生成視覺(jué)提示，精準(zhǔn)定位 UI 元素；同時(shí)添加描述性標(biāo)簽進(jìn)行語(yǔ)義定位，便于把握 UI 布局，靈活操作元素。

OSCAR 視覺(jué)和語(yǔ)義雙重 UI 定位

• 任務(wù)驅(qū)動(dòng)重新規(guī)劃：受計(jì)劃 - 解決提示（plan-and-solve）啟發(fā)，OSCAR 將用戶(hù)指令分解為子任務(wù)并逐步生成動(dòng)作。收到負(fù)面反饋時(shí)，針對(duì)特定子任務(wù)重新規(guī)劃，避免整體重規(guī)劃，提高效率并防止錯(cuò)誤傳播。
• 基于代碼的動(dòng)作：OSCAR 借助生成的語(yǔ)義定位信息，利用元素 ID 或坐標(biāo)引用交互元素，通過(guò) PyAutoGUI 庫(kù)生成控制代碼，精確控制操作系統(tǒng)。

OSCAR 任務(wù)分解與重規(guī)劃

OSCAR 實(shí)驗(yàn)驗(yàn)證：UI 理解、定位和動(dòng)態(tài)導(dǎo)航能力的實(shí)力認(rèn)證

研究人員在 GAIA、OSWorld、AndroidWorld 等多個(gè)真實(shí)世界工作流自動(dòng)化基準(zhǔn)測(cè)評(píng)數(shù)據(jù)集中對(duì) OSCAR 進(jìn)行了評(píng)估，這些基準(zhǔn)涵蓋了不同難度和類(lèi)型的任務(wù)，包括簡(jiǎn)單操作、復(fù)雜多步驟任務(wù)以及跨多種應(yīng)用的任務(wù)。

1. 基準(zhǔn)測(cè)評(píng)成績(jī)突出：在 GAIA 基準(zhǔn)測(cè)試中，OSCAR 在所有工作流復(fù)雜程度級(jí)別上都表現(xiàn)最佳。尤其是在最復(fù)雜的 Level 3 任務(wù)上，成功率達(dá)到 13.5%，幾乎是之前最先進(jìn)方法的兩倍。在 OSWorld 和 AndroidWorld 基準(zhǔn)測(cè)評(píng)中，OSCAR 同樣超越其他智能體，展現(xiàn)出強(qiáng)大的適應(yīng)性。

6a. GAIA 基準(zhǔn)測(cè)評(píng)

6b. OSWorld 基準(zhǔn)測(cè)評(píng)

6c. AndroidWorld 基準(zhǔn)測(cè)評(píng)

OSCAR 在基準(zhǔn)測(cè)評(píng) GAIA, OSWorld 和 AndroidWorld 中取得最好水平

2. 規(guī)劃效率優(yōu)勢(shì)顯著：

在成功案例中，OSCAR 成功案例所需重新規(guī)劃次數(shù)更少，而且每次重新規(guī)劃的步驟更高效

在失敗案例中，OSCAR 在錯(cuò)誤完成（FC）、達(dá)到步驟限制（RSL）和無(wú)效動(dòng)作（IA）這些情況中的重新規(guī)劃冗余度（RR）明顯低于其他智能體系統(tǒng)

結(jié)語(yǔ)：開(kāi)啟操作系統(tǒng)交互新時(shí)代

OSCAR 作為通用智能體，憑借靈活的狀態(tài)機(jī)和動(dòng)態(tài)的重新規(guī)劃能力，在桌面和智能手機(jī)操作系統(tǒng)任務(wù)中展現(xiàn)出強(qiáng)大的適應(yīng)性和有效性。它為自動(dòng)化工作流提供了高效通用的解決方案，有望成為提升動(dòng)態(tài)操作系統(tǒng)環(huán)境生產(chǎn)力的有力工具，讓操作系統(tǒng)交互變得更加便捷、高效、易訪問(wèn)。而且，憑借其開(kāi)源特性，未來(lái) OSCAR 還將在眾多開(kāi)發(fā)者的共同努力下不斷進(jìn)化，持續(xù)助力通用人工智能與數(shù)字世界實(shí)現(xiàn)完美交互。