SCIENCEBOARD：構(gòu)建智能體驅(qū)動(dòng)的科學(xué)探索新「環(huán)境」

作者：肆零柒 2025-06-27 07:00:00

SCIENCEBOARD 項(xiàng)目通過(guò)構(gòu)建一個(gè)高度逼真的多域科學(xué)工作流環(huán)境，為智能體的評(píng)估和發(fā)展提供了一個(gè)全新的平臺(tái)。它不僅涵蓋了從生物化學(xué)到天文學(xué)的多個(gè)領(lǐng)域，還通過(guò)精心設(shè)計(jì)的基準(zhǔn)任務(wù)和評(píng)估框架，深入探討了智能體在處理復(fù)雜科學(xué)任務(wù)時(shí)的能力與局限。

大家好，我是肆〇柒。今天，我們來(lái)聊聊 SCIENCEBOARD，這是一個(gè)由香港大學(xué)、上海人工智能實(shí)驗(yàn)室、復(fù)旦大學(xué)、北京大學(xué)、南京大學(xué)、華東師范大學(xué)和耶魯大學(xué)等，多所知名高校和研究機(jī)構(gòu)共同打造的創(chuàng)新平臺(tái)。它致力于在多域科學(xué)工作流中評(píng)估多模態(tài)自主智能體，為推動(dòng) AI 驅(qū)動(dòng)的科學(xué)發(fā)現(xiàn)提供了全新的方法和工具。在現(xiàn)代科學(xué)探索中，專(zhuān)業(yè)工具的重要性日益凸顯，它們深度賦能科研人員，助力他們?cè)趯W(xué)術(shù)假設(shè)構(gòu)建、結(jié)果驗(yàn)證以及科學(xué)認(rèn)知拓展的征程中穩(wěn)步前行。隨著科研工具復(fù)雜性與日俱增，以及對(duì)高效科研工作流的迫切需求，自主智能體在自動(dòng)化研究流程和協(xié)助人類(lèi)科學(xué)家方面展現(xiàn)出巨大的潛力。如果沒(méi)有智能工具輔助，人類(lèi)科學(xué)家可能需要花費(fèi)數(shù)周時(shí)間精通一款蛋白質(zhì)分析工具，并投入數(shù)小時(shí)進(jìn)行充分觀察，而自主智能體卻能在短短幾分鐘內(nèi)完成相同任務(wù)。這種高效的自主智能體，不僅能實(shí)現(xiàn)從工具使用到新穎發(fā)現(xiàn)的全流程自動(dòng)化，還能為科學(xué)家們帶來(lái)前所未有的強(qiáng)大助力。

在這樣的背景下，研究者提出了 SCIENCEBOARD。它帶來(lái)了雙重創(chuàng)新貢獻(xiàn)：一方面，它打造了一個(gè)現(xiàn)實(shí)的多域環(huán)境，將動(dòng)態(tài)且視覺(jué)豐富的科學(xué)工作流與專(zhuān)業(yè)軟件深度融合，智能體能夠通過(guò)不同界面自主交互，加速?gòu)?fù)雜科研任務(wù)與實(shí)驗(yàn)；另一方面，它精心策劃了一個(gè)包含 169 個(gè)高質(zhì)量、嚴(yán)謹(jǐn)驗(yàn)證的真實(shí)世界任務(wù)的基準(zhǔn)測(cè)試，涵蓋生物化學(xué)、天文學(xué)和地理信息學(xué)等多個(gè)科學(xué)發(fā)現(xiàn)工作流領(lǐng)域。對(duì)使用先進(jìn)模型（如 GPT-4o、Claude 3.7、UI-TARS）的智能體進(jìn)行廣泛評(píng)估后發(fā)現(xiàn)，盡管取得了一些令人鼓舞的結(jié)果，但它們?cè)诳煽繀f(xié)助科學(xué)家處理復(fù)雜工作流方面的成功率僅為 15%。在深入分析部分，進(jìn)一步提供了關(guān)于解決當(dāng)前智能體局限性，以及更高效設(shè)計(jì)原則的寶貴見(jiàn)解，為構(gòu)建更強(qiáng)大的科學(xué)發(fā)現(xiàn)智能體鋪平道路。SCIENCEBOARD 的代碼、基準(zhǔn)測(cè)試和排行榜已在官網(wǎng)開(kāi)放，為科研人員提供了一個(gè)寶貴的資源平臺(tái)。

SCIENCEBOARD 是一個(gè)創(chuàng)新的計(jì)算機(jī)環(huán)境，專(zhuān)為科學(xué)發(fā)現(xiàn)智能體而設(shè)計(jì)，它集成了多種專(zhuān)業(yè)軟件和工具。作為基礎(chǔ)設(shè)施，讓使用計(jì)算機(jī)的智能體能夠協(xié)助科學(xué)工作流程。根據(jù)指令，智能體會(huì)通過(guò)圖形用戶(hù)界面操作或生成代碼自主地與環(huán)境交互，以完成實(shí)際任務(wù)

SCIENCEBOARD 環(huán)境

環(huán)境構(gòu)建與技術(shù)細(xì)節(jié)

SCIENCEBOARD 環(huán)境基于 Ubuntu 虛擬機(jī)精心構(gòu)建，目的是為了實(shí)現(xiàn)對(duì)真實(shí)世界科學(xué)軟件的無(wú)縫集成和高效操作支持。在實(shí)驗(yàn)中，它采用了 Linux 環(huán)境（Ubuntu 22.04.1 LTS 與 kernel 6.8.0-57-generic），運(yùn)行在 x64 個(gè)人電腦上。這種虛擬機(jī)配置不僅確保了系統(tǒng)的穩(wěn)定性和兼容性，還為每個(gè)實(shí)驗(yàn)任務(wù)提供了獨(dú)立且可控的運(yùn)行環(huán)境，保障了實(shí)驗(yàn)結(jié)果的可靠性和可重復(fù)性。

為了實(shí)現(xiàn)與各類(lèi)科學(xué)軟件的兼容性與可操作性，環(huán)境進(jìn)行了精心配置和優(yōu)化。例如，針對(duì)不同的科學(xué)軟件，環(huán)境會(huì)調(diào)整屏幕分辨率、設(shè)置環(huán)境變量、配置網(wǎng)絡(luò)連接等，以確保軟件能夠正常運(yùn)行并發(fā)揮最佳性能。同時(shí)，虛擬機(jī)技術(shù)的應(yīng)用使得每個(gè)實(shí)驗(yàn)任務(wù)都能在獨(dú)立的環(huán)境中進(jìn)行，避免了不同任務(wù)之間的相互干擾。

SCIENCEBOARD基礎(chǔ)設(shè)施概述。該可擴(kuò)展環(huán)境基于預(yù)裝了科學(xué)發(fā)現(xiàn)軟件的虛擬機(jī)（VM）構(gòu)建而成。它支持命令行界面（CLI）和圖形用戶(hù)界面（GUI），以便實(shí)現(xiàn)智能體的自主交互。對(duì)于每個(gè)旨在評(píng)估智能體作為研究助手能力的任務(wù)，都提供了初始化腳本、配置文件及相關(guān)文件。智能體通過(guò)視覺(jué)或文本模態(tài)感知環(huán)境，并需要據(jù)此進(jìn)行規(guī)劃和行動(dòng)。交互結(jié)束后，評(píng)估函數(shù)將根據(jù)虛擬機(jī)內(nèi)部狀態(tài)來(lái)確定任務(wù)完成情況

任務(wù)定義與互動(dòng)模型

在 SCIENCEBOARD 中，智能體與環(huán)境的交互機(jī)制基于部分可觀測(cè)馬爾可夫決策過(guò)程（POMDP），這一模型通過(guò)元組 ?g, S, A, O, T ? 來(lái)定義。其中，g 表示目標(biāo)，S 是狀態(tài)空間，A 是動(dòng)作空間，O 是觀測(cè)空間（包括環(huán)境反饋），而 T : S × A → S 則是狀態(tài)轉(zhuǎn)移函數(shù)。智能體在每個(gè)時(shí)間步 t 根據(jù)目標(biāo) g 和記憶 mt = oj, aj, oj+1, aj+1, … , ot（0 ≤ j < t）來(lái)預(yù)測(cè)動(dòng)作，記憶 mt 記錄了過(guò)去的動(dòng)作和觀測(cè)序列。

具體來(lái)看，目標(biāo) g 由自然語(yǔ)言（NL）指令指定，例如 “以球形風(fēng)格顯示原子”。策略模型將復(fù)雜的指令分解為一系列動(dòng)作。SCIENCEBOARD 設(shè)計(jì)了一個(gè)統(tǒng)一的動(dòng)作空間 A，集成了科學(xué)任務(wù)中各種關(guān)鍵的交互模式。對(duì)于 GUI 動(dòng)作，智能體可以執(zhí)行完整的計(jì)算機(jī) - 人機(jī)交互動(dòng)作，包括鼠標(biāo)移動(dòng)、點(diǎn)擊、鍵盤(pán)輸入等。對(duì)于 CLI 動(dòng)作，智能體可以在 Ubuntu 終端內(nèi)調(diào)用系統(tǒng)級(jí)命令，并利用應(yīng)用程序特定的 CLI 或腳本機(jī)制。此外，A 還包含一個(gè)回答動(dòng)作，使智能體能夠針對(duì)問(wèn)答任務(wù)提供特定答案，以及一個(gè)調(diào)用 API 的動(dòng)作，以擴(kuò)展智能體的能力。

觀測(cè)與記憶機(jī)制

SCIENCEBOARD 中的觀測(cè)空間分為三種類(lèi)型：純文本、純視覺(jué)和文本 - 視覺(jué)組合。對(duì)于純文本觀測(cè)，系統(tǒng)使用無(wú)障礙樹(shù)（a11ytree）生成結(jié)構(gòu)化的文本表示。無(wú)障礙樹(shù)是一種層次結(jié)構(gòu)，能夠表示屏幕上的 UI 元素。對(duì)于視覺(jué)觀測(cè)，系統(tǒng)直接捕獲高分辨率屏幕截圖。文本 - 視覺(jué)組合觀測(cè)則結(jié)合了文本和視覺(jué)信息，為智能體提供了更全面的環(huán)境感知。

智能體需要記憶機(jī)制來(lái)保留歷史信息，以便在規(guī)劃和決策過(guò)程中考慮長(zhǎng)期依賴(lài)關(guān)系。SCIENCEBOARD 通過(guò)連接智能體最近的觀測(cè)來(lái)構(gòu)建這種記憶。例如，智能體在執(zhí)行一系列操作時(shí)，會(huì)記錄每個(gè)步驟的觀測(cè)結(jié)果和所采取的動(dòng)作，從而形成一個(gè)包含豐富歷史信息的記憶序列。這種記憶機(jī)制對(duì)于處理復(fù)雜的多步驟任務(wù)至關(guān)重要，它使智能體能夠根據(jù)過(guò)去的經(jīng)驗(yàn)來(lái)指導(dǎo)當(dāng)前和未來(lái)的操作。

目標(biāo)與統(tǒng)一動(dòng)作空間

自然語(yǔ)言指令通過(guò)語(yǔ)義解析和任務(wù)規(guī)劃模塊精準(zhǔn)映射到智能體的具體執(zhí)行動(dòng)作。在 SCIENCEBOARD 中，這一過(guò)程涉及到對(duì)指令的深入理解以及將其轉(zhuǎn)化為智能體可執(zhí)行的動(dòng)作序列。例如，當(dāng)指令要求智能體在 ChimeraX 中預(yù)測(cè)蛋白質(zhì)結(jié)構(gòu)時(shí)，智能體需要識(shí)別出這一任務(wù)涉及啟動(dòng) ChimeraX 軟件、選擇 AlphaFold 插件、輸入氨基酸序列等具體步驟。

SCIENCEBOARD 為科學(xué)任務(wù)設(shè)計(jì)的統(tǒng)一動(dòng)作空間涵蓋了豐富的 GUI 和 CLI 動(dòng)作。GUI 動(dòng)作包括鼠標(biāo)點(diǎn)擊、雙擊、拖動(dòng)、右鍵單擊等，而 CLI 動(dòng)作則涉及系統(tǒng)命令調(diào)用和應(yīng)用程序特定命令執(zhí)行。這些動(dòng)作與科學(xué)軟件的界面元素和功能模塊深度交互，實(shí)現(xiàn)對(duì)軟件的精確控制。例如，在 ChimeraX 中，智能體可以通過(guò) GUI 動(dòng)作選擇特定的分子結(jié)構(gòu)顯示模式，或者通過(guò) CLI 動(dòng)作運(yùn)行腳本來(lái)執(zhí)行批量處理任務(wù)。

LLM/VLM - 基礎(chǔ)策略模型

根據(jù)智能體的觀測(cè)空間和任務(wù)需求，選擇和定制合適的 LLM/VLM 作為策略模型是 SCIENCEBOARD 的關(guān)鍵環(huán)節(jié)。在純文本觀測(cè)空間下，LLM 通過(guò)對(duì)文本信息的理解和推理，生成合理的動(dòng)作指令。例如，當(dāng)智能體需要在 GrassGIS 中執(zhí)行地理空間數(shù)據(jù)分析任務(wù)時(shí)，LLM 會(huì)根據(jù)任務(wù)指令和軟件界面的文本信息，生成相應(yīng)的 CLI 命令或 GUI 操作步驟。

在視覺(jué)觀測(cè)空間下，VLM 利用其視覺(jué)編碼器對(duì)界面圖像進(jìn)行特征提取，并結(jié)合語(yǔ)言模型進(jìn)行動(dòng)作決策。例如，在 Celestia 中模擬太陽(yáng)系行星軌道任務(wù)時(shí)，VLM 會(huì)分析軟件界面的視覺(jué)布局，識(shí)別出行星軌道的顯示區(qū)域，并據(jù)此生成相應(yīng)的操作指令。為了提高智能體的任務(wù)完成效率和成功率，SCIENCEBOARD 采用強(qiáng)化學(xué)習(xí)和監(jiān)督學(xué)習(xí)等方法對(duì)策略模型進(jìn)行優(yōu)化和訓(xùn)練。例如，通過(guò)對(duì)智能體在歷史任務(wù)中的表現(xiàn)進(jìn)行獎(jiǎng)勵(lì)信號(hào)的反饋，強(qiáng)化學(xué)習(xí)能夠指導(dǎo)智能體學(xué)習(xí)到更優(yōu)的動(dòng)作策略。

SCIENCEBOARD 評(píng)估框架

科學(xué)軟件安裝與適應(yīng)技術(shù)

SCIENCEBOARD 針對(duì)各領(lǐng)域的開(kāi)源應(yīng)用進(jìn)行了精心選擇和深度修改，以適應(yīng)評(píng)估框架的要求。以 ChimeraX 和 Celestia 等軟件為例，為了實(shí)現(xiàn)對(duì)軟件運(yùn)行時(shí)狀態(tài)的實(shí)時(shí)監(jiān)控和數(shù)據(jù)獲取，SCIENCEBOARD 為其注入了輕量級(jí)服務(wù)器。這些服務(wù)器能夠通過(guò) HTTP 請(qǐng)求暴露軟件的內(nèi)部狀態(tài)，使智能體能夠獲取關(guān)鍵信息并據(jù)此進(jìn)行操作。

此外，SCIENCEBOARD 還通過(guò)修改軟件源代碼，實(shí)現(xiàn)了對(duì)軟件界面元素的精細(xì)控制和狀態(tài)查詢(xún)功能。例如，在 GrassGIS 中，智能體可以通過(guò)特定的 API 調(diào)用來(lái)獲取地理空間數(shù)據(jù)的屬性信息，或者在 Celestia 中查詢(xún)天體的位置和運(yùn)動(dòng)狀態(tài)。這些技術(shù)手段不僅為智能體的操作提供了精確的反饋信息，還為每個(gè)科學(xué)軟件構(gòu)建了高度逼真的實(shí)驗(yàn)環(huán)境，模擬真實(shí)科研工作中的各種操作場(chǎng)景和任務(wù)需求。

智能體與環(huán)境互動(dòng)流程

在 ChimeraX 中進(jìn)行蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)任務(wù)的實(shí)例中，智能體首先接收環(huán)境提供的觀測(cè)信息，這些信息可能包括軟件界面的視覺(jué)圖像、無(wú)障礙樹(shù)生成的文本描述等。根據(jù)這些觀測(cè)信息，智能體通過(guò)其策略模型生成動(dòng)作指令，例如點(diǎn)擊特定的按鈕、輸入氨基酸序列、調(diào)用 AlphaFold 插件等。智能體執(zhí)行這些動(dòng)作后，環(huán)境會(huì)根據(jù)動(dòng)作更新?tīng)顟B(tài)，并向智能體反饋新的觀測(cè)信息。這一過(guò)程持續(xù)進(jìn)行，直到智能體完成任務(wù)目標(biāo)或達(dá)到嘗試次數(shù)上限。

在 Celestia 中模擬太陽(yáng)系行星軌道任務(wù)時(shí)，智能體需要通過(guò)類(lèi)似的交互流程來(lái)完成任務(wù)。它可能需要調(diào)整視圖角度、設(shè)置時(shí)間參數(shù)、啟動(dòng)模擬過(guò)程等。在每一步操作中，智能體都會(huì)根據(jù)環(huán)境反饋的信息來(lái)調(diào)整其策略，以確保任務(wù)的順利進(jìn)行。

評(píng)估流程與標(biāo)準(zhǔn)體系

SCIENCEBOARD 的評(píng)估方法基于工作流關(guān)鍵 I/O 正確性和虛擬機(jī)最終狀態(tài)。評(píng)估標(biāo)準(zhǔn)涵蓋了精確匹配（如嚴(yán)格等于、行集合等于、問(wèn)答匹配等）、范圍檢查、值的存在性與不存在性驗(yàn)證等多個(gè)方面。例如，在評(píng)估智能體是否成功完成蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)任務(wù)時(shí)，系統(tǒng)會(huì)檢查預(yù)測(cè)結(jié)果是否與標(biāo)準(zhǔn)答案嚴(yán)格匹配，或者在允許的誤差范圍內(nèi)。

評(píng)估模板的設(shè)計(jì)使得 SCIENCEBOARD 能夠靈活適應(yīng)不同領(lǐng)域的科學(xué)任務(wù)。每個(gè)評(píng)估模板都包含一系列參數(shù)和預(yù)期的金標(biāo)準(zhǔn)值，這些參數(shù)可以根據(jù)具體任務(wù)進(jìn)行調(diào)整。例如，在評(píng)估 Celestia 中的行星軌道模擬任務(wù)時(shí)，模板會(huì)定義行星位置和軌道參數(shù)的允許誤差范圍，以及模擬時(shí)間的設(shè)置等。通過(guò)這種方式，SCIENCEBOARD 確保了評(píng)估結(jié)果的科學(xué)性和可靠性。

SCIENCEBOARD的典型評(píng)估案例包括精確匹配、基于范圍的評(píng)估以及帶有容差的數(shù)值任務(wù)。研究人員針對(duì)每項(xiàng)任務(wù)定制了相應(yīng)的評(píng)估方法

SCIENCEBOARD 基準(zhǔn)任務(wù)

領(lǐng)域與任務(wù)覆蓋深度分析

SCIENCEBOARD 涵蓋的六大領(lǐng)域（生物化學(xué)、代數(shù)、定理證明、地理信息系統(tǒng)、天文學(xué)和科學(xué)文檔）為智能體的全面評(píng)估提供了豐富的任務(wù)場(chǎng)景。在生物化學(xué)領(lǐng)域，ChimeraX 軟件的功能特點(diǎn)使其成為研究分子結(jié)構(gòu)建模、蛋白質(zhì)折疊模擬、生物大分子相互作用分析等任務(wù)的理想工具。智能體可以通過(guò)與 ChimeraX 的交互，執(zhí)行諸如預(yù)測(cè)蛋白質(zhì)結(jié)構(gòu)、分析分子間相互作用等復(fù)雜任務(wù)。

在天文學(xué)領(lǐng)域，Celestia 軟件在模擬宇宙天體運(yùn)行、天文現(xiàn)象觀測(cè)、宇宙探索教育等方面具有重要價(jià)值。智能體可以利用 Celestia 的功能，完成模擬行星軌道、計(jì)算天體位置、展示宇宙演化等任務(wù)。例如，智能體可以根據(jù)給定的時(shí)間參數(shù)，在 Celestia 中生成太陽(yáng)系行星的軌道模擬圖像，并驗(yàn)證其與實(shí)際觀測(cè)數(shù)據(jù)的符合程度。

任務(wù)標(biāo)注流程與質(zhì)量保障

任務(wù)標(biāo)注流程從學(xué)習(xí)教程開(kāi)始，標(biāo)注者首先需要深入學(xué)習(xí)相關(guān)軟件的功能和操作方法。以生物化學(xué)領(lǐng)域的一個(gè)任務(wù)為例，標(biāo)注者會(huì)從 ChimeraX 的官方教程和操作手冊(cè)中學(xué)習(xí)如何使用該軟件進(jìn)行蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)。接下來(lái)，標(biāo)注者會(huì)根據(jù)軟件的功能特點(diǎn)，設(shè)計(jì)具有科學(xué)價(jià)值和合理難度的任務(wù)指令，例如 “使用 ChimeraX 預(yù)測(cè)給定氨基酸序列的蛋白質(zhì)結(jié)構(gòu)”。

在任務(wù)正式化與驗(yàn)證階段，標(biāo)注者會(huì)對(duì)設(shè)計(jì)的任務(wù)進(jìn)行跨標(biāo)注者驗(yàn)證和執(zhí)行驗(yàn)證，確保任務(wù)的準(zhǔn)確性和可執(zhí)行性。例如，多個(gè)標(biāo)注者會(huì)獨(dú)立執(zhí)行該任務(wù)，檢查任務(wù)指令是否清晰、操作步驟是否合理、預(yù)期結(jié)果是否能夠達(dá)成。同時(shí)，標(biāo)注者會(huì)編寫(xiě)配置函數(shù)，為任務(wù)提供必要的初始條件和數(shù)據(jù)支持，例如準(zhǔn)備特定的氨基酸序列文件。

最后，標(biāo)注者會(huì)開(kāi)發(fā)評(píng)估函數(shù)，對(duì)智能體的任務(wù)完成情況進(jìn)行精確評(píng)估。例如，在蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)任務(wù)中，評(píng)估函數(shù)會(huì)檢查智能體生成的結(jié)構(gòu)與標(biāo)準(zhǔn)結(jié)構(gòu)的相似度，以及任務(wù)執(zhí)行過(guò)程中是否遵循了正確的操作流程。整個(gè)任務(wù)標(biāo)注過(guò)程中的質(zhì)量保障措施，如標(biāo)注者培訓(xùn)、任務(wù)審核機(jī)制、數(shù)據(jù)一致性檢查等，確保了標(biāo)注任務(wù)的高質(zhì)量和高可靠性。

SCIENCEBOARD 基準(zhǔn)測(cè)試任務(wù)的標(biāo)注流程

任務(wù)統(tǒng)計(jì)與多樣性分析

SCIENCEBOARD 基準(zhǔn)任務(wù)的統(tǒng)計(jì)信息顯示，其涵蓋了 169 個(gè)獨(dú)特任務(wù)，分布在 6 個(gè)領(lǐng)域中。任務(wù)類(lèi)型包括 GUI、CLI 以及 GUI + CLI 組合操作，其中 GUI + CLI 任務(wù)占比最高，達(dá)到 58.0%。任務(wù)難度分為簡(jiǎn)單、中等和困難三個(gè)級(jí)別，簡(jiǎn)單任務(wù)占比 53.8%，中等任務(wù)占比 28.4%，困難任務(wù)占比 16.6%。此外，還有少量開(kāi)放問(wèn)題任務(wù)，占比 1.2%。

通過(guò) t-SNE 可視化技術(shù)對(duì)任務(wù)指令進(jìn)行嵌入和降維分析，可以直觀地展示不同領(lǐng)域任務(wù)之間的語(yǔ)義分布和多樣性特點(diǎn)。例如，生物化學(xué)領(lǐng)域的任務(wù)主要集中在分子結(jié)構(gòu)操作和分析方面，而天文學(xué)領(lǐng)域的任務(wù)則涉及天體運(yùn)動(dòng)模擬和宇宙現(xiàn)象展示。這種多樣性確保了 SCIENCEBOARD 基準(zhǔn)任務(wù)能夠全面覆蓋科學(xué)工作流中的各種關(guān)鍵技能和知識(shí)要求，為智能體的綜合能力評(píng)估提供了堅(jiān)實(shí)的基礎(chǔ)。

SCIENCEBOARD基準(zhǔn)測(cè)試中的任務(wù)分布

SCIENCEBOARD 的統(tǒng)計(jì)數(shù)據(jù)

實(shí)驗(yàn)

實(shí)驗(yàn)設(shè)置與模型體系

在實(shí)驗(yàn)中，SCIENCEBOARD 評(píng)估了多種先進(jìn)的智能體模型，包括專(zhuān)有模型、開(kāi)源模型和 GUI 動(dòng)作模型。專(zhuān)有模型如 GPT-4o、Claude-3.7-Sonnet 等，在大規(guī)模語(yǔ)言模型訓(xùn)練、知識(shí)表示、推理能力等方面具有顯著優(yōu)勢(shì)。例如，GPT-4o 憑借其強(qiáng)大的語(yǔ)言理解和生成能力，能夠在代數(shù)領(lǐng)域取得較好的成績(jī)，成功解決復(fù)雜的數(shù)學(xué)問(wèn)題。

開(kāi)源模型如 Qwen2.5-VL-72B-Instruct、InternVL3-78B 等，在多模態(tài)融合、視覺(jué) - 語(yǔ)言交互、模型優(yōu)化等方面表現(xiàn)出色。Qwen2.5-VL-72B-Instruct 特別擅長(zhǎng)處理 GUI 任務(wù)，其先進(jìn)的視覺(jué)理解和操作能力使其在與圖形界面交互時(shí)表現(xiàn)優(yōu)異。

GUI 動(dòng)作模型如 OS-Atlas-Pro-7B、UGround-V1-7B 等，則在 GUI 元素定位、像素級(jí)操作、視覺(jué)理解等方面具有專(zhuān)業(yè)能力。OS-Atlas-Pro-7B 通過(guò)其精準(zhǔn)的 GUI 操作能力，在需要精細(xì)界面控制的任務(wù)中發(fā)揮了重要作用。

不同的觀測(cè)空間設(shè)置（如純文本、純視覺(jué)、文本 - 視覺(jué)組合、基于 Set-of-Mark 的視覺(jué)提示等）為智能體提供了多樣化的觀測(cè)輸入。例如，在純文本觀測(cè)空間下，智能體主要依賴(lài)無(wú)障礙樹(shù)生成的文本信息來(lái)理解任務(wù)和執(zhí)行操作；而在純視覺(jué)觀測(cè)空間下，智能體則通過(guò)分析屏幕截圖來(lái)獲取界面布局和元素信息。這些多樣化的觀測(cè)空間設(shè)置使智能體能夠適應(yīng)不同類(lèi)型科學(xué)任務(wù)的需求。

實(shí)驗(yàn)結(jié)果深度剖析

實(shí)驗(yàn)結(jié)果顯示，不同模型在各科學(xué)領(lǐng)域和不同觀測(cè)設(shè)置下的成功率存在顯著差異。在代數(shù)領(lǐng)域，GPT-4o 等模型憑借其強(qiáng)大的數(shù)學(xué)推理能力和符號(hào)計(jì)算能力，能夠有效解決公式求解、方程組處理等任務(wù)。例如，在解決線(xiàn)性方程組問(wèn)題時(shí)，GPT-4o 能夠準(zhǔn)確識(shí)別變量和方程結(jié)構(gòu)，并通過(guò)合理的數(shù)學(xué)變換求解出正確答案。

然而，在地理信息系統(tǒng)和天文學(xué)領(lǐng)域，模型的表現(xiàn)相對(duì)較差。這主要是由于這些領(lǐng)域任務(wù)對(duì)視覺(jué)空間信息處理的要求較高，而模型在處理復(fù)雜視覺(jué)場(chǎng)景和科學(xué)領(lǐng)域?qū)I(yè)知識(shí)方面的局限性。例如，在 GrassGIS 中進(jìn)行地理空間數(shù)據(jù)分析任務(wù)時(shí)，智能體需要準(zhǔn)確識(shí)別地圖上的地理要素、理解空間關(guān)系并進(jìn)行復(fù)雜的屬性分析。但由于模型在視覺(jué)理解和空間推理能力方面的不足，難以有效完成這些任務(wù)。

在SCIENCEBOARD上，LLM（大型語(yǔ)言模型）和VLM（視覺(jué)語(yǔ)言模型）智能體的成功率。展示了不同科學(xué)領(lǐng)域下，各智能體骨干架構(gòu)在多種觀測(cè)設(shè)置中的表現(xiàn)情況。專(zhuān)有模型和開(kāi)源模型VLM/LLM通過(guò)顏色加以區(qū)分

領(lǐng)域特定性能差異探究

進(jìn)一步分析表明，模型架構(gòu)、訓(xùn)練數(shù)據(jù)和任務(wù)特點(diǎn)等因素共同影響了智能體在不同科學(xué)領(lǐng)域的性能表現(xiàn)。例如，GPT-4o 等專(zhuān)有模型在處理文本信息時(shí)具有優(yōu)勢(shì)，因?yàn)樗鼈兊募軜?gòu)和訓(xùn)練數(shù)據(jù)更側(cè)重于語(yǔ)言理解和推理。而在需要大量視覺(jué)處理的領(lǐng)域，如天文學(xué)和地理信息系統(tǒng)，開(kāi)源模型如 Qwen2.5-VL-72B-Instruct 憑借其在多模態(tài)融合方面的優(yōu)化，表現(xiàn)出相對(duì)較好的性能。

訓(xùn)練數(shù)據(jù)的差異也對(duì)模型性能產(chǎn)生了重要影響。一些模型在訓(xùn)練過(guò)程中接觸了更多數(shù)學(xué)和邏輯推理相關(guān)的數(shù)據(jù)，因此在代數(shù)和定理證明領(lǐng)域表現(xiàn)較好。而另一些模型則在視覺(jué)和語(yǔ)言融合方面接受了更多的訓(xùn)練，使其在涉及圖形界面操作的任務(wù)中更具優(yōu)勢(shì)。

任務(wù)特點(diǎn)同樣對(duì)模型性能有顯著影響。例如，代數(shù)任務(wù)通常具有明確的求解步驟和可驗(yàn)證的答案，而地理信息系統(tǒng)和天文學(xué)任務(wù)往往需要處理復(fù)雜的視覺(jué)信息和進(jìn)行長(zhǎng)周期的規(guī)劃。這些任務(wù)特點(diǎn)與模型的能力特點(diǎn)相互作用，導(dǎo)致了不同的性能表現(xiàn)。

觀測(cè)空間影響機(jī)制研究

不同觀測(cè)空間對(duì)模型性能的影響機(jī)制也值得深入探討。在文本觀測(cè)空間下，模型能夠獲取豐富的語(yǔ)義信息，這有助于理解任務(wù)指令和軟件界面元素的含義。然而，在涉及視覺(jué)定位和空間關(guān)系理解時(shí)，模型可能會(huì)遇到困難。例如，在需要精確點(diǎn)擊界面元素的任務(wù)中，模型可能難以準(zhǔn)確判斷元素的位置和大小。

在視覺(jué)觀測(cè)空間下，模型可以直接感知軟件界面的視覺(jué)布局和操作目標(biāo)的視覺(jué)特征，但可能面臨視覺(jué)元素復(fù)雜、信息過(guò)載等問(wèn)題。例如，在 Celestia 中模擬宇宙天體運(yùn)行時(shí)，界面中可能包含大量的天體圖像和復(fù)雜的可視化效果，這會(huì)使模型難以區(qū)分關(guān)鍵元素并進(jìn)行有效的操作。

通過(guò)對(duì)比不同觀測(cè)空間設(shè)置下的模型性能，可以發(fā)現(xiàn)文本 - 視覺(jué)組合觀測(cè)空間通常能夠提供更全面的信息，從而提高模型的任務(wù)表現(xiàn)。例如，在 ChimeraX 中進(jìn)行蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)任務(wù)時(shí)，結(jié)合文本和視覺(jué)信息的觀測(cè)空間能夠幫助模型更準(zhǔn)確地識(shí)別界面元素和執(zhí)行操作步驟。

Figure 5: GUI + CLI vs 僅 GUI

分析與討論

解耦規(guī)劃與行動(dòng)的實(shí)驗(yàn)探索與成果

將規(guī)劃與行動(dòng)解耦的實(shí)驗(yàn)探索揭示了模塊化方法在解決復(fù)雜科學(xué)軟件工作流中的顯著優(yōu)勢(shì)。在這種方法中，規(guī)劃模塊負(fù)責(zé)生成高層任務(wù)計(jì)劃，而行動(dòng)模塊則將這些計(jì)劃轉(zhuǎn)化為具體的 GUI 和 CLI 操作指令。例如，在 GrassGIS 中完成地理空間數(shù)據(jù)處理和分析任務(wù)時(shí)，規(guī)劃模塊可能會(huì)生成一個(gè)包括數(shù)據(jù)導(dǎo)入、預(yù)處理、分析和結(jié)果輸出的任務(wù)序列。行動(dòng)模塊隨后根據(jù)這個(gè)序列，執(zhí)行相應(yīng)的操作，如打開(kāi)數(shù)據(jù)文件、運(yùn)行預(yù)處理腳本、調(diào)用分析工具等。

實(shí)驗(yàn)數(shù)據(jù)顯示，解耦后的智能體在任務(wù)成功率、執(zhí)行效率和錯(cuò)誤率等多個(gè)維度上均表現(xiàn)出顯著提升。例如，在代數(shù)領(lǐng)域，解耦后的智能體能夠更有效地處理復(fù)雜的數(shù)學(xué)問(wèn)題，將成功率提高了 20% 以上。這種模塊化方法不僅提高了智能體的性能，還增強(qiáng)了其可擴(kuò)展性、可維護(hù)性和適應(yīng)性，使其能夠更靈活地應(yīng)對(duì)不同類(lèi)型的科學(xué)任務(wù)。

在SCIENCEBOARD 的規(guī)劃器+錨定模型設(shè)置下，不同VLM智能體組合的成功率。本實(shí)驗(yàn)所采用的觀測(cè)設(shè)置為截圖。顏色分別表示專(zhuān)有模型、開(kāi)源模型VLM和GUI動(dòng)作模型

純視覺(jué)與混合界面的性能對(duì)比與優(yōu)化策略

在純 GUI 界面和混合界面（支持 GUI 和 CLI）下的實(shí)驗(yàn)數(shù)據(jù)對(duì)比分析表明，智能體在不同界面類(lèi)型下的性能存在明顯差異。在純 GUI 界面下，智能體需要依賴(lài)視覺(jué)線(xiàn)索和界面元素的視覺(jué)特征進(jìn)行操作決策。例如，在 ChimeraX 中進(jìn)行分子結(jié)構(gòu)顯示模式切換任務(wù)時(shí)，智能體需要準(zhǔn)確識(shí)別界面中的分子顯示選項(xiàng)，并執(zhí)行相應(yīng)的點(diǎn)擊操作。然而，這種界面類(lèi)型對(duì)視覺(jué)理解和空間推理能力要求較高，智能體可能面臨復(fù)雜的視覺(jué)搜索和精細(xì)的坐標(biāo)定位挑戰(zhàn)。

在混合界面下，智能體可以綜合利用 GUI 和 CLI 兩種操作方式進(jìn)行任務(wù)解決。例如，在 GrassGIS 中進(jìn)行地理空間數(shù)據(jù)分析任務(wù)時(shí)，智能體可以通過(guò) GUI 界面選擇數(shù)據(jù)文件和分析工具，同時(shí)通過(guò) CLI 輸入特定的參數(shù)和命令來(lái)執(zhí)行分析任務(wù)。CLI 操作為智能體提供了更直接、更高效的軟件控制手段，彌補(bǔ)了純 GUI 操作的不足。

基于這些分析結(jié)果，優(yōu)化策略包括在純視覺(jué)界面下加強(qiáng)智能體的視覺(jué)理解和空間推理能力，例如通過(guò)改進(jìn)視覺(jué)編碼器和引入注意力機(jī)制來(lái)提高對(duì)界面元素的識(shí)別精度。在混合界面下，則優(yōu)化智能體的 GUI 和 CLI 操作融合機(jī)制，使智能體能夠更靈活地在兩種操作模式之間切換，提高任務(wù)適應(yīng)性和操作成功率。

t-SNE可視化任務(wù)指令分布情況。每個(gè)圖的t-SNE種子是隨機(jī)采樣的

未來(lái)發(fā)展

基于對(duì) SCIENCEBOARD 評(píng)估結(jié)果的深入分析，未來(lái)智能體技術(shù)的發(fā)展方向和研究建議逐漸清晰。在智能體能力提升方面，加強(qiáng)智能體對(duì)科學(xué)領(lǐng)域?qū)I(yè)知識(shí)的學(xué)習(xí)和理解能力是關(guān)鍵。例如，通過(guò)構(gòu)建領(lǐng)域知識(shí)圖譜，將生物化學(xué)、天文學(xué)等領(lǐng)域的專(zhuān)業(yè)知識(shí)結(jié)構(gòu)化，為智能體提供豐富的背景知識(shí)。同時(shí)，優(yōu)化智能體的視覺(jué) - 語(yǔ)言融合機(jī)制，使其能夠更準(zhǔn)確地解讀科學(xué)軟件界面中的復(fù)雜視覺(jué)信息，如分子結(jié)構(gòu)圖、天體運(yùn)行軌跡圖等。

增強(qiáng)智能體的長(zhǎng)期規(guī)劃和復(fù)雜任務(wù)分解能力同樣重要。科學(xué)工作流中的任務(wù)往往涉及多個(gè)步驟和長(zhǎng)周期的規(guī)劃，智能體需要能夠?qū)?fù)雜任務(wù)分解為一系列子任務(wù)，并制定合理的執(zhí)行順序。例如，在進(jìn)行蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)和功能分析的綜合任務(wù)時(shí)，智能體需要先完成結(jié)構(gòu)預(yù)測(cè)，再根據(jù)預(yù)測(cè)結(jié)果進(jìn)行功能注釋和分析。

在智能體系統(tǒng)架構(gòu)方面，構(gòu)建協(xié)作與專(zhuān)業(yè)智能體系統(tǒng)是一種有前景的方向。通過(guò)將不同類(lèi)型的智能體（如規(guī)劃智能體、GUI 操作智能體、CLI 操作智能體、領(lǐng)域?qū)＜抑悄荏w等）進(jìn)行有機(jī)組合和協(xié)同工作，可以實(shí)現(xiàn)優(yōu)勢(shì)互補(bǔ)。例如，在一個(gè)復(fù)雜的生物信息學(xué)分析任務(wù)中，規(guī)劃智能體負(fù)責(zé)整體任務(wù)規(guī)劃，GUI 操作智能體負(fù)責(zé)界面交互，CLI 操作智能體負(fù)責(zé)腳本執(zhí)行，而領(lǐng)域?qū)＜抑悄荏w則提供專(zhuān)業(yè)的生物信息學(xué)知識(shí)支持。

此外，研究智能體之間的高效通信和任務(wù)分配機(jī)制，確保系統(tǒng)能夠靈活適應(yīng)不同科學(xué)任務(wù)的需求。例如，通過(guò)設(shè)計(jì)統(tǒng)一的任務(wù)描述語(yǔ)言和通信協(xié)議，使不同智能體能夠無(wú)縫協(xié)作，共同完成復(fù)雜的科學(xué)工作流。

在智能體應(yīng)用場(chǎng)景拓展方面，將數(shù)字智能體的技術(shù)和理念拓展至物理實(shí)驗(yàn)室環(huán)境是一個(gè)值得探索的方向。研究如何實(shí)現(xiàn)智能體對(duì)實(shí)驗(yàn)儀器設(shè)備的操作控制、實(shí)驗(yàn)數(shù)據(jù)的實(shí)時(shí)采集與分析、實(shí)驗(yàn)過(guò)程的智能監(jiān)控與優(yōu)化等功能，推動(dòng)智能體在科學(xué)研究全鏈條中的深度應(yīng)用和價(jià)值創(chuàng)造。例如，智能體可以協(xié)助科學(xué)家們自動(dòng)調(diào)整實(shí)驗(yàn)儀器的參數(shù)，實(shí)時(shí)分析實(shí)驗(yàn)數(shù)據(jù)，并根據(jù)分析結(jié)果動(dòng)態(tài)調(diào)整實(shí)驗(yàn)方案，從而提高實(shí)驗(yàn)效率和成功率。

認(rèn)知與感想

其實(shí)，當(dāng)我看到這篇論文的第一感覺(jué)就是眼前一亮。SCIENCEBOARD 項(xiàng)目在推動(dòng) AI 驅(qū)動(dòng)的科學(xué)發(fā)現(xiàn)領(lǐng)域取得了重要進(jìn)展。它不僅提供了一個(gè)現(xiàn)實(shí)的多域環(huán)境和高質(zhì)量的基準(zhǔn)任務(wù)，還通過(guò)廣泛的實(shí)驗(yàn)評(píng)估揭示了當(dāng)前智能體在協(xié)助科學(xué)工作流方面的機(jī)遇和挑戰(zhàn)。盡管智能體在某些領(lǐng)域取得了一定的成功，但在整體性能上仍遠(yuǎn)未達(dá)到人類(lèi)科學(xué)家的水平。SCIENCEBOARD 的研究成果為未來(lái)智能體技術(shù)的發(fā)展提供了明確的方向和有價(jià)值的參考，激勵(lì)著研究人員不斷探索創(chuàng)新，以構(gòu)建更強(qiáng)大的科學(xué)發(fā)現(xiàn)智能體。

通過(guò)對(duì) SCIENCEBOARD 的深入了解，我們可以深刻認(rèn)識(shí)到智能體技術(shù)在科學(xué)研究中的巨大潛力。它不僅能夠提高科研效率，還能為科學(xué)家們帶來(lái)全新的研究視角和方法。雖然當(dāng)前智能體在處理復(fù)雜科學(xué)任務(wù)時(shí)仍存在諸多局限，但隨著技術(shù)的不斷進(jìn)步和優(yōu)化，我們有理由相信，智能體將在未來(lái)的科學(xué)發(fā)現(xiàn)中扮演越來(lái)越重要的角色，與人類(lèi)科學(xué)家實(shí)現(xiàn)人機(jī)協(xié)作，探索未知世界。

智能體環(huán)境的設(shè)計(jì)與優(yōu)化是未來(lái)智能體技術(shù)發(fā)展的關(guān)鍵議題。當(dāng)前的智能體評(píng)估體系多基于獨(dú)立同分布假設(shè)，任務(wù)間相互獨(dú)立，而在現(xiàn)實(shí)世界，任務(wù)往往連續(xù)且相互關(guān)聯(lián)。例如在長(zhǎng)期科研項(xiàng)目中，科學(xué)家們會(huì)基于前期實(shí)驗(yàn)結(jié)果調(diào)整后續(xù)研究方向。SCIENCEBOARD 雖構(gòu)建了多域科學(xué)環(huán)境，但仍存在局限。未來(lái)需引入長(zhǎng)期記憶機(jī)制，使智能體能夠記住之前任務(wù)的關(guān)鍵信息，在后續(xù)任務(wù)中進(jìn)行調(diào)用和擴(kuò)展。同時(shí)，引入累積獎(jiǎng)勵(lì)機(jī)制，鼓勵(lì)智能體在任務(wù)序列中持續(xù)優(yōu)化策略，而不僅僅是完成單個(gè)任務(wù)。

現(xiàn)實(shí)環(huán)境復(fù)雜多變，涉及多方協(xié)作與交互。未來(lái)智能體環(huán)境應(yīng)加強(qiáng)人機(jī)協(xié)作元素，使智能體能與人類(lèi)科研人員及其他智能體有效溝通、協(xié)作，發(fā)揮各自?xún)?yōu)勢(shì)。例如在科學(xué)發(fā)現(xiàn)工作中，智能體可以負(fù)責(zé)數(shù)據(jù)分析和模擬實(shí)驗(yàn)，而人類(lèi)科學(xué)家則專(zhuān)注于創(chuàng)意構(gòu)思和研究方向的把控。同時(shí)需引入動(dòng)態(tài)環(huán)境特性，實(shí)時(shí)反饋和適應(yīng)外部變化，提升智能體的健壯性和適應(yīng)性。例如在實(shí)驗(yàn)過(guò)程中，智能體需要根據(jù)實(shí)驗(yàn)結(jié)果的實(shí)時(shí)反饋，快速調(diào)整實(shí)驗(yàn)參數(shù)或改變研究策略。

同時(shí)，智能體環(huán)境的設(shè)計(jì)不僅要關(guān)注技術(shù)層面的優(yōu)化，還需重新審視和定義問(wèn)題。這就需要我們跳出傳統(tǒng)思維模式，不再局限于現(xiàn)有的評(píng)估框架和任務(wù)設(shè)定，而是去探索那些尚未被充分研究和理解的問(wèn)題。只有這樣，我們才能真正推動(dòng)智能體技術(shù)在科學(xué)發(fā)現(xiàn)領(lǐng)域的深化發(fā)展，使其成為人類(lèi)科學(xué)家的得力助手，共同探索未知世界的奧秘。這既是挑戰(zhàn)，更是充滿(mǎn)希望的方向。

責(zé)任編輯：龐桂玉來(lái)源：覺(jué)察流