科學發(fā)現(xiàn)漫長且成本高昂，為了加速科學發(fā)現(xiàn)，降低研究成本，并提高研究質(zhì)量，芯片廠商AMD推出了Agent Laboratory，這是一個基于自主大型語言模型（LLM）的框架，能夠完成整個研究流程。

Agent Laboratory接受人類研究想法和一組筆記作為輸入，將其提供給一系列由LLM驅(qū)動的專門Agent組成的流程線，并產(chǎn)生研究報告和代碼倉庫。

Agent Laboratory接受人類提供的研究想法，并通過三個階段——文獻綜述、實驗和報告撰寫——來產(chǎn)生全面的研究成果，包括代碼倉庫和研究報告，同時允許用戶在每個階段提供反饋和指導。邀請多位研究人員通過參與調(diào)查、提供人類反饋來指導研究過程，并評估最終論文：

• 由o1-preview驅(qū)動的Agent Laboratory產(chǎn)生了最佳的研究成果；

• 生成的機器學習代碼能夠與現(xiàn)有方法相比達到最先進的性能；
• 人類的參與，即在每個階段提供反饋，顯著提高了研究的整體質(zhì)量

• 自動化評估，按頂會NeurIPS標準，論文（6.1/10）接近了頂會NeurIPS接受論文的平均得分（5.9/10）
• 而人類評估論文得分只有3.8/10，和自動化評估之間出現(xiàn)了一定差距

• 在協(xié)作模式（人類指導）下評估Agent Laboratory，評分由3.8提升到4.38（+0.58，NeurIPS接受論文的平均得分是5.9）。自選主題在實用性（+0.5）、繼續(xù)使用（+0.5）和滿意度（+0.25）方面普遍獲得了更高的評分。

• Agent Laboratory顯著降低了研究費用，與之前的自主研究方法相比，實現(xiàn)了84%的減少。

Agent Laboratory是如何工作的？

Agent Laboratory包含三個主要階段，系統(tǒng)地指導研究過程：

• 文獻綜述
• 實驗，
• 報告撰寫

在每個階段，由LLM驅(qū)動的專門代理協(xié)作完成特定目標，整合外部工具，如arXiv、Hugging Face、Python和LaTeX，以優(yōu)化結果。這個結構化的工作流程從獨立收集和分析相關研究論文開始，通過協(xié)作規(guī)劃和數(shù)據(jù)準備，最終實現(xiàn)自動化實驗和全面報告生成。具體代理角色及其在這些階段的貢獻在論文中有詳細討論。模塊化設計確保了計算靈活性，適應不同的資源可用性，同時保持生成高質(zhì)量研究成果的效率。

Agent Laboratory工作流程

解決ML問題

進行研究的第一步是構建解決ML問題的能力。Agent Laboratory通過mle-solver來實現(xiàn)這一點。這個工具作為一個通用的ML代碼求解器，將前一階段的研究方向作為文本輸入，并迭代改進研究代碼。為了實現(xiàn)這一點，一組頂級程序根據(jù)輸入（如任務指令、命令描述和提煉的知識）進行迭代改進，以根據(jù)評分函數(shù)提高實驗結果。通過兩個命令生成一系列更改：REPLACE（重寫所有代碼）和EDIT（修改特定行）。成功編譯的代碼根據(jù)評分更新頂級程序，而錯誤則提示最多三次修復嘗試，然后嘗試新代碼。代理會反思每一步，以優(yōu)化結果。

mle-solver工作流程概覽

撰寫研究報告

第二步是根據(jù)實驗設計和結果生成研究報告。為此，引入了paper-solver，專注于報告生成。這個模塊作為結果和代碼到報告的生成器，將前一實驗階段的輸出和發(fā)現(xiàn)總結成人類可讀的學術論文。paper-solver綜合前一階段的研究，為研究人員提供清晰的成就總結。輸入包括研究計劃、實驗結果、衍生見解和文獻綜述，輸出格式適合會議提交的標準學術論文格式。

paper-solver的圖形概述

https://github.com/SamuelSchmidgall/AgentLaboratory
https://agentlaboratory.github.io/
https://arxiv.org/pdf/2501.04227

本文轉載自??PaperAgent??