1. DataAgent研究現狀

1.1 AI4Data 研究現狀

過去十年，在AI賦能數據（AI4Data）領域，運用AI技術攻克了諸多難題：

• 從離線NP難題（如索引優化、視圖推薦）到在線挑戰（如查詢重寫）
• 從基數估計等回歸問題到學習型索引等數據結構創新。

這些成果往往由于過度依賴專家調參，難以適應數據環境的變化。

1.2 Data4AI 研究現狀

對于Data4AI領域，將數據庫優化技術延伸至人工智能部署環節，包括：

• 數據庫內機器學習（ML）訓練與推理
• 數據預處理、數據清洗、數據集成
• 特征管理
• 模型管理

這些方法面臨的主要挑戰在于如何實現系統管線的自主編排，從而避免依賴高人工投入的運維方式。

1.3 Data + AI 核心難題

如上圖所示，現有技術缺乏語義理解與自主決策能力。而大語言模型(LLMs)恰能補此短板。

所以，清華大學提出了"Data Agent"框架，通過三大核心能力重塑Data+AI生態：

• 知識理解
• 自主規劃
• 自我進化

2. Data Agent技術架構

Data Agent 專為自主處理數據任務設計，集知識理解、自動規劃和自我反思于一體。

核心架構包括如上圖所示的6要素：

• 環境感知（Perception）：智能體需實時感知數據生態，包括環境狀態、任務需求、協作伙伴及工具資源。通過離線微調或預設提示模板實現精準對齊。
• 推理決策（Reasoning and Planning）：既擅長拆解復雜任務為多級流程（規劃），又能做出精準的單步判斷（推理）。每個決策可能觸發深度推理、二次規劃，或調用專業工具獲取領域知識。
• 工具調度（Tool Invocation）：可靈活調用計算工具、領域數據庫或環境指令集。通過模型上下文協議（MCP）實現標準化交互，確保跨系統信息無損傳遞，各類模型的中間推理結果皆可互通復用。
• 記憶系統（Memory）：包含領域知識庫（長期記憶）和用戶會話記錄（短期記憶），依托向量數據庫高效管理。創新性引入反思記憶模塊，持續優化決策質量。
• 進化機制（Continuous Learning）：通過自我反思、強化學習和獎勵模型實現能力迭代，使智能體越用越聰明。
• 多智能體（Multiple Agents）：突破單智能體能力邊界，通過多智能體協作矩陣應對復雜場景，顯著提升系統魯棒性與并行效率。

構建了三位一體的數據智能體架構（如下圖）

數據理解與探索、數據引擎理解與調度、流程編排三大核心模塊，圖4展示了詳細架構設計。

• 數據理解與探索智能體（Data Understanding and Exploration Agents）：通過結構化數據組織提升智能體的數據發現與訪問能力。核心組件包括：

統一語義目錄：提供模式定義、元數據索引等結構化元數據系統，優化數據訪問性能

數據編織層：通過異構數據鏈接與集成，形成統一數據視圖

語義數據組織與索引：顯著提升智能體數據處理效率該模塊還將整合數據預處理、清洗、集成等工具，并制定高效的工具調度策略。

• 數據引擎理解與調度智能體（Data Engine Understanding and Scheduling Agents）：專注于Spark、DBMS、Pandas、PyData等數據處理引擎的能力分析與任務調度。通過建立引擎能力畫像，協調不同特長的引擎協作完成復雜任務。
• 流程編排智能體（Pipeline Orchestration Agents）:根據用戶自然語言(NL)查詢和數據目錄生成執行管道，其核心能力包括：

任務分解：將復雜任務拆解為可串行/并行執行的子任務

開放環境適應：利用大語言模型(LLM)的理解、推理與自反思能力應對NL查詢與底層數據的開放性

管道優化：針對延遲、成本或準確率進行優化

引擎調度：調用引擎智能體高效執行管道

多智能體協作網絡（如上圖）包含三大引擎：

• 智能體優選系統：建立能力畫像庫，實現精準任務匹配
• 協同計算框架：通過A2A協議實現狀態同步與群體智能
• 彈性執行引擎：支持串行/并行混合調度，具備故障自愈能力

工具調度中心依托MCP協議實現"即插即用"，可智能匹配Pandas/PyData等數百種數據處理工具，構建動態能力組合。

3. iDataScience技術架構

基于以上DataAgent技術架構，清華團隊開發了 iDataScience ，其技術架構如上圖所示，采用了雙系統架構：

• 離線基準構建階段（Offline Data Agent Benchmarking）：通過組合基礎數據技能，打造覆蓋全場景的智能體評估體系。

首先運用大語言模型對海量數據案例進行質量篩選和技能挖掘；

隨后通過遞歸聚類建立技能層級體系，并依據使用頻率或用戶偏好為每個技能賦予權重；

最后基于權重概率采樣核心技能，由大語言模型生成對應測試用例。

為確保在線評估的精準性，系統還構建了支持相似度檢索的測試用例索引庫。

• 在線智能調度階段（Online Multi-Agent Pipeline Orchestration）：當新任務到來時，系統自動拆解任務流、匹配最優智能體，并動態優化執行方案。包含兩大核心機制：

局部調整：單個智能體層面的子任務修正

全局重構：基于中間結果的完整重規劃

智能體優選機制（Data Agent Selection）：通過微調的模型，將待處理任務與基準庫中的測試用例進行向量化匹配，快速鎖定Top K相似案例。綜合評估結果后，選擇綜合得分最高的智能體。

流程動態編排（Multi-Agent Pipeline Orchestration）：先由大語言模型基于智能體畫像拆解任務依賴圖，為每個子任務分配合適的智能體，并通過合并/細分等操作持續優化方案。執行時采用拓撲排序的并行流水線，同時支持兩種彈性調整：

• 系統擴展性：支持通過文檔解析快速接入新智能體。當資源允許時，可運行基準測試完善其能力畫像，使其無縫融入現有調度體系。這種持續進化機制確保系統始終保持在最優狀態。

本文轉載自???大語言模型論文跟蹤???，作者：HuggingAGI