大家好，我是肆〇柒，當下，數據科學已成為推動各行業創新發展的核心動力。然而，傳統數據科學流程高度依賴人工特征工程，這不僅耗費大量人力與時間成本，且對專業知識要求極高。隨著大數據時代的全面到來，企業與科研機構每日產生的數據量呈指數級增長，手動數據處理與分析耗時長、成本高且易出錯。自動化數據科學框架應運而生，早期的自動化特征工程工具如 Featuretools，能夠在一定程度上自動發現數據中的特征組合與關系，減少人工特征工程的工作量；基于傳統機器學習算法的自動化建模平臺如 Auto-Sklearn，通過對多種機器學習算法與超參數組合的自動搜索，為非專業用戶提供了便捷的模型構建服務。然而，這些現有框架仍存在局限性，它們大多基于預定義的規則與流程，難以適應復雜多變的實際業務場景，且缺乏對模型性能的深度優化能力。

現有基于大型語言模型（LLM）的數據科學Agent框架雖在一定程度上提升了自動化數據科學的智能化水平，但仍存在明顯不足。其預定義工作流難以應對實際任務中的復雜依賴關系與動態變化，例如在處理包含多源異構數據的預測任務時，無法靈活調整數據處理與特征工程的順序；編碼策略缺乏靈活性，導致在處理復雜任務時生成的代碼質量參差不齊，錯誤率較高，如在生成深度學習模型代碼時，常因代碼結構復雜而出現架構錯誤或參數配置不當等問題；模型自身缺乏人類數據科學實踐者所積累的豐富實證經驗，這使得在面對高難度創新性任務時，如新型生物標志物的挖掘與預測，現有框架往往難以提供高質量的解決方案。鑒于此，由浙大、螞蟻集團提出的 AUTOMIND，作為一種新型自適應、知識驅動的 LLM Agent框架，通過構建專家知識庫、設計智能體知識樹搜索算法以及開發自適應編碼策略，針對性地解決了上述問題，有望成為自動化數據科學領域的利器。

AUTOMIND 的核心架構與創新組件

AUTOMIND 的整體架構如下圖所示，涵蓋了專家知識庫、智能體知識樹搜索算法和自適應編碼策略三大核心組件，各部分協同工作，實現了對數據科學任務的自動化求解全流程覆蓋，從任務理解到模型評估，各環節緊密相連，構成完整的自動化數據科學解決方案。

AUTOMIND 框架整體架構圖

專家知識庫的深度構建與動態管理

在知識源的精選與整合方面，AUTOMIND 從頂級學術會議（如 KDD、ICLR、NeurIPS、ICML、EMNLP 等）和領域特定期刊（如 Bioinformatics）中篩選高質量學術論文的標準極為嚴苛。論文篩選團隊由領域專家組成，他們依據論文的創新性、實驗驗證的充分性以及對實際數據科學任務的指導意義進行多輪評估。以 KDD 會議為例，篩選團隊僅選取在數據挖掘算法、知識發現等領域具有重大突破且被引用次數超過 100 次的論文。同時，從 Kaggle 競賽中收集頂級解決方案技巧時，AUTOMIND 重點關注競賽排名前 10% 的解決方案，并對解決方案的代碼質量、思路新穎性以及適用問題類型進行詳細分析，確保所選技巧的實用性和普適性。

知識分類體系的構建基于對數據科學任務的深度剖析，涵蓋監督學習、無監督學習、強化學習等不同機器學習范式，以及圖像處理、文本分析、時間序列預測等具體應用領域。每個類別下的知識權重計算方法科學合理，對于競賽技巧，結合競賽熱度（如參與人數、獎金池大小等）、時間新穎性（新近競賽技巧權重提高 10% - 15%）等因素確定權重；對于學術論文，依據論文引用次數（每增加 100 次引用，權重提升 5%）、發表期刊影響因子（影響因子每增加 1，權重提升 8%）等確定權重，使知識庫能夠精準反映各類知識的重要程度。

知識更新機制方面，AUTOMIND 設立了專門的知識監測團隊，定期檢索最新發表的學術論文，頻率為每月一次，覆蓋近三個月內的研究成果；同時，實時跟蹤 Kaggle 等競賽平臺的新晉頂級解決方案，每當有新的競賽結束且出現創新性解決方案時，立即啟動收錄流程。并且，依據領域專家的反饋意見，適時調整知識權重，當專家對某篇論文或技巧提出重要性修正建議時，權重調整幅度可達 20% - 30%，確保知識庫始終與時俱進，為 AUTOMIND 框架提供最新鮮、最具價值的專家知識。AUTOMIND 的整體架構如下圖所示，涵蓋了專家知識庫、智能體知識樹搜索算法和自適應編碼策略三大核心組件，各部分協同工作，實現了對數據科學任務的自動化求解全流程覆蓋，從任務理解到模型評估，各環節緊密相連，構成完整的自動化數據科學解決方案。

基于智能體的知識樹搜索算法的精準實現

搜索空間建模與節點屬性細化方面，AUTOMIND 將搜索空間構建成解決方案樹的理論依據源于對數據科學問題解決過程的深度模擬。每個節點除計劃、代碼、指標、輸出和總結等基礎屬性外，新增節點深度（表示解決方案的演化層次，深度越深，解決方案越細化）、父節點關聯度（衡量與父節點解決方案的相似性，關聯度低于 30% 則視為創新性解決方案）等屬性描述，以便更精準地刻畫解決方案的特征與演化路徑，從而在搜索過程中能夠更好地把握解決方案的發展方向與重點。

搜索策略的參數優化與動態調整方面，各參數（如調試概率、貪婪概率等）的確定依據充分考量了數據科學任務的特性和算法的運行效率。大量預實驗數據顯示，在初始階段，較高的調試概率（60% - 70%）有助于快速發現并修正解決方案中的錯誤，而隨著搜索過程的推進，適當降低調試概率（降至 30% - 40%）并提高貪婪概率（從 40% - 50% 提升至 60% - 70%），能夠引導算法更快地收斂于優質解決方案。在搜索過程中，依據解決方案質量提升速率（若連續 5 次迭代質量提升低于 5%，則降低貪婪概率 10%）、搜索時間消耗（當時間消耗超過預算的 70% 時，提高貪婪概率 15%）等實時反饋信息，動態調整參數，實現探索與開發的精細平衡，確保在有限的資源下獲得最優的解決方案。以下是 AUTOMIND 中搜索策略的具體算法描述：

在AUTOMIND中搜索策略π

自適應編碼策略的靈活適配與高效執行

任務復雜度評估模型的構建基于對大量歷史數據科學任務與解決方案的深度分析。提取任務描述中的關鍵特征（如數據類型、規模、任務目標等）和解決方案計劃中的核心要素（如算法復雜度、模型結構等），運用機器學習算法訓練任務復雜度評估模型。模型訓練數據集包含 1000 余個不同類型的數據科學任務及其對應的解決方案，通過 5 折交叉驗證，模型的評估準確率可達 85% 以上，為自適應編碼策略的選擇提供可靠依據。

編碼模式切換的邏輯清晰且高效，當任務復雜度低于設定閾值（如閾值設為 3.0，基于 1 - 5 分的評分體系）時，模型迅速且準確地切換至一步生成法，編碼效率提升 30% - 40%；當任務復雜度超出閾值時，平滑過渡至逐步分解法，通過抽象語法樹（AST）檢查與執行反饋，在每個子步驟嚴控代碼質量，避免錯誤累積，保障復雜任務的代碼生成效果。以一個實際的圖像分類任務為例，當任務復雜度評分為 2.5 時，一步生成法順利生成完整的卷積神經網絡代碼，包括數據加載、模型構建、訓練與評估等部分；而當任務復雜度升至 3.5，涉及多模態數據融合的圖像分類任務時，逐步分解法將任務拆分為數據預處理、特征提取、模型融合等子步驟，逐一生成代碼并進行驗證，最終成功構建出復雜的融合模型，直觀展示了兩種編碼模式的切換過程與優勢。

AUTOMIND 的工作流程與協同機制

當接收到數據科學任務后，智能體首先對任務描述進行深度解析，利用自然語言處理技術提取關鍵信息，如任務類型（分類、回歸等）、數據特征（圖像、文本等）、性能指標（準確率、均方誤差等）。然后，依據專家知識庫的分類體系與檢索算法，通過關鍵詞匹配、語義相似度計算等方法，精準定位與激活相關領域的專家知識，確保后續解決方案的針對性與有效性。例如，在一個時間序列預測任務中，智能體通過解析任務描述中的“時間序列”“預測”等關鍵詞，激活知識庫中與時間序列分析相關的 ARIMA 模型、LSTM 網絡等知識。

智能體將檢索到的專家知識與自身對任務的理解相融合，通過自然語言處理技術生成高質量的初始解決方案計劃。計劃涵蓋數據預處理（如缺失值處理、異常值檢測等）、特征工程（如特征選擇、特征構造等）、模型選擇與訓練（如算法選擇、超參數優化等）等關鍵環節，并以清晰的邏輯結構與偽代碼形式呈現計劃內容。例如，在文本情感分類任務中，初始解決方案計劃包括：數據預處理階段使用正則表達式清理文本數據，特征工程階段采用 TF-IDF 方法提取文本特征，模型選擇階段選用邏輯回歸算法進行訓練，并在偽代碼中詳細描述了每個步驟的具體操作流程。

依據初始計劃，智能體選取適配的編碼策略進行代碼生成，實時監測代碼執行結果與驗證指標。若出現錯誤或性能不佳，智能體會回溯至知識樹搜索算法，重新規劃搜索路徑，調整解決方案計劃，如更換算法、優化超參數等，并再次觸發編碼策略。實現知識搜索、編碼實現與結果驗證的閉環迭代優化，直至生成滿足任務要求的最優解決方案。例如，在一個圖像分割任務中，初始生成的 U-Net 模型代碼在驗證集上的Dice系數僅為 0.75，未達到預期目標。智能體回溯至知識樹搜索算法，調整計劃，引入注意力機制優化模型結構，重新生成代碼后，Dice系數提升至 0.85，滿足任務要求。

實驗評估：AUTOMIND 的性能驗證與優勢彰顯

實驗環境與基準設定的嚴謹性

實驗所采用的硬件資源（如 48 vCPUs、448GB RAM、9.6TB SSD 存儲、NVIDIA GeForce RTX 3090 GPU 等）和軟件環境（如 Ubuntu 20.04 Docker 容器、Anaconda 環境預安裝的機器學習標準 Python 包）經過精心配置，與實際數據科學應用場景高度契合。硬件資源能夠滿足大規模數據處理與復雜模型訓練的需求，軟件環境確保了實驗的穩定性和可重復性。選用 o3-mini 和 deepseek-v3 作為基礎模型，是因為它們在語言理解、代碼生成等能力方面表現出色，o3-mini 模型在代碼生成任務上的準確率可達 80% 以上，deepseek-v3 模型在處理復雜自然語言指令時的正確率超過 85%。評估指標（如 Beats (%) 和提交次數）的定義與計算方法科學合理，Beats (%) 指標通過對比 LLM Agent與人類參與者在 Kaggle 競賽中的排名，直觀衡量Agent的性能優勢；提交次數則反映了Agent在有限時間內的迭代優化能力，使讀者充分理解實驗評估體系的合理性。

實驗結果的深度剖析與多維度對比

AUTOMIND 在 MLE-Bench 和 Top AI Competitions 上的實驗結果顯示，其性能表現因任務類型和難度級別而異。在圖像分類任務中，AUTOMIND 利用專家知識庫中的先進卷積神經網絡架構知識（如 ResNet、EfficientNet 等）與數據增強技巧（如隨機裁剪、翻轉等），在 Easy、Medium、Hard 三個難度級別上的 Beats (%) 分別達到 90.2%、78.5%、65.3%，遠超之前的最佳方法。在分子結合親和力預測任務中，AUTOMIND 融合化學信息處理（如分子指紋提取、特征向量化等）與深度學習模型設計（如構建圖神經網絡處理分子圖結構），相比傳統方法（如 SVM、隨機森林等），預測精度提升了 15% - 20%，訓練效率提高了 2 - 3 倍，充分展示了其在處理復雜生物信息學任務時的技術亮點。

如下圖，為了驗證 AUTOMIND 各個組件的有效性，在 MLE-Bench 的 Medium 分區上進行了消融實驗。實驗分別移除了專家知識庫和自適應編碼策略，結果顯示，這兩個組件對 AUTOMIND 的性能提升起到了關鍵作用。具體來說，移除專家知識庫后，Beats (%) 和有效提交率（Valids (%)）分別下降了 5.0% 和 1.3%；而將自適應編碼策略替換為單次生成策略后，Beats (%) 和有效提交率分別下降了 24.6% 和 19.0%。這表明，專家知識庫為智能體提供了豐富的領域知識，使其能夠更高效地探索解決方案；自適應編碼策略則顯著提升了復雜任務的代碼生成質量，確保了解決方案的可執行性。

消融實驗結果

下表展示了 AUTOMIND 在 MLE-Bench 和 Top AI Competitions 上的主要實驗結果：

在MLE-Bench及頂級人工智能競賽中的主要成果

效率提升的根源在于知識樹搜索算法的高效性（搜索速度比傳統方法快 2 - 3 倍）、自適應編碼策略的精準性（代碼錯誤率降低 40% - 50%）以及專家知識庫的引導性（知識匹配準確率提高 30% - 40%），通過具體案例與數據對比，使讀者清晰把握其效率優勢的來源。

案例研究的拓展與深化

在 BELKA 競賽案例中，AUTOMIND 從專家知識庫中檢索到 MolTrans 和 DeepDTA 等關鍵論文，依據這些論文中的方法設計出頻繁子序列挖掘策略（用于提取分子的化學亞結構特征）和雙通道 CNN 模塊（用于聯合學習蛋白質序列和分子 SMILES 序列的特征表示）。其生成的代碼示例中，數據預處理部分采用 RDKit 庫對分子 SMILES 字符串進行解析和特征提取，模型構建部分利用 PyTorch 框架實現雙通道 CNN 模型，訓練過程采用早停法防止過擬合。與 AIDE 和 AUTOMIND（無知識庫）相比，AUTOMIND 在模型復雜度（參數量增加 30% - 40%）、預測精度（平均精度提升 10% - 15%）、訓練效率（訓練時間縮短 20% - 30%）等方面展現出顯著優勢。下圖展示了 BELKA 競賽中 AUTOMIND 與基線方法的對比：

BELKA 挑戰中的運行案例

在時間序列預測任務（如 M4 競賽數據集）中，AUTOMIND 應用時間序列分解、特征工程優化等技巧，結合 LSTM、Transformer 等模型，性能比傳統方法提升 15% - 20%；在自然語言處理任務（如文本情感分類）中，通過文本預處理優化、深度學習模型架構改進等手段，準確率提高 10% - 15%，通過橫向對比不同領域案例，揭示其在多樣化數據類型和任務目標下的通用性與適應性。

總結

AUTOMIND 框架基于 LLM 構建，是為了實現數據科學任務的自動化，涵蓋從任務理解、數據探索分析到特征工程、模型選擇、訓練和評估的全流程，這是我看到的少數 AI4Science 中的一篇論文。其研究背景在于現有數據科學Agent框架受限于預定義工作流程和不靈活的編碼策略，難以應對復雜創新任務。為此，AUTOMIND 提出三大創新：一是整合頂級會議論文、期刊文章及 Kaggle 競賽頂尖方案構建專家知識庫，為Agent注入專業數據科學知識；二是運用智能體知識樹搜索算法，將解決方案構建成樹形結構，各節點代表潛在方案，迭代中依策略選父節點并生成新方案節點，含起草、改進、調試等操作；三是自適應編碼策略，依據任務復雜度動態編碼，簡單任務一次性生成全部代碼提效率，復雜任務分解子步驟逐步編碼并嚴控質量。盡管 AUTOMIND 實驗評估情況不錯，但仍存在一些局限性。除對基礎模型編碼能力的依賴外，在處理超大規模數據集（如數據量超過 1TB）時，可能會出現性能瓶頸，主要表現為內存占用過高（可能增加 2 - 3 倍）和計算速度變慢（處理時間延長 3 - 5 倍）。此外，在某些特定領域（如量子計算、生物信息學中的特殊數據類型）知識覆蓋不足，導致在這些領域的任務解決能力有限。

MLE-Bench 上的測試時間擴展結果

在實驗評估里，AUTOMIND 于兩大自動化數據科學基準測試上較現有最先進基線取得更優性能。在 MLE-Bench 基準測試中，它超越 56.8% 的人類參與者，較先前行之有效的 AIDE 方法提升 13.5%，效率更是提升 300%，token 成本削減 63%。該框架的出現，為數據科學自動化供應嶄新高效途徑，降低數據科學門檻，助力非專業人士輕松開展數據工作，提高數據科學任務的可及性與效率。同時，借助專家知識庫與自適應編碼策略，它能產出更優質代碼，強化模型性能與效率，減少資源消耗，對大規模數據科學任務意義重大。此外，AUTOMIND 推動 AI Agent在數據科學領域的應用發展，為科學研究、軟件開發、自然語言處理等更廣泛領域的 AI Agent研究應用提供關鍵參考，助力 AI Agent更好地理解處理數據。重要的是，它能攻克復雜創新的數據科學難題，不止局限于簡單經典問題，對于現實多元復雜的實際數據科學挑戰有著不可或缺的重要價值。