隨著 AI4Science 的浪潮席卷科研各領(lǐng)域，如何將強(qiáng)大的人工智能模型真正用于分析科學(xué)數(shù)據(jù)、構(gòu)建數(shù)學(xué)模型、發(fā)現(xiàn)科學(xué)規(guī)律，正成為該領(lǐng)域亟待突破的關(guān)鍵問題。

近日，中國科學(xué)院自動化研究所的研究人員提出了一種創(chuàng)新性框架 ——DrSR (Dual Reasoning Symbolic Regression)：通過數(shù)據(jù)分析與經(jīng)驗歸納 “雙輪驅(qū)動”，賦予大模型像科學(xué)家一樣 “分析數(shù)據(jù)、反思成敗、優(yōu)化模型” 的能力。

在 DrSR 中，三位 “虛擬科學(xué)家” 協(xié)同工作：

• 一個善于洞察變量關(guān)系的 “數(shù)據(jù)科學(xué)家”；
• 一個擅長總結(jié)失敗教訓(xùn)與成功經(jīng)驗的 “理論科學(xué)家”；
• 一個勇于嘗試假設(shè)、不斷優(yōu)化模型的 “實驗科學(xué)家”。

這三種角色基于大模型構(gòu)建起高效的協(xié)作機(jī)制，共同驅(qū)動 DrSR 實現(xiàn)智能化、系統(tǒng)化的科學(xué)方程發(fā)現(xiàn)。

在物理、生物、化學(xué)、材料等跨學(xué)科領(lǐng)域的典型建模任務(wù)中（如非線性振蕩系統(tǒng)建模、微生物生長速率建模、化學(xué)反應(yīng)動力學(xué)建模、材料應(yīng)力 - 應(yīng)變關(guān)系建模等），DrSR 展現(xiàn)出強(qiáng)大的泛化能力，刷新當(dāng)前最優(yōu)性能，成為 AI 助力科學(xué)研究的有力工具。

• 論文地址：https://arxiv.org/abs/2506.04282
• 論文標(biāo)題：DrSR: LLM based Scientific Equation Discovery with Dual Reasoning from Data and Experience

研究背景

在科學(xué)發(fā)現(xiàn)和工程建模中，尋找數(shù)據(jù)背后的數(shù)學(xué)模型一直是一項核心任務(wù)。這正是符號回歸（Symbolic Regression, SR）的目標(biāo) —— 從觀測數(shù)據(jù)出發(fā)，自動生成解釋性強(qiáng)、結(jié)構(gòu)清晰的數(shù)學(xué)方程。

這種 “從數(shù)據(jù)中還原規(guī)律” 的能力，已在物理、化學(xué)、生物、材料等多個學(xué)科中發(fā)揮了巨大作用，成為人類理解復(fù)雜系統(tǒng)的重要工具。

隨著大模型的興起，符號回歸正邁入一個 “類人推理” 的新階段。例如，LLM-SR 等方法開始嘗試用大模型直接生成公式骨架（skeleton），再配合優(yōu)化器擬合參數(shù)，實現(xiàn) “從提示詞到方程” 的自動生成。這讓符號回歸從傳統(tǒng)的遺傳進(jìn)化算法中解放出來，性能和表達(dá)能力雙雙提升。

但問題也隨之而來，這些方法雖然 “公式寫得快”，卻往往 “不看數(shù)據(jù)”，更 “不記經(jīng)驗”。

模型生成公式靠的是大模型內(nèi)嵌的科學(xué)知識，而非對當(dāng)前實驗數(shù)據(jù)的深入理解。

一旦某個公式生成失敗，模型通常無法從失敗中改進(jìn)策略，只會機(jī)械地重復(fù)嘗試，陷入 “盲猜” 或 “重走老路” 的困境。

結(jié)果就是：不是過擬合 “已有套路”，就是反復(fù)生成無效表達(dá)式，計算資源浪費(fèi)嚴(yán)重，智能化程度受限。

為了解決這一難題，研究團(tuán)隊提出了全新框架 DrSR：讓模型 “會看題”“會復(fù)盤”“會改進(jìn)”—— 像科學(xué)家一樣，從數(shù)據(jù)中洞察結(jié)構(gòu)、從失敗中總結(jié)經(jīng)驗、在生成中持續(xù)進(jìn)化。

DrSR：讓大模型 “有據(jù)可依、步步為營” 地發(fā)現(xiàn)規(guī)律

DrSR 的核心理念是 “雙路徑推理”（Dual Reasoning）：通過引入 “數(shù)據(jù)洞察” 與 “經(jīng)驗總結(jié)” 兩條信息流，為大模型提供結(jié)構(gòu)引導(dǎo)與策略反饋，讓其像科學(xué)家一樣高效、穩(wěn)健地進(jìn)行探索。

DrSR 的兩大關(guān)鍵機(jī)制包括：

•  數(shù)據(jù)驅(qū)動的洞察生成（Data-aware Insight Extraction）
•  經(jīng)驗驅(qū)動的策略總結(jié)（Inductive Idea Learning）

DrSR 的流程并不復(fù)雜，關(guān)鍵在于：讓 LLM 在每一輪嘗試中都 “看數(shù)據(jù)、學(xué)經(jīng)驗、再出手”，具體流程如圖 1 所示。

圖 1：DrSR 的雙路徑推理機(jī)制，讓 LLM 在分析、生成、復(fù)盤三個環(huán)節(jié)協(xié)同工作，模擬科學(xué)家的研究思維

?? 模塊 a：從數(shù)據(jù)中提煉結(jié)構(gòu)線索

• 數(shù)據(jù)分析模塊由一個 “結(jié)構(gòu)洞察型 LLM” 構(gòu)成，它負(fù)責(zé)分析輸入輸出變量之間的映射關(guān)系，提取變量之間的耦合程度、單調(diào)性、線性 / 非線性趨勢等結(jié)構(gòu)特征。
• DrSR 不只分析原始數(shù)據(jù)，還會根據(jù)上一輪候選方程的殘差，進(jìn)一步定位 “沒擬合好” 的數(shù)據(jù)段，為后續(xù)方程生成提供更高質(zhì)量的提示。

?? 模塊 b：從歷史結(jié)果中總結(jié)成功經(jīng)驗

方程一旦生成，DrSR 不僅會進(jìn)行擬合與打分，還會將結(jié)果分類為「效果更好」「效果變差」「無法執(zhí)行」三類，并交由一個 “經(jīng)驗型 LLM” 進(jìn)行分析，總結(jié)出可以重復(fù)利用的經(jīng)驗知識。

該模塊會進(jìn)行如下反思：

• 為什么這條方程效果更好 / 更壞 / 無法執(zhí)行？
• 從這次方程的生成中，可以總結(jié)出什么經(jīng)驗或教訓(xùn)？

總結(jié)出的知識以 idea 的形式存入 idea 庫（Idea Library），供后續(xù)輪次調(diào)用，提升生成策略的有效性。

?? 模塊 c：方程生成 + 數(shù)值擬合

DrSR 的 “主控型 LLM” 負(fù)責(zé)綜合問題描述、數(shù)據(jù)分析結(jié)論和 idea 庫的經(jīng)驗，生成方程 skeleton。隨后調(diào)用 BFGS 等優(yōu)化器進(jìn)行系數(shù)擬合，并評估方程的整體誤差。表達(dá)式被送回評估路徑，進(jìn)入下一輪經(jīng)驗提煉與數(shù)據(jù)再分析循環(huán)。

這個模塊是整個 DrSR 的 “前臺”，而 a 與 b 是強(qiáng)大的 “后端支持”。

總結(jié)來說，DrSR 的運(yùn)行流程是一種閉環(huán)：

數(shù)據(jù)分析 → 提示引導(dǎo) → 方程生成 → 評估打分 → 經(jīng)驗總結(jié)，如此循環(huán)。每一次生成，模型都在積累知識、修正路徑，從 “盲目試探” 走向 “有的放矢”。

實驗結(jié)果：DrSR 不僅 “更準(zhǔn)”，還 “更快、更穩(wěn)、更聰明”

研究團(tuán)隊在六大符號回歸基準(zhǔn)任務(wù)上系統(tǒng)評估了 DrSR 的性能，涵蓋物理、生物、化學(xué)、材料等多個科學(xué)領(lǐng)域，結(jié)果顯示 DrSR 全面超越現(xiàn)有主流方法，不僅準(zhǔn)確率更高，而且在推理效率和泛化能力上也顯著領(lǐng)先。

?? 全面領(lǐng)先的擬合精度與準(zhǔn)確率

表 1. DrSR 和基線方法在六個符號回歸基準(zhǔn)上的總體性能

如表 1 所示，平均來看，DrSR 在 6 個任務(wù)中有 5 個取得了最高準(zhǔn)確率（Acc）和最低歸一化均方誤差（NMSE）。特別地，DrSR 在非線性阻尼振蕩系統(tǒng)建模任務(wù)（Oscillation 2）上達(dá)成了近乎完美的 99.94% 準(zhǔn)確率，誤差低至 1.8e-12，顯著優(yōu)于所有基線方法。

?? 快速收斂：從一開始就更聰明

圖 2. 訓(xùn)練收斂性比較

從圖 2 可以看到，DrSR 在幾乎所有數(shù)據(jù)集上都以更快速度達(dá)到更低的誤差。在初期迭代階段，其誤差下降趨勢也更穩(wěn)定，不容易陷入振蕩或卡頓，這說明 DrSR 的雙推理策略能更有效引導(dǎo)方程生成方向，從而減少無效嘗試次數(shù)。

? 有效率更高：生成的方程更 “靠譜”

圖 3. 有效解比例對比

如圖 3 所示，DrSR 生成的方程在語法、編譯、可求值等方面的有效比例普遍高于 LLM-SR 約 10%-20%，這背后正是 “經(jīng)驗學(xué)習(xí)” 機(jī)制的作用 —— 模型逐步避開常見失敗結(jié)構(gòu)。

?? 泛化更強(qiáng)，且對噪聲和 OOD 更魯棒

圖 4. 在 ID 和 OOD 數(shù)據(jù)下跨科學(xué)領(lǐng)域的泛化對比

圖 4 展示了 DrSR 在 ID（域內(nèi)）與 OOD（域外）數(shù)據(jù)下的性能對比。可以看到：在所有任務(wù)、所有設(shè)置下，DrSR 的歸一化均方誤差（NMSE）始終是最低的，展現(xiàn)出極強(qiáng)的模型穩(wěn)定性。其他方法（如 PySR 或 uDSR）雖然在部分任務(wù)中 ID 表現(xiàn)尚可，但面對 OOD 分布時誤差陡升、性能驟降，而 DrSR 則表現(xiàn)出了 “跨場景保持魯棒” 的能力。

表 2. 不同高斯噪聲水平下的性能比較

如表 2 所示，在不同高斯噪聲水平下，DrSR 均顯著優(yōu)于 LLM-SR，展現(xiàn)出抗噪、抗漂移的泛化優(yōu)勢。

?? 消融實驗：兩個核心機(jī)制 “缺一不可”

圖 5. 消融實驗

圖 5 的消融實驗也驗證了兩個核心機(jī)制的重要性：沒有結(jié)構(gòu)引導(dǎo)，模型不知從何生成；沒有經(jīng)驗總結(jié)，模型容易反復(fù)試錯。DrSR 的成功，正是這兩者閉環(huán)協(xié)同的結(jié)果。

案例展示：DrSR 如何一步步逼近 “真實方程”

為了更直觀地展示 DrSR 的 “類科學(xué)家” 建模過程，研究團(tuán)隊以非線性阻尼振蕩系統(tǒng)建模任務(wù)為例，繪制了其在 1000 次迭代過程中的方程演化軌跡，如圖 6 所示。

圖 6. DrSR 的性能軌跡與代表性表達(dá)式演化，每一個臺階，都是模型一次深刻的 “認(rèn)知飛躍”

該任務(wù)的真實方程為：

DrSR 在僅 1000 輪迭代后生成的最優(yōu)方程為：

基線 LLM-SR 在 2000 輪迭代后生成的最優(yōu)方程為：

可以看到：DrSR 用一半的迭代次數(shù)，就生成了更接近真實結(jié)構(gòu)的表達(dá)式，充分體現(xiàn)其 “有方向感” 的探索能力。

這一案例也展現(xiàn)出 DrSR 獨(dú)特的三大智能行為：

• 初期：大膽探索，快速淘汰
  

在前幾十輪中，DrSR 嘗試了一系列初步構(gòu)造的方程，例如僅包含多項式組合的表達(dá)式（如 -0.5xv - 0.04x2 - 0.24v2 等），盡管形式接近，但精度仍遠(yuǎn)未達(dá)到理想值。此階段模型更像一個 “實驗科學(xué)家”，快速試錯、積累經(jīng)驗。

• 中期：融合非線性成分，跨越式發(fā)展

隨著經(jīng)驗的積累與數(shù)據(jù)結(jié)構(gòu)的洞察引入，DrSR 開始生成帶有 sin (x)、x2v 等非線性物理元素的表達(dá)式，方程擬合誤差明顯下降近兩個數(shù)量級，說明模型已開始理解系統(tǒng)的振蕩性本質(zhì)。此時，它如同一個 “理論科學(xué)家”，開始用正確的符號結(jié)構(gòu)組織規(guī)律。

• 后期：精煉組合，逼近真實動力學(xué)

最終，DrSR 提出了形如 0.8sin (x) - 0.5xv - 0.5v3 - 0.2x3 的復(fù)雜但精確表達(dá)式，誤差降至 10^-5 級別，接近人類解析解。這一過程高度模擬了科學(xué)發(fā)現(xiàn)中的 “假設(shè) - 驗證 - 歸納” 的迭代式建模模式。

這個案例生動說明了 DrSR 如何結(jié)合 “結(jié)構(gòu)洞察 + 經(jīng)驗引導(dǎo)” 兩種智慧，逐步收斂到準(zhǔn)確又可解釋的科學(xué)方程。

總結(jié)：讓大模型更像科學(xué)家，科學(xué)智能邁出關(guān)鍵一步

DrSR 提出了一種融合數(shù)據(jù)感知與經(jīng)驗反思的符號回歸新范式，它通過結(jié)構(gòu)洞察指導(dǎo)生成方向，通過經(jīng)驗總結(jié)提升推理質(zhì)量，讓大模型在科學(xué)建模中逐步具備 “看數(shù)據(jù)、記教訓(xùn)、會修正” 的能力。

在多個跨學(xué)科的符號回歸任務(wù)中，DrSR 實現(xiàn)了對傳統(tǒng)方法與現(xiàn)有 LLM 基線的全方位超越，在準(zhǔn)確率、收斂速度、方程有效性和泛化能力等維度表現(xiàn)突出。作為一套通用性強(qiáng)、可解釋性好、建模效率高的新架構(gòu)，DrSR 為人工智能深度參與科學(xué)發(fā)現(xiàn)提供了堅實技術(shù)支撐。

DrSR 已集成至一站式智能科研平臺 ScienceOne，為科研工作者提供高效、可解釋的科學(xué)建模服務(wù)。值得強(qiáng)調(diào)的是，DrSR 并不依賴特定的大模型，具備良好的模型兼容性和可擴(kuò)展性。未來，研究團(tuán)隊將基于平臺自研的科學(xué)基礎(chǔ)大模型 S1-Base，進(jìn)一步增強(qiáng) DrSR 在科學(xué)建模中的推理能力與跨任務(wù)泛化能力。

局限與展望

盡管 DrSR 展現(xiàn)出優(yōu)異的建模性能與類科學(xué)家的推理能力，但仍存在若干值得改進(jìn)的方面：

• 輸出波動：由于大模型生成本身具有隨機(jī)性，部分方程可能存在結(jié)構(gòu)冗余、表達(dá)復(fù)雜等問題，仍需人工后處理或規(guī)則約束。
• 模態(tài)輸入有限：DrSR 目前主要面向結(jié)構(gòu)化數(shù)值數(shù)據(jù)，尚未支持圖像、圖表等更豐富的科學(xué)輸入形式，制約了其多模態(tài)建模能力。

這些問題正是未來演進(jìn)的關(guān)鍵方向。研究團(tuán)隊計劃繼續(xù)擴(kuò)展 DrSR 至多模態(tài)科學(xué)建模場景，引入持續(xù)學(xué)習(xí)機(jī)制，提升策略泛化能力，逐步構(gòu)建一個具備長期認(rèn)知積累、適應(yīng)科學(xué)復(fù)雜性的智能建模引擎。

讓人工智能不僅能 “擬合數(shù)據(jù)”，更能 “發(fā)掘自然規(guī)律”，這正是 AI4Science 走向深層科學(xué)智能的必由之路。