為了讓AI更像科學家，他們將人類知識注入大模型…

正如教孩子解難題，你可以讓他們自己反復試錯找到正確方法，也可以教他們一些基礎規則和技巧提高解題效率。

類似地，將規則和技巧等人類知識融入到ChatGPT、Sora等基于數據驅動的AI模型訓練中，有可能提高模型的效率和推理能力。

△該圖由AI模型StableDiffusionXL生成

但關鍵問題是如何平衡數據和知識對模型的影響。

為了解決這一問題，美國國家工程院院士張東曉、寧波東方理工大學（暫名）助理教授陳云天領銜，提出了一個新框架——

它首次對知識的價值進行定量評估，從而增強深度學習模型的預測能力。

實驗證明，該框架可在物理、化學、工程學等不同領域有廣泛的實際應用，比如使用該方法優化機器學習模型來解決多變量方程、預測薄層色譜實驗的結果優化未來的實驗化學條件等。

目前，該研究已刊于Cell Press交叉學科領域期刊Nexus。

此外值得一提的是，雖然Sora發布后被認為可以理解“事物在現實世界中的存在方式”，但本文研究人員認為它不能準確模擬許多基本交互的物理特性：

如果沒有對世界的基本理解，模型本質上就是動畫，而不是一個模擬。

新框架長啥樣？

在數據科學中，知識可被視為是數據在時間和空間維度中復雜關系的體現。深度學習領域，先驗知識對于彌補數據驅動模型的缺陷至關重要。

然而，要想將物理機理等知識融入大模型仍然存在挑戰——

如何評估先驗知識的價值？數據和知識之間的關系是什么？如何使先驗知識更好地發揮作用？

為解決這幾點問題，本文研究框架的核心提出了兩個新的概念：

• 規則重要性（Rule Importance, RI）
• 完全重要性（Full Importance, FI）

其中，規則重要性（RI）用于量化每條規則對模型預測精度的邊際貢獻，研究特定規則或組合如何影響模型的預測準確性。

本文提到的“規則”指的是在知情機器學習（informed machine learning）框架中，用于指導模型學習和預測的先驗知識。

計算過程如下圖：

對于模型中納入的第i條規則，定義它的邊際貢獻為：

為了進行比較，完全重要性（FI）表示在所有其他規則存在的情況下，某條規則的重要性，計算公式可以表示為：

值得一提的是，研究人員還建立了一種基于擾動的高效計算RI的方法，避免了每次都從頭訓練模型。

（更多細節，感興趣的家人們可以查看原論文）

數據和規則的基本原理

接下來，研究人員通過一系列系統實驗，揭示了數據和規則之間的一些內在原理和關系。

具體來說，他們選擇了四個典型的物理過程作為實驗案例，涉及的規則包括控制偏微分方程（PDEs）、邊界條件（BCs）和初始條件（ICs）。

研究人員發現，在分布內（in-distribution）預測場景中，隨著訓練數據量增加，RI會逐漸降低。尤其是局部規則（local rules）如初始條件，RI下降得更快。

這表明在數據量較大時，模型可以通過學習數據本身來提高預測精度，而不需要依賴于規則來限制可能的分布范圍。

分布外（out-of-distribution）預測場景中，不同類型規則的RI會隨數據量變化呈現出不同趨勢。全局規則（global rules）如PDE，RI會隨數據量的增加而升高，而局部規則如初始條件的RI會隨著數據量的增加而降低。

全局規則在指導模型全局分布方面發揮更關鍵的作用，而局部規則與觀測數據緊密相關，過多的數據可能導致過擬合。

研究人員總結，規則之間存在著依賴（Dependence）、協同（Synergism）和替代（Substitution）等復雜交互作用。

• 依賴性體現為規則內部之間的依賴（inner dependence）和規則與依賴變量之間的外部依賴（outer dependence）。內部依賴指的是規則之間相互依賴以發揮作用，而外部依賴則是指規則對模型預測的依賴程度。
• 協同作用體現為：在某些情況下，多條規則共同作用產生的效應大于它們各自效應的總和。
• 替代作用體現為：在某些情況下，一個規則的功能可以被數據或其他規則替代。

值得一提的是，研究人員表示該框架在實際應用中具有實際效用，不僅能夠提高知情機器學習（informed machine learning）的性能，還能夠通過改善模型的規則選擇來提高模型的安全性和可靠性。

作者簡介

論文通訊作者

張東曉，美國工程院院士，美國地質學會會士，國際石油工程師協會SPE最高榮譽會員。

現任寧波東方理工大學（暫名）常務副校長兼教務長，主要從事智慧能源與碳中和領域研究。

陳云天，東方理工助理教授，博導。清華大學能源與動力工程系學士，北京大學力學（能源與資源工程）博士，鵬城實驗室博士后。

研究方向為科學機器學習，主要專注于：物理驅動與數據驅動的融合、AI輔助的科學知識發現。

論文一作

徐浩，北京大學工學院博士研究生。

擅長運用人工智能技術輔助科學探索，相關研究曾發表在Nature Communications、Chem和Advanced Science等期刊。