最近科學界又出現一場爭論，故事的主角是DeepMind位于倫敦的研究中心于2021年12月發表的一篇Science論文，研究人員發現神經網絡可以用來訓練并構建比以前更精確的電子密度和相互作用圖，能夠有效解決傳統泛函理論中的系統誤差。

論文鏈接：https://www.science.org/doi/epdf/10.1126/science.abj6511

文中提出的DM21模型準確地模擬了復雜的系統，如氫鏈、帶電的DNA堿基對和二元過渡態。對量子化學領域來說，可以說是開辟了一條通往精確的通用函數且可行的技術路線。

DeepMind的研究人員還放出了DM21模型的代碼，方便同行復現。

倉庫鏈接：https://github.com/deepmind/deepmind-research

按照道理來說，論文和代碼都公開，還是發表在頂級期刊上，實驗結果和研究結論基本上是可靠的。

但時隔八個月，來自俄羅斯和韓國的八位研究人員也在Science上發表了一篇科技評論，他們認為DeepMind原始研究中存在問題，即訓練集和測試集可能存在重疊部分，導致實驗結論不正確。

論文鏈接：https://www.science.org/doi/epdf/10.1126/science.abq3385

如果質疑屬實，那DeepMind這篇號稱化學界重大技術突破的論文，神經網絡取得的改進可能都得歸功于數據泄露了。

不過DeepMind的反應也很迅速，在該評論發表的同一天，立刻寫了一篇回復表示反對，并表示強烈譴責：他們提出的觀點要么不正確，要么與論文的主要結論以及對DM21總體質量的評估無關。

論文鏈接：https://www.science.org/doi/epdf/10.1126/science.abq4282

著名物理學家費曼曾說過，科學家就是要盡快證明自己是錯誤的，唯有如此才能進步。

雖然這次討論的結果還沒有定論，俄羅斯團隊也沒有進一步發表反駁文章，但該事件對人工智能領域的研究可能會產生更深遠的影響：即該如何證明自己訓練得到的神經網絡模型，真正理解了任務，而非只是記憶pattern？

研究問題

化學是21世紀的中心科學（確信），比如設計具有指定特性的新材料，如生產清潔電力或開發高溫超導體，都需要在計算機上對電子進行模擬。

電子是控制原子如何結合形成分子的亞原子粒子，也負責固體中的電流流動，了解電子在分子內的位置可以大大有助于解釋其結構、性質和反應性。

1926年，薛定諤提出薛定諤方程，能夠正確地描述波函數的量子行為。但用該方程來預測分子中的電子則顯得力不從心，因為所有的電子都相互排斥，需要跟蹤每個電子位置的概率，即使對于少量電子來說也是一項非常復雜的任務。

 1960 年代出現了一項重大突破，當時Pierre Hohenberg和Walter Kohn意識到沒有必要單獨跟蹤每個電子。相反，知道任何電子在每個位置的概率（即電子密度）就足以準確計算所有相互作用。

在證明了上述理論后，Kohn獲得諾貝爾化學獎，從而創立了密度泛函理論（density functional theory， DFT）

盡管 DFT 證明mapping存在，但50多年來，電子密度和相互作用能之間映射的確切性質，即所謂的密度泛函仍然未知，必須進行近似求解。

DFT本質上還是一種求解薛定諤方程的方法，其準確性取決于它的交換相關（exchange-correlation）部分。雖然DFT涉及一定程度的近似，但它是研究物質在微觀層面如何以及為何以某種方式表達的唯一實用方法，因此已成為所有科學領域中使用最廣泛的技術之一。

多年來，研究人員提出了400多種精確度不同的近似函數，但所有這些近似都存在系統誤差，因為它們無法捕捉精確泛函的某些關鍵數學特性。

一說到學習近似函數，這不就是神經網絡在干的事嗎？

 DeepMind在這篇論文里就是在分子數據和具有分數電荷和自旋的虛構系統上訓練一個神經網絡DM 21 (DeepMind 21)，成功學習到了一個沒有系統錯誤的泛函，能夠避免離域誤差(delocalization error)和自旋對稱性破缺（spin symmetry breaking），可以更好地描述廣泛的化學反應類別。

 從原理上來說，任何涉及電荷移動的化學物理過程都容易出現離域誤差，任何涉及鍵斷裂的過程都容易出現自旋對稱性破缺。而電荷運動和鍵斷裂是許多重要技術應用的核心，但這些問題也可能導致描述最簡單分子（如氫）的官能團出現大量定性失敗。

 模型搭建采用的是多層感知器（MLP），輸入為被占領的Kohn-Sham（KS）軌道的局部和非局部特征。

目標函數包含兩個：一個是用于學習交換相關能本身的回歸損失，另一個是確保函數導數在訓練后可用于自洽場（self-consistent field, SCF）計算的梯度正則化項。

對于回歸損失，研究人員用一個固定密度的數據集，代表了2235個反應的反應物和產物，通過最小二乘法目標，訓練網絡從這些密度映射到高準確度的反應能量，其中1161個訓練反應代表了小型主族H-Kr分子的原子化、電離、電子親和力和分子間結合能，1074個反應代表了H-Ar原子的關鍵FC和FS密度。

訓練后得到的模型DM21能夠在大型主族基準的所有反應上自洽地運行，產生更準確的分子密度。

真SOTA還是數據泄露？

DeepMind在訓練DM21時，采用的數據是分數電荷系統，比如帶有半個電子的氫原子。

為了證明DM21的優越性，研究人員在一組拉伸二聚體（stretched dimers）上，稱為bond-breaking benchmark(BBB)組，進行測試。比如兩個氫原子相距很遠，總共有一個電子。

實驗結果發現DM21泛函在BBB測試集上表現出出色的性能，超越了迄今為止所有測試的經典DFT泛函和DM21m（與 DM21 訓練相同，但在訓練集中沒有分數電荷）。

然后DeepMind在論文中宣稱：DM21已經了解分數電荷系統背后的物理原理。

但仔細觀察就會發現BBB組中，所有二聚體都變得與訓練組中的系統非常相似。實際上，由于電弱相互作用的局部性，原子相互作用僅在短距離處強，在此之外，兩個原子的行為基本上就好像它們沒有相互作用。

俄羅斯科學院澤林斯基有機化學研究所的研究組長Michael Medvedev解釋說，在某些方面，神經網絡就像人類一樣，他們更喜歡因為錯誤的原因得到正確的答案。因此，訓練神經網絡并不難，但你很難證明它已經學習了物理定律，而非只是記住正確的答案。

因此，BBB 測試集不是一個合適的測試集：它不測試 DM21 對分數電子系統的理解，對此類系統的 DM21 處理的其他四個證據的徹底分析也沒有得出決定性的結論：只有它在 SIE4x4 集上的良好精度可能是可靠的。

俄羅斯的研究者也認為，在訓練集中使用分數電荷系統并不是DeepMind工作中唯一的新穎之處。他們通過訓練集將物理約束引入神經網絡的想法，以及通過對正確化學勢的訓練來賦予物理意義的方法，未來可能會廣泛用于神經網絡DFT 泛函的構建。

DeepMind回應

對于Comment論文聲稱的DM21對于訓練集外預測分數電荷（FC）和分數自旋（FS）條件的能力在論文中沒有得到證明，這是基于訓練集與斷鍵基準BBB有約50%的重疊，以及其他泛化例子的有效性和準確性得出的結論。

DeepMind不同意該分析，并認為所提出的觀點要么不正確，要么與本文的主要結論和對DM21總體質量的評估不相關，因為BBB并不是論文中所展示的FC和FS行為的唯一例子。

 訓練集和測試集之間的overlap是機器學習中值得關注的一個研究問題：記憶意味著一個模型可以通過復制訓練集中的例子在測試集上表現更好。

Gerasimov認為DM21在BBB上的表現（包含有限距離的二聚體）可以通過復制FC和FS系統的輸出（即原子在無限分離極限時與二聚體匹配）得到很好的解釋。

 為了證明DM21的泛化超出了訓練集，DeepMind研究人員還考慮H2+（陽離子二聚體）和H2（中性二聚體）的原型BBB例子，可以得出結論：確切的exchange-correlation函數是非局部的；隨著距離的增加，返回一個常數記憶的值會導致BBB預測出現顯著錯誤。