AI無法顛覆化學?谷歌DeepMind論文被爆重大缺陷,倫敦大學教授建議撤回Nature
DeepMind團隊最新的Nature論文,竟出現嚴重的漏洞。
來自倫敦大學的化學教授Robert Palgrave在網上公開揭露,論文在材料表征方面存在非常嚴重的問題。
更離譜的是,Palgrave發現AI制作了3次已有90年歷史的化合物,而且還弄錯了成分。
這篇在11月29日刊登在Nature的論文「An autonomous laboratory for the accelerated synthesis of novel materials」,主要是由UC伯克利、勞倫斯伯克利國家實驗室、谷歌DeepMind的團隊聯合完成。
論文中,僅用了17天時間,AI便實現了,在58種預測材料中,合成了41種新材料。
論文地址:https://www.nature.com/articles/s41586-023-06734-w
究竟是哪些材料表征出現了問題?讓我們一探究竟。
漏洞分析
Palgrave教授在接下來的線程中,分析了自己的看法。
該論文報道了許多「新」化合物。它們顯示的唯一特征是粉末XRD,沒有成分分析。
但是,如果他們在XRD分析方面做得很好,也許沒關系?
為了清晰起見,如果你不習慣查看PXRD,則殘差(紅線)應盡可能平坦。
該殘差比大多數峰值都要大。
即使結合其他表征,這也不可能是可靠的改進。但作為唯一的形式?不可能。
下圖是Mg3MnNi3O8。這是一種六方晶系的「新」化合物,其陽離子排序非常有趣。
這里唯一的問題是,Mg6MnO8和Ni6MnO8是已知的化合物,并且是立方的。
事實上,這兩種化合物的固溶體,可能寫成Mg3MnNi3O8,在1995年就被報道了。
XRD愛好者們請看兩篇推文前的「新」、「六邊形」Mg3MnNi3O8的PXRD圖樣。它看起來非常立體,非常類似Fm-3m空間群。
我們沒有原始的XRD數據,但看起來這很可能是一個立方體圖案,但實際上這是28年前報道過的一種固溶體。
那么這個MnAgO2呢?擬合同樣很糟糕。
更糟的是,它在2021年就已經被報道過了,而且實際上已經被另一個高通量計算團隊解決了結構,存在ICSD數據庫中(本文中使用的數據庫)。
在來看看如何這兩種材料,不同的「新」材料。
它們看起來很相似,都含有Sb、Pb和O,顯然一個有Hf,另一個有Fe。
那么,是否有任何已知的Sb、Pb和O化合物。其實,早在1933年報道中,就提到了Sb2Pb2O7。
它與上述兩種「新」合物具有完全相同的模式。
ICSD上的收藏碼是24246
還有Sn2Sb2Pb4O13。
顯然,他們成功地制作了3次具有90年歷史的化合物,而3次都沒有意識到并弄錯了成分。
又一個Sb2Pb2O7被錯誤識別。
另一個實際上是Sb2Pb2O7,它的圖案是一樣的。
作者最新回應
對于Robert Palgrave教授指出的問題,UC伯克利的教授Gerbrand Ceder對此做出了回應:
最近,我們的團隊發表了一篇介紹A-Lab的文章,A-Lab是一個用于人工智能驅動的目標化合物合成的自主實驗室。這篇文章旨在證明,自主智能體可以根據文本挖掘的歷史合成數據和ab initio熱化學數據(如MaterialsProject),就如何合成給定材料做出決策。
文章發表后,Robert Palgrave教授在一系列推文中對文章的實驗分析質量提出了質疑。
Robert Palgrave教授聲稱,對于我們工作中報告的所有5種MxSb4-xPb4O13化合物,A-Lab實驗室的實驗只得到了Sb2Pb2O7,這是基于它們衍射圖樣的相似性。在這篇文章中,我們提供了進一步的實驗證據,證明我們工作中的目標化合物確實如論文中所說的那樣被成功合成了。
Robert Palgrave教授還認為,我們提供的幾種化合物的Rietveld細化圖很差,含有很大的殘差。我們要澄清的是,我們工作的目的是展示自主實驗室能夠實現的成果,而不是展示人類A-Lab外部能夠做到的最好的成果。我們同意,自循環在這方面具有挑戰性,我們期待與科學界合作,進一步改進自動化方法。
在回應下面的文章鏈接中,Gerbrand Ceder具體澄清了Palgrave教授指出的問題。
Palgrave教授聲稱,對于論文中所有5種MxSb4-xPb4O13化合物,A-Lab的實驗僅產生了Sb2Pb2O7,基于它們衍射圖譜的相似性。
然而,研究分析表明這是不正確的。作者提供了另外2條信息,以確認這些化合物的成功合成:
1. 對于每個樣品,作者提供EDS數據(圖A),表明附加元素(Hf、Zr、Sn、Fe和In)很好地摻入了最終產品中。
2. 實驗測量的XRD圖譜中峰位置的偏移與離子取代一致(圖B)。它們的位置與每個取代元素的離子半徑顯示出明顯的趨勢,并且與Palgrave教授提出的Sb2Pb2O7化合物明顯不同。
成功合成Hf2Sb2Pb4O13,Zr2Sb2Pb4O13,Sn2Sb2Pb4O13,FeSb3Pb4O13,和InSb3Pb4O13
更進一步,更精確的表征總是可以增加任何合成樣品解釋的可信度,但EDS、XRD中一致的峰位移以及缺乏任何大量雜質相的組合表明目標相是成功制備的。
這正好反駁了Palgrave教授的斷言,即在每種情況下只合成了Sb2Pb2O7。
從靶向5種MxSb4-xPb4O13化合物的合成產物中獲得的掃描電子顯微鏡(SEM)圖像和能量色散光譜(EDS)圖
圖A顯示,所有新引入的陽離子(Fe、Hf、In、Sn和Zr)都保留在樣品中,在合成過程中沒有丟失。
元素似乎也均勻分布在顆粒中,幾乎沒有富含金屬的顆粒區域,這表明形成了包含所有前體元素(M、Sb、Pb、O)的材料,這些元素與研究的目標MxSb4-xPb4O13一致。
靶向五種 MxSb4-xPb4O13 化合物的樣品放大XRD圖譜
在圖B中圖的右側,作者列出了八面體環境中每個新引入的元素(M)的香農離子半徑。XRD中最大峰的位置與新引入元素的離子半徑成反比,表明它確實被摻入了靶材結構中。較大的離子(如Hf4+ 和Zr4+)導致晶格的顯著膨脹,向較低角度的偏移證明了這一點。
較小的離子(如Fe3+)導致較少的膨脹,但仍與已知的參考相Sb2Pb2O7有很大不同。一個離子(In3+)似乎偏離了這一趨勢,但這只是因為它在靶材結構InSb3Pb4O13中的濃度低于涉及M4+靶材的離子(例如Zr2Sb2Pb4O13)。
自動化Rietveld改進的質量
Palgrave教授認為,提供的幾種化合物的Rietveld細化圖很差,并且含有大量的殘差。
由于A-Lab以自動化方式進行分析,因此相位識別分兩步進行。
首先,在每個合成步驟之后,ML算法執行相鑒定,并提示樣品中可能存在的相。
最后,一旦得到相純度最高的樣品(當然不一定是100%相純),就會根據這些ML提出的相進行自動提純。
除了需要人工干預的兩種模式外,本文提供的就是這種自動程序的結果。我們毫不懷疑,人工可以對這些樣本進行更高質量的細化。
但是,研究的目標是展示自主實驗室所能達到的效果,而不是展示人類在A-Lab外部所能達到的最佳(或平均)效果。
合成化合物的新穎性:MnAgO2和Mg3Ni3MnO8
Palgrave教授指出,MnAgO2和Mg3Ni3MnO8并不是「新的」化合物。
研究人員同意這一評估。
這些化合物的結構在早期版本的ICSD中不存在,我們根據ICSD進行了檢查,并據此標記了材料項目條目,但這兩個階段之前已經在文獻中報道過。
我們確實想指出,A-Lab在其文獻衍生的訓練集中沒有提供有關這些靶點合成的信息。
因此,這些合成嘗試仍將被視為「成功」,因為該實驗室成功地合成了一種沒有合成配方信息的化合物。我們肯定會更新已發表的論文。