前不久，微軟 DeepSpeed 團隊啟動了一個名為 DeepSpeed4Science 的新計劃，旨在通過 AI 系統(tǒng)優(yōu)化技術(shù)實現(xiàn)科學(xué)發(fā)現(xiàn)。

11 月 13 日，微軟團隊在 arXiv 預(yù)印平臺發(fā)表題為《大型語言模型對科學(xué)發(fā)現(xiàn)的影響：使用 GPT-4 的初步研究》（「The Impact of Large Language Models on Scientific Discovery: a Preliminary Study using GPT-4」）的文章。

文章篇幅長達 230 頁。

論文鏈接：https://arxiv.org/abs/2311.07361

近年來，自然語言處理領(lǐng)域的突破性進展在強大的大型語言模型（LLM）的出現(xiàn)中達到了頂峰，這些模型在眾多領(lǐng)域展示了非凡的能力，包括自然語言的理解、生成和翻譯，甚至擴展到語言處理之外的任務(wù)。

在本報告中，微軟研究人員深入研究了 LLM 在科學(xué)發(fā)現(xiàn)/研究背景下的表現(xiàn)，重點關(guān)注最先進的語言模型 GPT-4。研究涵蓋多個科學(xué)領(lǐng)域，包括藥物發(fā)現(xiàn)、生物學(xué)、計算化學(xué)（DFT 和 MD）、材料設(shè)計和偏微分方程 (PDE)。

評估 GPT-4 的科學(xué)任務(wù)對于發(fā)掘其在各個研究領(lǐng)域的潛力、驗證其特定領(lǐng)域的專業(yè)知識、加速科學(xué)進步、優(yōu)化資源配置、指導(dǎo)未來模型開發(fā)和促進跨學(xué)科研究至關(guān)重要。探索方法主要包括專家驅(qū)動的案例評估，它為模型對復(fù)雜科學(xué)概念和關(guān)系的理解提供定性見解，并且偶爾進行基準(zhǔn)測試，它定量評估模型解決明確定義的特定領(lǐng)域問題的能力。

初步探索表明，GPT-4 在各種科學(xué)應(yīng)用中展現(xiàn)出廣闊的潛力，展示了其處理復(fù)雜問題解決和知識整合任務(wù)的能力。研究人員對 GPT-4 在上述領(lǐng)域（例如藥物發(fā)現(xiàn)、生物學(xué)、計算化學(xué)、材料設(shè)計等）的性能進行了分析，強調(diào)了其優(yōu)點和局限性。從廣義上評價 GPT-4 的知識基礎(chǔ)、科學(xué)理解能力、科學(xué)數(shù)值計算能力和各種科學(xué)預(yù)測能力。

在生物學(xué)和材料設(shè)計方面，GPT-4 擁有廣泛的領(lǐng)域知識，可以幫助滿足特定要求。在藥物發(fā)現(xiàn)等其他領(lǐng)域，GPT-4 顯示出強大的特性預(yù)測能力。然而，在計算化學(xué)和偏微分方程等研究領(lǐng)域，雖然 GPT-4 有望幫助研究人員進行預(yù)測和計算，但仍需要進一步努力來提高其準(zhǔn)確性。盡管其功能令人印象深刻，但 GPT-4 還可以針對定量計算任務(wù)進行改進，例如需要進行微調(diào)以實現(xiàn)更好的準(zhǔn)確性。

研究人員希望這份報告能夠為那些尋求利用 LLM 的力量進行科學(xué)研究和應(yīng)用的研究人員和從業(yè)者，以及那些對推進特定領(lǐng)域科學(xué)任務(wù)的自然語言處理感興趣的人提供寶貴的資源。需要強調(diào)的是，LLM 和大規(guī)模機器學(xué)習(xí)領(lǐng)域正在迅速發(fā)展，該技術(shù)的未來幾代可能擁有本報告中強調(diào)的功能之外的其他功能。值得注意的是，LLM 與專業(yè)科學(xué)工具和模型的整合，以及基礎(chǔ)科學(xué)模型的開發(fā)，代表了兩條有希望的探索途徑。

藥物發(fā)現(xiàn)

藥物發(fā)現(xiàn)是制藥行業(yè)的重要組成部分，在推進醫(yī)學(xué)科學(xué)方面發(fā)揮著至關(guān)重要的作用。藥物發(fā)現(xiàn)涉及復(fù)雜的多學(xué)科過程，包括靶點識別、先導(dǎo)化合物優(yōu)化和臨床前測試，最終導(dǎo)致安全有效藥物的開發(fā)。

評估 GPT-4 在藥物發(fā)現(xiàn)方面的能力具有巨大的潛力，例如加速發(fā)現(xiàn)過程、降低搜索和設(shè)計成本、增強創(chuàng)造力等。在本章中，研究人員首先通過定性測試研究 GPT-4 關(guān)于藥物發(fā)現(xiàn)的知識，然后通過對多個關(guān)鍵任務(wù)的定量測試來研究其預(yù)測能力，包括藥物-靶標(biāo)相互作用/結(jié)合親和力預(yù)測、分子性質(zhì)預(yù)測和逆合成預(yù)測。

第一個示例是生成給定藥物名稱的化學(xué)式、IUPAC 名稱和 SMILES，這是名稱和藥物其他表示形式之間的翻譯。以 Afatinib 作為輸入藥物。GPT-4 正確輸出化學(xué)式為 C24H25ClFN5O3，IUPAC 名稱也正確，這意味著 GPT-4 知道藥物 Afatinib。然而，SMILES 并不正確。因此，研究人員給予指導(dǎo)，讓 GPT-4 再次生成 SMILES。不幸的是，雖然明確要求 GPT-4 「注意每種原子類型的原子數(shù)量」并基于正確的 IUPAC 和化學(xué)式生成，但在幾次試驗中生成的 SMILES 序列仍然不正確。

圖 1：藥物名稱和藥物其他表示形式之間的翻譯。（來源：論文）

生物

在本章中，研究人員深入探討了 GPT-4 在生物學(xué)研究領(lǐng)域的能力，主要關(guān)注其理解生物語言、利用內(nèi)置生物知識進行推理的熟練程度，以及設(shè)計生物分子和生物實驗。觀察表明，GPT-4 通過展示其處理復(fù)雜生物語言、執(zhí)行生物信息任務(wù)、甚至作為生物設(shè)計的科學(xué)助手的能力，展現(xiàn)出為生物學(xué)領(lǐng)域做出貢獻的巨大潛力。GPT-4 對生物學(xué)概念的廣泛掌握及其作為設(shè)計任務(wù)中的科學(xué)助手的巨大潛力凸顯了其在推進生物學(xué)領(lǐng)域的重要作用。

首先評估了 GPT-4 處理生物序列序列符號和文本符號的能力。

研究人員要求 GPT-4 在生物序列及其文本符號之間進行轉(zhuǎn)換：1）輸出給定蛋白質(zhì)序列的蛋白質(zhì)名稱。2) 輸出給定名稱的蛋白質(zhì)序列。在執(zhí)行每個任務(wù)之前，都會重新啟動會話以防止信息泄露。結(jié)果表明，GPT-4 知道序列到文本符號轉(zhuǎn)換的過程，但它不能自己直接查找（也稱為 BLAST 序列）。同時，GPT-4 更喜歡生物序列的文本標(biāo)記（包括蛋白質(zhì)和 DNA，后者未顯示）。當(dāng)給出文本符號時，它提供了更豐富的信息，這可能是由于其設(shè)計理念。需要指出的是，還注意到，生成序列可能會導(dǎo)致 GPT-4 的災(zāi)難性行為。如下圖所示，雖然 GPT-4 返回了正確的 UniProt ID，但在生成序列時遇到了困難。序列生成因嘗試的幾種不同提示而崩潰。

圖 2：序列符號和文本符號之間的轉(zhuǎn)換。（來源：論文）

計算化學(xué)

計算化學(xué)是一個跨學(xué)科領(lǐng)域，利用計算方法和技術(shù)來解決化學(xué)中的復(fù)雜問題。長期以來，它一直是分子系統(tǒng)研究中不可或缺的工具，提供了對原子級相互作用的見解并指導(dǎo)實驗工作。計算化學(xué)在微觀和宏觀層面上理解分子結(jié)構(gòu)、化學(xué)反應(yīng)和物理現(xiàn)象方面發(fā)揮著至關(guān)重要的作用。

在本章中，研究了 GPT-4 在計算化學(xué)各個領(lǐng)域的功能，包括電子結(jié)構(gòu)方法和分子動力學(xué)模擬，并展示了 GPT-4 從不同角度服務(wù)的兩個實際示例。總之，GPT-4 能夠以多種方式幫助計算化學(xué)研究人員。

研究從評估 GPT-4 解釋量子化學(xué)和物理概念的能力開始。評估涵蓋了該領(lǐng)域常用的方法，如密度泛函理論（DFT）和波函數(shù)理論（WFT）。

圖 3：密度泛函理論的概念檢驗。（來源：論文）

在以上例子中，GPT-4 很好地理解了密度泛函理論、KohnSham 密度泛函理論和無軌道密度泛函理論的概念。

材料設(shè)計

在本章中，研究了 GPT-4 在材料設(shè)計領(lǐng)域的功能。研究人員設(shè)計了一套全面的任務(wù)，涵蓋材料設(shè)計過程中的各個方面，從最初的概念化到隨后的驗證和合成。目標(biāo)是評估 GPT-4 的專業(yè)知識及其在實際應(yīng)用中生成有意義的見解和解決方案的能力。設(shè)計的任務(wù)涵蓋各個方面，包括背景知識、設(shè)計原則、候選識別、候選結(jié)構(gòu)生成、屬性預(yù)測和合成條件預(yù)測。通過解決整個設(shè)計過程，目標(biāo)是對 GPT-4 在材料設(shè)計方面的熟練程度進行整體評估，特別是對于結(jié)晶無機材料、有機聚合物以及金屬有機框架 (MOF) 等更復(fù)雜的材料。

值得注意的是，評估主要側(cè)重于對 GPT-4 在這一專業(yè)領(lǐng)域的能力進行定性評估，而只有在可行的情況下才能獲得統(tǒng)計分?jǐn)?shù)。

研究人員首先詢問目前固體電解質(zhì)的分類，其分類標(biāo)準(zhǔn)有不同的要求，例如一般化學(xué)和陰離子類型。還要求提供基于分類標(biāo)準(zhǔn)的示例。如圖 4 所示，這里的所有答案都是事實，而且大部分都是正確的。由于這些分類標(biāo)準(zhǔn)在文獻中沒有得到很好的體現(xiàn)，GPT-4 應(yīng)該對化學(xué)的含義有一個相對清晰的理解。

圖 4：無機固體電解質(zhì)的分類。（來源：論文）

偏微分方程

偏微分方程 (PDE) 是數(shù)學(xué)領(lǐng)域中一個重要且高度活躍的研究領(lǐng)域，在物理、工程、生物學(xué)和金融等各個學(xué)科中具有深遠的應(yīng)用。偏微分方程在建模和理解各種現(xiàn)象（從流體動力學(xué)和傳熱到電磁場和群體動力學(xué)）方面發(fā)揮著至關(guān)重要的作用。

在本章中，研究了 GPT-4 在偏微分方程的幾個方面的技能：理解偏微分方程的基礎(chǔ)知識、求解偏微分方程以及協(xié)助 AI 進行偏微分方程研究。研究人員在不同形式的 PDE 上評估模型，例如線性方程、非線性方程和隨機 PDE。研究表明 GPT-4 能夠以多種方式幫助研究人員。

第一個問題是關(guān)于偏微分方程的定義和形式，GPT-4 對偏微分方程提供了很好的解釋，如圖 5 所示。在用戶的提示下，GPT-4 給出了偏微分方程的清晰概念以及線性或非線性、橢圓形、拋物線形或雙曲形的類別。該領(lǐng)域的新手將從這些概念和分類中受益。

圖 5：PDE 的基本概念介紹。（來源：論文）

未來展望

在該研究中，研究人員探索了 LLM 在各個自然科學(xué)領(lǐng)域的能力和局限性，涵蓋了各種任務(wù)。研究的主要目標(biāo)是對最先進的 LLM GPT-4 及其對科學(xué)發(fā)現(xiàn)做出貢獻的潛力提供初步評估，為多個領(lǐng)域的研究人員提供寶貴的資源和工具。

通過廣泛的分析，研究強調(diào)了 GPT-4 在眾多科學(xué)任務(wù)中的熟練程度，從文獻綜合到屬性預(yù)測和代碼生成。盡管其功能令人印象深刻，但必須認識到 GPT-4（以及類似的 LLM）的局限性，例如處理特定數(shù)據(jù)格式的挑戰(zhàn)、響應(yīng)的不一致以及偶爾的幻覺。

研究人員相信，該探索是理解和認識 GPT-4 在自然科學(xué)領(lǐng)域潛力的關(guān)鍵第一步。通過詳細概述其優(yōu)點和缺點，旨在幫助研究人員在將 GPT-4（或其他 LLM）納入日常工作時做出明智的決定，確保最佳應(yīng)用，同時注意其局限性。

此外，鼓勵 GPT-4 和其他 LLM 的進一步探索和發(fā)展，旨在提高其科學(xué)發(fā)現(xiàn)能力。這可能涉及完善培訓(xùn)過程、合并特定領(lǐng)域的數(shù)據(jù)和架構(gòu)，以及集成針對不同科學(xué)學(xué)科量身定制的專業(yè)技術(shù)。

隨著人工智能領(lǐng)域的不斷發(fā)展，像 GPT-4 這樣的復(fù)雜模型的集成將在加速科學(xué)研究和創(chuàng)新方面發(fā)揮越來越重要的作用。

最后，研究總結(jié)了 LLM 在科學(xué)研究方面需要改進的方面，并討論加強 LLM 或在此基礎(chǔ)上推動科學(xué)突破的潛在方向。