今天分享一篇來自慕尼黑工業(yè)大學(xué)的文章，Title: "NLP-KG: A System) for Exploratory Search of Scientific Literature in Natural Language Processing"。

傳統(tǒng)的文獻(xiàn)搜索工具例如google scholar在學(xué)術(shù)資源的搜索上做的并不是很好，其大多利用關(guān)鍵詞來進(jìn)行搜索。而本文提出的NLP-KG方法，借助了大量自然語言處理的工具，對現(xiàn)有的文章進(jìn)行概念抽取，綜述分類等，提供層次化的結(jié)構(gòu)圖，方便用戶快速定位到相關(guān)領(lǐng)域和paper。同時結(jié)合LLM提供文章chat以及對話搜索等功能，為文獻(xiàn)搜索特別是NLP領(lǐng)域的文獻(xiàn)搜索提供一套不錯的方案。此外，本文提出的方法可能為后續(xù)文獻(xiàn)類的RAG方案提供一種參考方法。

一、概述

?Title:NLP-KG: A System for Exploratory Search of Scientific Literature in Natural Language Processing

?Authors:Tim Schopf, Florian Matthes

?Institution:Technical University of Munich, Department of Computer Science, Germany

?URL:?? https://arxiv.org/html/2406.15294v1??

?Code:?? https://github.com/NLP-Knowledge-Graph/NLP-KG-WebApp??

?Website: ???https://nlpkg.sebis.cit.tum.de??^[1]

1 動機(jī)

本文嘗試nlp論文搜索難的問題，特別是當(dāng)用戶對某個特定領(lǐng)域或概念不熟悉，但又希望了解更多相關(guān)信息時，現(xiàn)有的科學(xué)文獻(xiàn)搜索系統(tǒng)通常基于關(guān)鍵詞進(jìn)行查找，限制了探索的可能性。為此，作者提出了NLP-KG，一個富有特色的系統(tǒng)，旨在支持用戶在自然語言處理(NLP)領(lǐng)域的研究文獻(xiàn)探索。

? 現(xiàn)有的科學(xué)文獻(xiàn)搜索系統(tǒng)主要針對基于關(guān)鍵詞的查找搜索，限制了探索性查找的可能性。

? 研究人員在不熟悉某一領(lǐng)域時，常需要一種更加探索性的方法來學(xué)習(xí)和理解新的概念和研究。

2 方法

主要特點：

?語義搜索：提供基于關(guān)鍵詞以及語義檢索的搜索界面。

?綜述論文查找：允許用戶快速找到特定領(lǐng)域的綜述論文。

?研究領(lǐng)域?qū)蛹増D：通過可視化的方式展示不同研究領(lǐng)域及其關(guān)系。

?聊天界面：使用戶能夠?qū)Σ皇煜さ母拍罨蛱囟ㄎ恼绿岢鰡栴}，并獲取基于科學(xué)出版物的答案。

?高級過濾器：允許用戶根據(jù)特定條件篩選搜索結(jié)果。

四大功能:

1.高級篩選：提供包括FoS（Fields of Study）、會議、日期、引用計數(shù)或綜述文章等多種高級篩選功能。

2.層次化展示：提供基于層次結(jié)構(gòu)的研究領(lǐng)域（FoS）圖，幫助用戶理解和探索相關(guān)領(lǐng)域。

3.Chat功能：利用LLM對用戶提出的關(guān)于特定文章的深入問題進(jìn)行解答。

4.對話搜索：通過RAG (Retrieval Augmented Generation) ，回答用戶關(guān)于 NLP 相關(guān)問題的自然語言問題。

實現(xiàn)方法和步驟:

1.研究領(lǐng)域?qū)哟谓Y(jié)構(gòu)（Fos Fields of Study）構(gòu)建：使用經(jīng)過微調(diào)的 PL-Marker 模型從 ACL Anthology 和 arXiv cs.CL 類別Paper的標(biāo)題和摘要中自動提取實體和關(guān)系，并構(gòu)建高質(zhì)量的層次結(jié)構(gòu)圖。然后經(jīng)過領(lǐng)域?qū)＜胰斯残拚蜆?gòu)建FoS hierarchy graph。最終生成了421個實體（領(lǐng)域：Fields of Study），530個關(guān)系，最高可達(dá)7層深度的FOS。

2.文獻(xiàn)分類：使用微調(diào)分類模型和基于規(guī)則的方法，將研究出版物自動分配到相應(yīng)的FoS中。

3.綜述論文分類：訓(xùn)練二元分類器，自動將研究出版物分類為綜述或非綜述。

4.附加元數(shù)據(jù)：從Semantic Scholar API獲取出版物摘要、SPECTER2 embedding、作者信息、引用和參考文獻(xiàn)等元數(shù)據(jù)。

5.語義搜索：結(jié)合BM25和基于SPECTER2 embedding的檢索結(jié)果，使用Reciprocal Rank Fusion方法進(jìn)行合并，并通過S2Ranker進(jìn)行重排序。讓用戶能夠基于關(guān)鍵詞搜索相關(guān)的出版物、作者、會議場地和學(xué)術(shù)學(xué)科。

6.會話搜索（Conversational Search）：針對每個query，利用LLM + one-shot example生成search term，然后將top5的搜索結(jié)果喂入LLM生成response，生成回答的同時，也會生成inline citations，對于follow-up問題，LLM自動決定用當(dāng)前response回復(fù)還是開始一個新的search。同時還針對當(dāng)個paper也提供Ask This Paper對話能力，能直接對該問題進(jìn)行提問。

3 結(jié)論

?支持探索性搜索：NLP-KG 系統(tǒng)提供了多種高級功能，支持用戶對不熟悉的 NLP 領(lǐng)域文獻(xiàn)進(jìn)行探索。

?高質(zhì)量層次結(jié)構(gòu)圖：系統(tǒng)構(gòu)建了一個高質(zhì)量的研究領(lǐng)域?qū)哟谓Y(jié)構(gòu)圖，幫助用戶理解和探索相關(guān)領(lǐng)域。

?增強(qiáng)的檢索和回答能力：語義搜索和對話搜索功能顯著提高了文獻(xiàn)檢索和問題回答的準(zhǔn)確性和相關(guān)性。

二、詳細(xì)內(nèi)容

1 研究領(lǐng)域?qū)蛹増DFoS正確性非常高

? 背景：研究抽取出來的FoS NLP層級概念圖的正確性

? 實驗方法：

參與者列出5個與他們專業(yè)相關(guān)的NLP概念，并在構(gòu)建的層級圖中找到這些概念。

進(jìn)行了用戶研究，涉及10位NLP領(lǐng)域的博士級研究人員。

? 結(jié)論：Fos層級圖的準(zhǔn)確率非常不錯，其中MAPE代表檢索的total step數(shù)和ideal step的差異。

2 檢索增強(qiáng)生成（RAG）效果評估

? 方法：

Grounded answer生成：使用GPT-4生成50個NLP相關(guān)的問題，并利用GPT-3.5和GPT-4在會話搜索流程中生成基于檢索文獻(xiàn)的回答。

評估方法：使用RAGAS框架評估生成的回答，關(guān)注生成回答的忠實度（Faithfulness）和答案相關(guān)性（Answer Relevance）。

?結(jié)論：RAG Pipeline檢索效果也不錯，通過RAGAS評價的忠實度（Faithfulness）和答案相關(guān)性（Answer Relevance）都不錯，說明本文提出的方法可以根據(jù)提供的上下文有效回答用戶question。

3 NLP-KG提供的功能相對其他學(xué)術(shù)搜索工具更強(qiáng)大

?結(jié)論：專門支持NLP文獻(xiàn)搜索，提供tag，層級可視化，綜述過濾，paper問答，對話搜索等能力。

三、總結(jié)

本文介紹了NLP-KG，一個為自然語言處理(NLP)研究文獻(xiàn)的探索性搜索而設(shè)計的系統(tǒng)。該系統(tǒng)利用知識圖譜、語義搜索、對話式搜索和先進(jìn)的篩選功能，支持用戶在NLP領(lǐng)域的探索，幫助理解未知概念、尋找相關(guān)研究文獻(xiàn)。

通過構(gòu)建FoS的層次結(jié)構(gòu)圖和集成大型語言模型(LLM)，NLP-KG提供了一種新穎的方式，以探索式的方式理解和發(fā)現(xiàn)NLP領(lǐng)域的文獻(xiàn)和知識。與現(xiàn)有的學(xué)術(shù)文獻(xiàn)搜索系統(tǒng)進(jìn)行對比，其在NLP類的文獻(xiàn)搜索上有一些優(yōu)勢。

本文轉(zhuǎn)載自??NLP PaperWeekly??，作者： NLP PaperWeekly ????