圖片

1. 背景

關系抽?。≧elation Extraction，RE）是指將非結構化文本轉化為結構化數據（關系三元組），在知識圖譜構建等領域扮演了重要角色。

但是關系抽取往往因為關系類型的多樣性和句子中實體關系的模糊性等問題，導致難以實現高效的RE。

這兩年，大語言模型憑借其在自然語言理解和生成方面的強大能力，開始在關系抽取方面得到廣泛應用。盡管取得一定進展，但往往局限于監督式微調或少量樣本問答（QA）基礎抽取，較少在復雜關系抽取場景下得到應用。

將LLMs應用于復雜場景下的RE任務，往往存在以下問題：

? 1.如何充分利用LLMs的能力，更好地挖掘與RE相關的各種重要信息？存在多種信息，如標記樣本、相關文章和知識圖譜中的知識，這些都可以被RE模型用來提升性能。但LLMs的有限上下文窗口限制了對這些信息的全面利用。

? 2.如何在特定或資源匱乏的領域有效實現RE？許多特定領域數據稀缺，使得傳統監督模型難以達到理想性能。

? 3.如何以合理的成本實現有效的RE？雖然LLMs性能卓越，但在實際應用中，較小的模型因其較低的計算資源消耗而更具吸引力。因此，利用大型模型的知識來微調小型模型是一個可行的策略。

基于智能體的框架能夠賦予LLMs更多能力，如記憶、反思和與外部環境交互，從而促進復雜RE任務的完成。受此啟發，作者提出了一種創新的基于智能體的RE框架——AgentRE，用于應對以上關系抽取中面臨的問題。

2. 什么是AgentRE?

圖片

上圖 (a)展示了“文本輸入，文本輸出（text-in, text-out）”模式下語言模型的RE流程，該模型直接從輸入文本或通過簡單的提示方法產生帶有錯誤的結果。

圖(b)則展示了AgentRE的RE流程，這是一個包含檢索和記憶模塊的智能體框架，在多次推理回合中利用各種信息，以實現更精確的RE。

首先，AgentRE將大型語言模型（LLM）作為智能體，處理來自不同渠道的數據。借助檢索和記憶模塊等工具，輔助智能體進行推理。與傳統的單輪“文本輸入，文本輸出”語言模型不同，AgentRE通過多輪交互和推理，拓寬了信息源的利用范圍，克服了單輪提取的局限。

其次，在資源有限的情況下，AgentRE能夠借助LLM的推理和記憶能力，在提取過程中進行動態總結和反思，從而精進其持續學習能力，通過不斷積累經驗與知識，提升提取效能。

最后，將AgentRE的推理路徑轉化為包含多種推理策略的高質量數據，如直接生成、分步提取和基于思維鏈的提取。這些豐富的數據可用于微調小型模型，引導它們靈活選擇不同的提取策略，從而在成本可控的前提下，提升模型的提取表現。

圖片

圖(a)AgentRE的整體架構，其中LLM扮演智能體的角色，通過與檢索、記憶和提取模塊的協同工作，從輸入文本中提煉出關系三元組。

圖(b)至(d)分別展示了檢索、記憶和提取模塊的內部結構。

?檢索模塊（Retrieval Module）：負責維護靜態知識庫，便于存儲和檢索信息，這包括訓練集中的標注樣本以及相關的標注指南等資料。

?記憶模塊（Memory Module）：負責維護動態知識庫，用于記錄當前提取結果的短期記憶，以及用于總結和反思歷史操作的長期記憶。通過在記憶模塊中進行讀寫操作，記錄并利用以往的提取經驗。

?提取模塊（Extraction Module）：利用檢索和記憶模塊提供的信息，通過多種推理方法從輸入文本中抽取結構化信息（關系三元組）。

2.1 檢索模塊

檢索模塊負責從現有數據集中提取相關樣本，并搜集補充知識，輔助提取模塊完成關系提取（RE）任務?？蓹z索的數據范圍廣泛且類型繁多，主要分為兩大類。

? 標注數據：帶有明確輸入輸出關系的標注數據，這些數據可以作為少量樣本整合進LLM的上下文中，幫助模型把握當前任務的輸入輸出關系。

? 相關資訊：包括關系定義、標注準則，乃至百科全書中的外部知識。這些信息作為輔助資訊注入LLM的上下文，能夠輔助模型更好地理解提取任務。

為了高效地管理和運用這兩類數據，設計了兩種特定的檢索模塊：

? 樣本檢索模塊

? 相關信息檢索模塊。

一旦獲取了富有信息量的標記數據和其它相關信息，檢索模塊就可以利用這些數據：

圖片

? 一種直接的方法是將它們合并為提示，以此整合有益信息。這些提示詞模板如上圖所示。提示詞分為不同顏色標記的多個部分，每個部分都有清晰的標簽，引導模型處理輸入文本并生成適當的輸出。：

? 紫色部分用于任務描述和輸入句子

? 藍色部分用于示例和可能的關系類型

? 青綠色部分用于相關信息

? 黑色部分用于輸出。

• ? 提取模塊可能會采用除直接提示之外的各種推理方法。

2.1.1 樣本檢索

如圖(b)下部展示，樣本檢索模塊利用編碼器將當前文本轉化為嵌入向量。計算訓練數據集中樣本與當前文本的相似性，以檢索與當前文本相似的樣本。

例如，對于句子“5月9日，諾貝爾文學獎得主、作家莫言在北京發表了演講?！?，樣本檢索模塊可以從訓練數據集中檢索出相關樣本，如文本“When the newly minted Nobel Prize in Literature, British novelist Kazuo Ishiguro, found himself…”及其對應的關系三元組標簽(Kazuo Ishiguro, 獲獎, Nobel Prize in Literature)。

提取過程可能被分解為兩個階段：

? 首先是識別句子中潛在的關系類型

? 然后基于這些識別出的候選關系類型進行提取

檢索候選關系類型的過程在圖(b)中以虛線箭頭表示。實現這種檢索的一種有效方法是開發一個在數據集上訓練的分類器，預測給定文本中最可能出現的關系。此外，利用LLMs的推理能力也可以實現檢索關系類型的任務。

2.1.2 相關信息檢索

如圖(b)的上部展示，相關信息檢索模塊的目的是檢索與特定句子相關的知識點。相較于樣本檢索使用的嵌入檢索技術，本模塊運用了多元化的檢索手段，融合向量與實體，實現精確匹配與模糊語義匹配的有機結合。

以句子“5月9日，諾貝爾文學獎得主、作家莫言在北京發表了演講?！睘槔?，本模塊不僅提取句子的語義信息，還識別出其中的潛在實體，如莫言、諾貝爾獎和北京，并利用這些實體檢索相關背景知識。

此外，以諾貝爾獎為起點，還能從標注指南中檢索到關于獎項關系類型的詳細描述，包括關系兩端實體的定義和深入闡釋。

相關信息檢索模塊涵蓋提取關鍵信息或生成嵌入向量的預處理環節，以及多個用于檢索輸入文本相關資訊的檢索器。在預處理階段，除了文本編碼器，還包含一個實體識別器，用于識別輸入文本中的所有潛在實體。

采用多種策略從不同數據源中檢索相關知識，比如從知識圖譜中檢索實體的屬性和關系，從標注指南中檢索關系類型的解釋性信息，或是從外部百科全書中檢索相關背景知識。

2.2 記憶模塊

記憶模塊負責在提取過程中動態地利用現有知識，并進行反思和總結，更好地完成后續的提取任務。

仿照人腦的記憶機制，模型的記憶被劃分為短期記憶和長期記憶。

2.2.1 短期記憶

短期記憶記錄了初步的提取經驗。

如圖(c)所示，對于句子“博物館位于莫言的故鄉，高密東北鄉。”，模型提取的結果是(莫言, 出生地, 高密東北鄉)和(博物館, 位于, 高密東北鄉)。其中第一個關系三元組是正確的，但第二個由于博物館的指代不明確而被標記為錯誤。短期記憶中，通過記錄這些正確與錯誤的結果，模型便能在后續的提取中將它們作為參考。這個過程相當于從過往經驗中汲取教訓。具體來說，模型會分別在正確記憶和錯誤記憶中添加新的條目。

2.2.2 長期記憶

長期記憶涵蓋了對過往記憶的深入反思與更新，如圖(c)所示。

在長期記憶中，AgentRE能夠基于準確的成果對長期記憶進行刷新，并針對不準確的結果進行深思熟慮。

以圖(c)的示例為鑒，得到正確的提取成果后，AgentRE便將其關于莫言的記憶從“莫言，著名作家，1955年2月17日出生，本名管謨業”更新為“莫言，著名作家，1955年2月17日出生于高密東北鄉，本名管謨業”。對于錯誤的結果，AgentRE則進行反思。比如，面對一個錯誤的提取成果和相關的標注準則，它會產生反思文本“根據標注準則，不完整的實體，如博物館，本不應被提取”。因此，當接收到下一個輸入文本“以最有影響力的當代作家和學者王先生命名的博物館……”，AgentRE便能借助先前的反思避免重蹈覆轍。

2.3 提取模塊

AgentRE中提取模塊借鑒了 ReAct 的互動式方法，通過多輪的思考、行動、觀察來推進，如圖(d)所描繪。

在此框架下，檢索與記憶模塊被視作智能體可調用的外部工具。智能體通過一系列API接口，輸入工具名稱和參數，隨后獲得反饋結果。這種設計賦予了智能體靈活調用工具、選擇工具種類及調用方式的能力。

以圖(d)中的句子為例：“5月9日，諾貝爾文學獎得主、作家莫言在北京發表了演講。”在首回合，智能體識別出可能的關系類型，隨后決定調用SearchAnnotation API來獲取相關資訊。進入第二輪，智能體運用SearchKG API檢索有關莫言的既有知識。最終，在搜集到充分的信息后，智能體執行Finish操作，以產出提取成果。

在提取過程中，AgentRE并非總是遵循一連串完整的ReAct互動。會根據輸入文本的復雜度，靈活選擇最合適的提取策略。

比如，在直接提取中，預測的關系三元組直接從文本中導出；在分階段提取中，先篩選關系類型，再進行三元組的提?。换蛘卟捎盟季S鏈（CoT）提取，最終結果通過逐步推導生成。

2.4 小模型的精煉

在真實場景中，部署具備強大推理能力的LLMs智能體以完成信息提取任務，往往需要高昂的成本。

而相對較小的大型語言模型（SLLMs）在推理能力上通常表現遜色。為了彌補這一鴻溝，作者提出了一種蒸餾學習的方法，通過利用大型模型的歷史推理路徑來引導小模型的學習。

對不同類型問題采用多樣化的推理策略，可以顯著增強模型解決問題的適應性。例如：

? 在關系提取（RE）任務中，文本中明確表述的直接關系可以直接推斷并生成結構化輸出。

? 對于那些包含更復雜關系的句子，采用基于思維鏈（CoT）的推理方法，可以引導模型逐步逼近最終結果，減少錯誤。

AgentRE推理框架通過智能體有效地為不同情境定制了多樣化的推理方法。為了賦予SLLMs相似的能力，并簡化推理過程，建議從AgentRE的歷史推理路徑中提煉出更簡潔的推理邏輯，用以指導小模型的學習。

3. 效果評估

3.1 測評數據集

為驗證AgentRE的效能，在以下兩個數據集進行測試：

? DuIE：作為規模最大的中文關系抽取數據集，囊括了48類預設關系類型。覆蓋了傳統簡單的關系類型，也涵蓋了涉及眾多實體的復雜關系類型。該數據集的標注文本源自百度百科、百度信息流及百度貼吧，共包含210,000句樣本與450,000個關系實例。

? SciERC：專為科學領域設計的英文命名實體識別與關系抽取數據集。其標注數據源自Semantic Scholar Corpus，覆蓋了500篇科學文章摘要。SciERC數據集共標注了8,089個實體和4,716個關系，平均每篇文檔包含9.4個關系。

3.2 測試基準方法

將AgentRE與數種基于LLM的信息抽取模型/框架進行了對比：

? ChatIE：通過與ChatGPT的對話，提出了一種零次學習IE方法，將零次學習IE視為一種多輪問答過程。先識別潛在的關系類型，再基于這些類型抽取關系三元組。

? GPT-RE：在少量學習框架內采用任務感知檢索模型，并整合CoT自動推理機制，以解決輸入-標簽映射中的實例相關性和解釋問題。

? CodeKGC：運用Python類來表達關系的框架模式，通過推理依據增強信息抽取的準確性。

? CodeIE：將IE任務轉化為代碼形式，借助LLMs的代碼推理能力。

? UIE：引入了一種結構化編碼語言，用于文本到結構化輸出的生成，適用于T5模型的預訓練。

? USM：一個集結構化與概念能力于一體的統一語義匹配框架，專為信息抽取設計，基于RoBERTa構建。

? InstructUIE：在Flan-T5上實施基于指令的微調，以提升任務的泛化能力。

ChatIE和CodeKGC運用LLMs進行零次學習，而CodeIE、CodeKGC和GPT-RE則采用少量學習策略。UIE、USM和InstructUIE則采用監督微調（SFT）。GPT-RE還在特定任務上對如text-davinci-003這樣的大型模型進行了微調，成本較高。

3.3 測評結果

圖片

實驗結果如上圖，僅采用F1分數作為評價標準。

對于比較基準模型/框架，盡量引用原始發表數據，或通過復現其公布的模型與源代碼來獲取結果。

為了確保實驗比較的公正性，主要采用同一基礎大型語言模型，如gpt-3.5-turbo。對于那些采用不同基礎模型的方法，在表格中以斜體字呈現了它們的原始成果，并補充了使用gpt-3.5-turbo作為基礎模型所得到的結果。

上表根據三種不同的實驗范式劃分：

? 零樣本學習（ZFL）

? 少樣本學習（FSL）

? 有監督的微調（SFT）

在SFT設置下，這些方法大致可分為三類，根據模型參數規模如下：

? 1）UIE使用的T5-v1.1-large和USM使用的RoBERTa-Large，參數規模分別為0.77B和0.35B。

? 2）InstructUIE使用的Flan-T5和AgentRE-SFT使用的Llama-2-7b，參數規模分別約為11B和7B。

? 3）GPT-RE-SFT使用的gpt-3.5-turbo，參數規模約為175B。

在ZSL組中，ChatIE-multi的表現超過了ChatIE-single，說明多輪對話的有效性。AgentRE-ZSL的卓越表現則反映了其在高效利用輔助信息方面的優勢。

在FSL組中，CodeKGC-FSL超越了基于對話的ChatIE，而GPT-RE與其表現相匹配，突顯了結構化推理和精確樣本檢索的優勢。AgentRE-FSL顯著超越了當前最佳模型，展示了其在利用標記數據和輔助信息方面的卓優勢。

在SFT設置下，對較小模型如UIE和USM進行微調，雖然優于基線模型，但仍不及AgentRE-FSL。AgentRE-SFT在InstructUIE上的表現顯著更佳，證明了AgentRE中蒸餾學習的有效性。然而，GPT-RE-SFT在SciERC上取得了最佳性能，盡管由于其龐大的模型規模和基于text-davinci-003的API訓練帶來了更高的訓練成本。

3.4 消融實驗

消融實驗探究了AgentRE在不同配置下的表現：

? 缺少檢索模塊（AgentRE-w/oR）

? 缺少記憶模塊（AgentRE-w/oM）

? 兩者皆無（AgentRE-w/oRM）

圖片

依據上表，AgentRE-w/oRM的性能顯著不足，表明這兩個模塊的關鍵作用。

AgentRE-w/oR和AgentRE-w/oM相較于AgentRE-w/oRM展現出更好的效果，表明獨立引入記憶和檢索模塊的好處。

完整框架AgentRE整合了這兩個模塊，達到了最佳表現，證明結合檢索能力獲取相似樣本和利用記憶模塊優化先前提取的協同效應。

3.4.1 檢索模塊分析

影響檢索模塊效果的主要變量包括用于數據表示和檢索的模型，以及檢索過程中可用的內容。

圖片

上表結果表明：無論是統計方法還是基于嵌入的方法，都顯著優于隨機檢索。這表明，檢索與輸入文本更緊密相關的標記樣本，對于輔助模型的決策過程、提高其抽取精度具有顯著效果。在評估的模型中，BGE在兩個數據集上均展現出最好的性能。

檢索內容：在為檢索模塊選定了基礎模型之后，進一步探討不同類型可用信息對檢索的影響。

圖片

上表列出了實驗結果，其中“None”和“AgentRE-w/oM”分別代表沒有和僅有完整檢索模塊的變體。此外，“-samples”、“-doc”和“-KG”分別表示缺少標記樣本檢索、注釋指南檢索和知識圖譜檢索組件的變體。

結果證實，忽略任何類型的信息都會降低AgentRE的性能，尤其是移除標記樣本（-samples）對性能的影響最為顯著。

圖片

圖片

圖片

為探究記憶模塊對信息抽取效能的影響，分析了在DuIE數據集上，AgentRE在不同記憶配置下，隨著訓練樣本數量增加的F1、召回率和精確度得分，如上圖所示，圖中的X軸代表訓練樣本的數量。對比模型包括不包含記憶模塊的AgentRE-w/oM、搭載淺層記憶的AgentRE-wM），以及融合了淺層與深層記憶的AgentRE-wM+。相較于缺乏記憶功能的模型，這些搭載記憶模塊的模型能夠同時利用輸入樣本及歷史抽取記錄。

? 搭載記憶模塊的模型（AgentRE-wM和AgentRE-wM+）在所有評價指標上均優于無記憶模塊的版本，凸顯了記憶模塊在提升抽取精度方面的積極作用。

? 隨著數據量的增加，搭載記憶模塊的模型表現更佳，這表明了利用過往抽取經驗進行動態學習的有效性。

? AgentRE-wM+在數據輸入增多時相較于AgentRE-wM展現出更卓越的性能，這暗示了一種全面的記憶方法，超越了單純的個體樣本追蹤，能夠進一步提升抽取效能。

本文轉載自 ??大語言模型論文跟蹤??，作者：HuggingAGI