隨著生成式 AI 技術(shù)的快速發(fā)展，RAG（Retrieval-Augmented Generation）和 Agent 成為企業(yè)應(yīng)用大模型的最直接途徑。然而，傳統(tǒng)的 RAG 系統(tǒng)在準(zhǔn)確性和動(dòng)態(tài)學(xué)習(xí)能力上存在明顯不足，尤其是在處理復(fù)雜上下文和關(guān)聯(lián)性任務(wù)時(shí)表現(xiàn)不佳。近期，一篇論文提出了 HippoRAG 2，這一新型 RAG 框架在多個(gè)方面取得了顯著進(jìn)步，為企業(yè)級(jí) AI 應(yīng)用提供了更強(qiáng)大的解決方案。

1. HippoRAG 2 簡介：模仿人類記憶的 RAG 框架

HippoRAG 2 是一種創(chuàng)新的檢索增強(qiáng)生成框架，旨在提升大語言模型（LLMs）的持續(xù)學(xué)習(xí)能力。它通過模仿人類長期記憶的動(dòng)態(tài)性和互聯(lián)性，解決了現(xiàn)有 RAG 系統(tǒng)在 意義理解（sense-making） 和 關(guān)聯(lián)性（associativity） 任務(wù)上的局限性。HippoRAG 2 在原始 HippoRAG 的基礎(chǔ)上進(jìn)行了多項(xiàng)改進(jìn)，包括增強(qiáng)段落整合、上下文感知和在線 LLM 使用，從而在事實(shí)記憶、意義理解和關(guān)聯(lián)性任務(wù)上表現(xiàn)出色。

2. 為什么長期記憶對(duì)提升 RAG 的準(zhǔn)確率有顯著影響？

長期記憶機(jī)制是 HippoRAG 2 的核心創(chuàng)新之一，它通過模仿人類大腦的記憶方式，顯著提升了 RAG 系統(tǒng)回答問題的準(zhǔn)確率。以下是長期記憶機(jī)制對(duì) RAG 準(zhǔn)確率提升的具體影響，并結(jié)合實(shí)際示例說明：

2.1 增強(qiáng)上下文理解能力

傳統(tǒng) RAG 系統(tǒng)通常依賴向量檢索，難以捕捉復(fù)雜上下文中的隱含信息，導(dǎo)致回答問題時(shí)缺乏深度理解。長期記憶機(jī)制通過動(dòng)態(tài)整合上下文信息，能夠更好地理解查詢的意圖和背景，從而生成更準(zhǔn)確的回答。

示例：

• 查詢：“為什么特斯拉的股價(jià)在 2023 年大幅波動(dòng)？”
• 傳統(tǒng) RAG：可能只檢索到與“特斯拉股價(jià)”相關(guān)的孤立信息，忽略宏觀經(jīng)濟(jì)、行業(yè)趨勢(shì)等關(guān)聯(lián)因素。
• HippoRAG 2：通過長期記憶機(jī)制，能夠整合特斯拉財(cái)報(bào)、電動(dòng)汽車行業(yè)動(dòng)態(tài)、全球經(jīng)濟(jì)環(huán)境等多維度信息，生成更全面的回答。

2.2 提升多跳推理能力

多跳推理任務(wù)需要模型連接多個(gè)分散的知識(shí)片段，傳統(tǒng) RAG 系統(tǒng)在這方面表現(xiàn)較差。長期記憶機(jī)制通過知識(shí)圖譜（KG）結(jié)構(gòu)支持多跳推理，能夠逐步推導(dǎo)出答案，顯著提升復(fù)雜查詢的回答準(zhǔn)確率。

示例：

• 查詢：“蘋果公司創(chuàng)始人史蒂夫·喬布斯的第一份工作是什么？”
• 傳統(tǒng) RAG：可能只能檢索到“史蒂夫·喬布斯”或“蘋果公司”的孤立信息，無法連接“第一份工作”這一關(guān)鍵點(diǎn)。
• HippoRAG 2：通過知識(shí)圖譜中的關(guān)聯(lián)關(guān)系，能夠從“史蒂夫·喬布斯”節(jié)點(diǎn)跳轉(zhuǎn)到“早期職業(yè)生涯”節(jié)點(diǎn)，最終找到“他在 Atari 公司工作”的答案。

2.3 避免災(zāi)難性遺忘

傳統(tǒng) RAG 系統(tǒng)在引入新知識(shí)時(shí)容易遺忘舊知識(shí)，導(dǎo)致回答問題時(shí)出現(xiàn)不一致或錯(cuò)誤。長期記憶機(jī)制能夠動(dòng)態(tài)更新知識(shí)圖譜，同時(shí)保留舊知識(shí)，避免災(zāi)難性遺忘，確保回答的準(zhǔn)確性和一致性。

示例：

• 場景：某公司的產(chǎn)品價(jià)格在 2023 年進(jìn)行了調(diào)整。
• 傳統(tǒng) RAG：可能仍然使用 2022 年的價(jià)格信息，導(dǎo)致回答錯(cuò)誤。
• HippoRAG 2：通過長期記憶機(jī)制，能夠動(dòng)態(tài)更新價(jià)格信息，并確保回答時(shí)使用最新的數(shù)據(jù)。

2.4 提升關(guān)聯(lián)性任務(wù)的準(zhǔn)確率

傳統(tǒng) RAG 系統(tǒng)在處理關(guān)聯(lián)性任務(wù)時(shí)表現(xiàn)不佳，難以連接分散的知識(shí)片段。長期記憶機(jī)制通過知識(shí)圖譜中的“包含”關(guān)系和“上下文邊緣”連接相關(guān)段落和短語，能夠更好地捕捉知識(shí)片段之間的關(guān)聯(lián)性，生成更準(zhǔn)確的回答。

示例：

• 查詢：“量子計(jì)算對(duì)人工智能的發(fā)展有什么影響？”
• 傳統(tǒng) RAG：可能只能檢索到“量子計(jì)算”或“人工智能”的孤立信息，無法連接兩者之間的關(guān)系。
• HippoRAG 2：通過知識(shí)圖譜中的關(guān)聯(lián)關(guān)系，能夠整合“量子計(jì)算加速機(jī)器學(xué)習(xí)算法”等相關(guān)信息，生成更準(zhǔn)確的回答。

2.5 動(dòng)態(tài)適應(yīng)復(fù)雜查詢

復(fù)雜查詢通常涉及多個(gè)子問題或隱含條件，傳統(tǒng) RAG 系統(tǒng)難以全面解析。長期記憶機(jī)制能夠分層次解析復(fù)雜查詢，逐步拆解并回答每個(gè)子問題，同時(shí)通過上下文感知能力理解查詢中的隱含條件，生成更符合用戶意圖的回答。

示例：

• 查詢：“如果特斯拉在中國建廠，會(huì)對(duì)美國本土的就業(yè)市場產(chǎn)生什么影響？”
• 傳統(tǒng) RAG：可能只能回答“特斯拉在中國建廠”或“美國就業(yè)市場”的孤立信息，無法連接兩者之間的關(guān)系。
• HippoRAG 2：通過長期記憶機(jī)制，能夠整合“特斯拉全球供應(yīng)鏈”、“中國制造業(yè)成本優(yōu)勢(shì)”、“美國就業(yè)市場數(shù)據(jù)”等多維度信息，生成更全面的回答。

3. HippoRAG 2 解決的問題：從持續(xù)學(xué)習(xí)到關(guān)聯(lián)性捕捉

3.1 持續(xù)學(xué)習(xí)的挑戰(zhàn)

大語言模型在持續(xù)學(xué)習(xí)方面面臨兩大挑戰(zhàn)：

• 新知識(shí)的吸收：模型難以高效地整合新知識(shí)。
• 災(zāi)難性遺忘：模型在學(xué)習(xí)新知識(shí)時(shí)容易遺忘舊知識(shí)。

3.2 傳統(tǒng) RAG 的局限性

盡管 RAG 已成為向 LLMs 引入新信息的主流方法，但其依賴向量檢索的方式存在以下問題：

• 意義理解不足：難以解析復(fù)雜上下文。
• 關(guān)聯(lián)性捕捉有限：無法有效連接分散的知識(shí)片段。
• 信息整合能力弱：現(xiàn)有 RAG 方法在處理多段落信息時(shí)表現(xiàn)不佳。

3.3 結(jié)構(gòu)化增強(qiáng) RAG 的權(quán)衡

現(xiàn)有的結(jié)構(gòu)化增強(qiáng) RAG 方法（如 GraphRAG、RAPTOR 等）雖然提升了意義理解和關(guān)聯(lián)性，但在基礎(chǔ)事實(shí)記憶任務(wù)上往往表現(xiàn)不佳。例如，HippoRAG 在大規(guī)模語篇理解任務(wù)上表現(xiàn)下降，而 RAPTOR 在簡單和多跳問答任務(wù)上因噪聲引入而性能大幅下降。

4. HippoRAG 2 的解決方案：神經(jīng)生物學(xué)啟發(fā)的創(chuàng)新設(shè)計(jì)

HippoRAG 2 通過以下關(guān)鍵改進(jìn)解決了上述問題：

4.1 密集-稀疏信息整合

HippoRAG 2 將概念和上下文信息無縫整合到一個(gè)開放的**知識(shí)圖譜（KG）**中，增強(qiáng)了索引的全面性和原子性。具體來說，它將短語節(jié)點(diǎn)作為概念的稀疏編碼，并將密集編碼（段落）整合到 KG 中，通過“包含”關(guān)系連接段落和短語。

4.2 更深層次的上下文感知

HippoRAG 2 利用 KG 結(jié)構(gòu)實(shí)現(xiàn)更上下文感知的檢索，而不僅僅依賴命名實(shí)體識(shí)別（NER）。它采用“查詢到三元組”方法，通過整個(gè)查詢鏈接 KG 中的三元組，從而更全面地理解查詢意圖。

4.3 識(shí)別記憶

HippoRAG 2 引入了識(shí)別記憶機(jī)制，通過 LLM 過濾檢索到的三元組，確保其相關(guān)性。這一過程分為兩步：

1. 查詢到三元組：使用嵌入模型檢索 KG 中的 top-k 三元組。
2. 三元組過濾：使用 LLM 過濾三元組并生成最終的三元組集合。

4.4 神經(jīng)生物學(xué)啟發(fā)

HippoRAG 2 的設(shè)計(jì)靈感來自人類長期記憶的結(jié)構(gòu)，其組件模擬了新皮層（LLM）、 海馬旁區(qū)（PHR 編碼器） 和 海馬體（開放 KG） 的功能。

4.5 整體流程

HippoRAG 2 的流程分為兩部分：

• 離線索引：從段落中提取三元組并構(gòu)建 KG。
• 在線檢索：將查詢鏈接到 KG 元素，過濾三元組，并使用個(gè)性化 PageRank（PPR）進(jìn)行上下文感知檢索。

5. 出色的實(shí)驗(yàn)結(jié)果：全面超越現(xiàn)有方法

5.1 綜合評(píng)估

作者在多個(gè)基準(zhǔn)上進(jìn)行了實(shí)驗(yàn)，包括：

• 事實(shí)記憶：NaturalQuestions、PopQA。
• 意義理解：NarrativeQA。
• 關(guān)聯(lián)性：MuSiQue、2Wiki、HotpotQA、LV-Eval。

5.2 卓越性能

HippoRAG 2 在所有基準(zhǔn)類別上均優(yōu)于標(biāo)準(zhǔn) RAG 和其他結(jié)構(gòu)化增強(qiáng) RAG 方法。具體來說：

• 在關(guān)聯(lián)性任務(wù)上，HippoRAG 2 比標(biāo)準(zhǔn) RAG 平均提高了 7 個(gè)百分點(diǎn)。
• 在事實(shí)記憶和意義理解任務(wù)上，HippoRAG 2 不僅沒有性能下降，反而略有提升。

5.3 魯棒性

HippoRAG 2 對(duì)不同檢索器和 LLM 表現(xiàn)出極強(qiáng)的魯棒性，無論是開源還是專有 LLM 均可靈活使用。

5.4 關(guān)鍵結(jié)果

• 問答性能：HippoRAG 2 在多個(gè)基準(zhǔn)上取得了最高的平均 F1 分?jǐn)?shù)。
• 檢索性能：在檢索任務(wù)上，HippoRAG 2 同樣表現(xiàn)優(yōu)異。

5.5 消融實(shí)驗(yàn)

消融實(shí)驗(yàn)證實(shí)，HippoRAG 2 的每個(gè)組件都對(duì)其性能提升有顯著貢獻(xiàn)。例如，更深層次的上下文感知鏈接方法顯著提高了性能。

HippoRAG 2 顯著超越傳統(tǒng) RAG 和 GraphRAG 為代表的結(jié)構(gòu)化 RAG 方法

6. 結(jié)論：HippoRAG 2 的未來與應(yīng)用

HippoRAG 2 不僅適用于問答系統(tǒng)和知識(shí)管理，還可以廣泛應(yīng)用于客戶服務(wù)、智能推薦和研發(fā)輔助等領(lǐng)域。未來，隨著更多企業(yè)數(shù)據(jù)的接入和模型的進(jìn)一步優(yōu)化，HippoRAG 2 有望成為企業(yè) AI 基礎(chǔ)設(shè)施的核心組件。

7. 參考鏈接

• HippoRAG GitHub 倉庫：包含 HippoRAG 2 的開源代碼和詳細(xì)文檔，適合技術(shù)開發(fā)者深入探索。??https://github.com/OSU-NLP-Group/HippoRAG??
• HippoRAG 2 論文：詳細(xì)介紹了 HippoRAG 2 的設(shè)計(jì)原理和實(shí)驗(yàn)驗(yàn)證，適合學(xué)術(shù)研究者和技術(shù)愛好者閱讀。??https://arxiv.org/abs/2502.14802??

本文轉(zhuǎn)載自??非架構(gòu)??，作者：非架構(gòu)