超越FastGPT、Dify!Agentic CoT 架構實現RAG回答準確率突破94%大關 原創
特定領域的 QA 系統不僅需要生成流暢的回答,還需確保基于專業知識的高事實準確性。盡管檢索增強生成(RAG)框架改進了上下文調用能力,但在異構數據整合與推理一致性方面仍存在不足。為此,清華大學提出 DO-RAG,一種可擴展、可定制的混合 QA 框架,融合多級知識圖譜構建與語義向量檢索技術。
DO-RAG 采用創新的Agentic CoT架構,從多模態文檔中提取結構化關系,構建動態知識圖譜以提升檢索精度。在查詢階段,它結合圖譜與向量檢索結果生成上下文感知響應。實驗表明,在數據庫和電氣領域,DO-RAG 的召回率接近完美,答案相關性超過 94%,性能較基線提升 33.38%。憑借可追溯性、適應性和高效性能,DO-RAG 為多領域高精度 QA 提供了可靠解決方案。
系統概述
DO-RAG 包括四個關鍵階段:
- 多模態文檔處理:對輸入文檔進行分塊與結構化處理;
- 動態知識圖譜構建:通過多級實體關系提取,生成結構化知識表示;
- 混合檢索:結合圖遍歷與密集向量搜索,精準定位相關知識;
- 多階段生成:通過上下文感知的生成與后序細化,輸出事實準確且用戶對齊的答案。
知識庫構建
將異構領域數據(如日志、技術手冊、圖表和規范)解析為有意義的文本塊單元。這些文本塊與其向量嵌入一起存儲在支持pgvector的PostgreSQL數據庫中。與此同時,一個基于代理思維鏈的實體抽取流程會將文檔內容轉化為結構化的多模態知識圖譜(MMKG),該圖譜能捕捉系統參數、行為特征和依賴關系等多粒度關聯信息。
DO-RAG 采用多智能體分級流水線并行抽取結構化知識,如下圖所示總共包含四個不同抽象層級的專用智能體:
? High-Level Agent:識別文檔結構要素(如章節、段落)
? Mid-Level Agent:抽取領域特定實體(如系統組件、API接口、參數)
? Low-Level Agent:捕獲細粒度操作關系
? Covariate Agent:為現有節點附加屬性(如默認值、性能影響)
在構建知識圖譜的時候,為避免信息冗余,使用新實體嵌入和現有實體嵌入之間的余弦相似性強制執行重復數據刪除。此外,還合成了概要節點以對相似實體進行分組并降低圖譜的復雜性。
查詢分解和混合檢索
如下圖所示,在用戶交互時,查詢首先通過意圖識別模塊進行分解,被拆分為一個或多個代表獨立信息意圖的子查詢。系統首先通過將初始查詢向量化匹配知識圖譜中的相關實體進行檢索,隨后執行多跳遍歷以擴大檢索范圍,從而獲取基于實體關系和元數據的結構化領域上下文。
隨后,將圖譜上下文與原始查詢結合,使用LLM重寫成更精準、無歧義的優化查詢。該優化查詢經向量編碼后,用于從向量數據庫中檢索語義最相關的top-k文本塊。
此時,系統整合所有相關信息源:原始用戶查詢、優化后的查詢、知識圖譜上下文、檢索到的文本塊以及歷史交互記錄。這些組件被集成到prompt中用于生成內容。
答案生成
如下圖所示,最終答案是使用分階段提示策略生成的。初始 naive 提示指示 LLM 僅根據檢索到的證據進行回答,同時明確避免不受支持的內容。LLM的輸出內容接著會使用 refinement prompt 重新構建和驗證答案,最后是一個 condensation 階段,使語氣、語言和樣式與原始查詢保持一致。
DO-RAG 還根據精細化的答案生成后續問題。最終輸出包括:
- 一個經過修飾的、可驗證的答案
- 追蹤答案到來源的引文腳注
- 一組有針對性的后續問題。
如果系統無法找到足夠的證據,則要求模型返回“I do not know”,以保持可靠性并防止幻覺。
結論
實驗數據顯示,在SunDB數據庫和電氣工程領域測試中,DO-RAG系統展現出卓越的檢索能力,其上下文召回率逼近理論極限值(≈1.0),回答準確率突破94%大關。相較于主流RAG解決方案,該系統實現了33.38%的綜合性能躍升。
尤其是引入動態知識圖譜架構后,系統檢索質量獲得顯著提升。以DeepSeek-V3模型為例,該架構使得答案匹配準確率提升5.7個百分點,上下文篩選精度提高2.6個百分點,驗證了結構化知識表示的有效性。
本文轉載自???AI 博物院??? 作者:longyunfeigu
