成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

ChunkRAG:用于RAG系統(tǒng)的新型LLM分塊過濾方法

人工智能
ChunkRAG的方法論旨在通過細粒度的過濾機制來提高檢索增強生成(RAG)系統(tǒng)的精確性和事實準確性。

ChunkRAG的方法論

ChunkRAG的方法論旨在通過細粒度的過濾機制來提高檢索增強生成(RAG)系統(tǒng)的精確性和事實準確性。該方法論分為兩個主要階段:語義分塊和混合檢索及高級過濾。

語義分塊

語義分塊是ChunkRAG的基礎步驟,將輸入文檔轉(zhuǎn)換為語義上有意義的單元,以促進有效的檢索和評估。這一階段包括以下三個子過程:

1. 輸入準備:

  • 使用NLTK的sent_tokenize函數(shù)將文檔D分詞為句子。
  • 每個句子使用預訓練的嵌入模型(如text-embedding-3-small)生成嵌入向量。

2. 分塊形成:

  • 根據(jù)語義相似性將連續(xù)句子分組為分塊,通過余弦相似度測量。
  • 如果連續(xù)句子之間的相似性低于閾值(θ=0.7),則創(chuàng)建一個新的分塊。
  • 每個分塊進一步限制在500個字符以內(nèi),以確保在后續(xù)階段的高效性。

3. 分塊嵌入生成:

  • 每個分塊使用與上述相同的預訓練嵌入模型表示。
  • 生成的分塊嵌入存儲在向量數(shù)據(jù)庫中,以便在查詢階段進行高效檢索。

混合檢索和高級過濾

在檢索和過濾階段,ChunkRAG將傳統(tǒng)的RAG組件與高級微調(diào)技術集成,以確保穩(wěn)健和高質(zhì)量的檢索。這一階段包括以下步驟:

1. 檢索器初始化和查詢重寫:

  • 初始化一個能夠?qū)⒂脩舨樵兣c分塊嵌入進行比較的檢索器。
  • 使用GPT-4omini應用查詢重寫步驟,確保查詢與存儲的嵌入良好匹配,從而提高檢索過程中的召回率和精確度。

2. 初始過濾:

  • 使用TF-IDF評分和余弦相似度的組合對檢索到的分塊進行初始過濾。
  • 消除高冗余(相似性>0.9)的分塊。
  • 剩余的分塊根據(jù)其與重寫查詢的相似性進行排序。

3. 相關性評分和閾值設定:

  • 每個分塊由大型語言模型(LLM)分配初始相關性評分。
  • 這些評分通過自我反思和批評模型進行細化,根據(jù)領域特定的啟發(fā)式調(diào)整評分。
  • 通過分析評分分布設置最終動態(tài)閾值,只有超過該閾值的分塊被保留。

4. 混合檢索策略:

  • 采用結(jié)合BM25和基于LLM的檢索方法的雙重檢索策略。
  • 集成方法使用相等的權(quán)重(各0.5)來平衡關鍵詞和語義檢索。
  • 使用Cohere的重新排序模型(rerank-englishv3.0)對檢索到的分塊進行排序,通過增強可能被優(yōu)先級降低的中心上下文的相關性來解決“中間迷失”問題。

響應生成和評估

在過濾后,剩余的分塊用作上下文來生成最終響應。步驟包括:

1. 響應生成:

  • 基于過濾后的上下文分塊,LLM生成響應。
  • 在生成過程中,嚴格約束確保僅使用檢索到的信息,從而最小化幻覺風險。

2. 評估:

  • 生成的響應根據(jù)一組預驗證的答案進行準確性評估。

ChunkRAG的局限性

盡管ChunkRAG在提高檢索增強生成系統(tǒng)的精確性和事實準確性方面表現(xiàn)出色,但仍存在一些局限性:

1. 分塊分割的有效性:

  • 方法嚴重依賴于分塊分割的有效性。初始分割中的錯誤可能會創(chuàng)建不相關數(shù)據(jù),從而降低響應質(zhì)量。
  • 分塊的語義連貫性和大小限制(500個字符以內(nèi))可能不適用于所有類型的文檔和查詢。

2. 嵌入質(zhì)量:

  • 用于分塊相關性評估的嵌入質(zhì)量直接影響過濾效果。低質(zhì)量的嵌入可能導致不準確的相關性評分和錯誤的過濾決策。

3. 計算成本:

  • 多層次評分(在初始級別集成LLM和批評LLM評估)的成本可能很高,特別是在將方法擴展到更大數(shù)據(jù)集或?qū)崟r系統(tǒng)部署時。
  • 查詢重寫、多次檢索和重新排序步驟增加了計算復雜性和時間開銷。

4. 可擴展性:

  • 盡管ChunkRAG在PopQA數(shù)據(jù)集上展示了積極成果,但在其他領域中的可驗證性和在長文本生成任務中的性能尚未得到充分分析,這是由于資源限制。
  • 方法在處理大規(guī)模數(shù)據(jù)集和復雜查詢時的表現(xiàn)需要進一步驗證。

5. 動態(tài)閾值設定:

  • 動態(tài)閾值設定依賴于評分分布的分析,這可能受到數(shù)據(jù)分布和查詢類型的影響。不穩(wěn)定的評分分布可能導致不一致的閾值設定,影響過濾效果。

6. 混合檢索策略的平衡:

  • 混合檢索策略中BM25和基于LLM的檢索方法的權(quán)重分配(各0.5)是固定的,可能不適用于所有查詢類型和數(shù)據(jù)集。需要進一步研究和優(yōu)化以找到最佳平衡點。

7. 生成過程中的約束:

  • 在生成過程中嚴格約束僅使用檢索到的信息,雖然減少了幻覺風險,但也可能限制生成響應的創(chuàng)造性和多樣性。

綜上所述,ChunkRAG通過細粒度的分塊過濾和高級檢索技術顯著提高了RAG系統(tǒng)的精確性和事實準確性,但仍需在分塊分割、嵌入質(zhì)量、計算成本、可擴展性和動態(tài)閾值設定等方面進行進一步優(yōu)化和驗證。

責任編輯:龐桂玉 來源: 簡單的機器學習
相關推薦

2025-04-02 04:00:00

RAG分塊優(yōu)化

2024-08-05 10:23:36

2024-04-30 09:48:33

LLMRAG人工智能

2025-06-30 04:15:00

2025-05-26 09:57:46

2024-03-22 16:13:42

LLMRAGXGBoost

2024-06-05 13:48:04

2024-12-23 08:03:13

2025-03-27 02:50:00

2024-01-11 16:24:12

人工智能RAG

2025-05-20 06:00:00

AI人工智能RAG

2025-04-21 08:11:09

2025-03-21 14:34:17

2025-05-06 10:05:23

2025-05-09 01:00:00

大語言模型LLMGPU內(nèi)存

2025-05-07 08:35:11

2023-12-18 07:32:08

ChatGPTLLMCoT

2014-04-09 13:57:40

影子IT監(jiān)測軟件即服務

2014-04-09 10:15:38

CA Technolo影子IT

2024-12-30 10:35:00

訓練數(shù)據(jù)模型
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 日本久久网站 | 国产成人午夜高潮毛片 | 欧美精品一区二区三区四区 在线 | 99热精品在线观看 | 国产精品久久久久久久7电影 | 国产成人综合网 | 人人爽日日躁夜夜躁尤物 | 一级欧美视频 | 国产一级在线 | 国产午夜精品一区二区 | 免费视频二区 | 97超在线视频 | 一级黄色毛片免费 | 91文字幕巨乱亚洲香蕉 | 国内精品久久久久久久 | 国产成人小视频 | 黄色日本片 | 欧美一区二区在线 | 亚洲久久| 欧美一级观看 | 日韩中文字幕免费在线观看 | 99久久国产 | 久久99精品久久久 | 一级毛片视频在线 | 日韩在线一区二区三区 | 国产黄色在线 | 欧美色影院 | av黄色免费在线观看 | 亚洲精品在线观 | 奇米超碰在线 | 日本成人三级电影 | 久久se精品一区精品二区 | 日韩精品一区二区三区在线播放 | 一区二区三区四区不卡 | 日韩中文字幕一区二区 | 日韩日韩日韩日韩日韩日韩日韩 | 成人在线观看亚洲 | 午夜视频在线观看网站 | 久久精彩视频 | 欧美一区二区三区大片 | 亚欧洲精品在线视频免费观看 |