社區(qū)問答（CQA）是一種協(xié)作式的問答模式，用戶可以在在線平臺上發(fā)布問題，社區(qū)成員則提供答案。這種模式利用集體智慧，通過投票、評論和編輯等方式不斷優(yōu)化答案，從而提高共享知識的質(zhì)量。隨著LLMs的興起，LLMs已成為CQA的強(qiáng)大工具。然而，現(xiàn)有的CQA方法主要關(guān)注靜態(tài)的社區(qū)知識，難以適應(yīng)現(xiàn)實(shí)世界中的動態(tài)場景。

挑戰(zhàn)：

• 系統(tǒng)需要有效地結(jié)合靜態(tài)的領(lǐng)域知識和動態(tài)的社區(qū)歷史，以提高答案的質(zhì)量和相關(guān)性。
• 隨著社區(qū)的發(fā)展，歷史問答數(shù)據(jù)的質(zhì)量和數(shù)量都會不斷變化，系統(tǒng)需要高效地識別、組織和利用高質(zhì)量和低質(zhì)量的問答記錄。

為了解決這些挑戰(zhàn)，提出了ComRAG框架，該框架通過結(jié)合靜態(tài)知識向量和動態(tài)社區(qū)歷史向量來增強(qiáng)實(shí)時(shí)CQA的能力。ComRAG框架在查詢階段支持三種策略：直接重用高質(zhì)量問答對的答案、生成答案時(shí)參考高質(zhì)量內(nèi)容、以及生成答案時(shí)避免低質(zhì)量內(nèi)容并結(jié)合外部知識。在更新階段，系統(tǒng)使用質(zhì)心記憶機(jī)制動態(tài)管理高質(zhì)量和低質(zhì)量的CQA向量存儲，以優(yōu)化檢索效率。

方法

1、靜態(tài)知識向量存儲

利用靜態(tài)知識向量存儲來處理領(lǐng)域特定的問題。將每個(gè)文檔被轉(zhuǎn)換為一個(gè)向量，然后通過計(jì)算與給定問題的嵌入表示的相似度來檢索最相關(guān)的文檔。形式化為：

2、動態(tài)CQA向量存儲

為了反映社區(qū)歷史問答的質(zhì)量差異，ComRAG引入了動態(tài)CQA向量存儲，包括高質(zhì)量和低質(zhì)量的CQA向量存儲。這些存儲基于質(zhì)心記憶機(jī)制來管理歷史問答對。

高質(zhì)量和低質(zhì)量CQA向量存儲：高質(zhì)量CQA向量存儲包含得分高于的歷史問答對，而低質(zhì)量CQA向量存儲包含得分低于的歷史問答對。這兩個(gè)存儲都應(yīng)用質(zhì)心記憶機(jī)制來控制內(nèi)存大小。

3、查詢和更新

在查詢階段，ComRAG根據(jù)問題的特性支持三種策略來檢索歷史問答對和領(lǐng)域知識以回答問題，也就是下圖中的三條路徑：

1. 直接重用高質(zhì)量CQA的答案：如果問題已經(jīng)存在于高質(zhì)量CQA向量存儲中，則直接重用相應(yīng)的歷史答案。
2. 生成涉及高質(zhì)量CQA的答案：如果問題的相似度滿足一定條件，則使用高質(zhì)量CQA對作為參考生成答案。
3. 生成涉及低質(zhì)量CQA和外部知識的答案：如果高質(zhì)量CQA中沒有足夠相似的問題，則從靜態(tài)知識向量存儲和低質(zhì)量CQA向量存儲中檢索證據(jù)，以指導(dǎo)LLM避免重復(fù)不準(zhǔn)確的答案。

在更新階段，系統(tǒng)根據(jù)生成的答案質(zhì)量將其分配到高質(zhì)量或低質(zhì)量CQA向量存儲中，并動態(tài)管理這兩個(gè)存儲。

4、生成的自適應(yīng)溫度調(diào)整

ComRAG引入了自適應(yīng)溫度調(diào)整機(jī)制，以動態(tài)調(diào)整LLM的解碼溫度，從而平衡響應(yīng)的多樣性和一致性。通俗的理解就是根據(jù)檢索到的證據(jù)的質(zhì)量得分的方差來調(diào)整溫度。如果得分方差低，則使用較高的溫度以鼓勵(lì)探索；如果得分方差高，則使用較低的溫度以確保與可靠的歷史答案一致。

實(shí)驗(yàn)

分析動態(tài) CQA 向量存儲中存儲塊的增長率，發(fā)現(xiàn)增長率在系統(tǒng)穩(wěn)定后逐漸下降。

參考文獻(xiàn)：ComRAG: Retrieval-Augmented Generation with Dynamic Vector Stores for Real-time Community Question Answering in Industry，https://arxiv.org/pdf/2506.21098v1
code未開源

本文轉(zhuǎn)載自??大模型自然語言處理??   作者：余俊暉