在自然語言處理領域，如何有效處理長文本一直是一個挑戰。傳統的文本分塊方法雖然簡單直接，但往往會導致上下文信息的丟失。今天，將介紹一種名為"遲分"的創新技術，它不僅能夠保留長文本的上下文信息，還能顯著提升文本處理的質量。

傳統方法的局限性

在討論遲分之前，讓先回顧一下傳統的文本處理流程，特別是在檢索增強生成（RAG）系統中：

1. 分塊：將長文本切割成小段
2. Embedding：對每個小段進行向量化
3. 檢索：根據查詢找到相關的文本段
4. 生成：基于檢索結果生成回答

這種方法雖然廣泛應用，但存在明顯的缺陷：

• 上下文丟失：當關鍵信息分散在多個文本塊中時，單獨的文本段可能失去原有意義。
• 指代問題：像"它"、"這座城市"等指代詞可能無法正確鏈接到其指向的實體。
• 語義不連貫：相鄰的文本塊之間可能缺乏語義連貫性。

遲分：重新思考文本處理流程

圖片

遲分技術提供了一種全新的思路來解決這些問題。它的核心理念是：先進行整體的語義理解，再進行文本分割。

遲分的工作流程

1. 整體處理：將整個長文本（或盡可能長的文本段）輸入到支持長上下文的Embedding模型中。
2. Token級Embedding：為文本中的每個token生成包含豐富上下文信息的向量表示。
3. 后續分塊：根據需要，對token級的向量序列進行分塊和聚合，得到最終的文本塊Embedding。

遲分的優勢

1. 保留上下文：每個文本塊的Embedding都包含了整體文檔的語義信息。
2. 解決指代問題：模型能夠更好地理解長距離的語義依賴關系。
3. 提高檢索精度：生成的Embedding更準確地反映了文本的語義內容。

實驗驗證

為了驗證遲分的效果，進行了一系列實驗：

定性評估

以維基百科上關于柏林的文章為例，比較了傳統分塊和遲分在處理指代關系時的表現：

可以看到，遲分在處理指代詞（如"其"、"這座城市"）時，顯著提高了與"柏林"這個關鍵詞的語義相似度。

BEIR基準測試

還在BEIR（一個檢索基準測試集）上進行了更全面的評估。以下是部分數據集的nDCG@10指標比較：

結果顯示，遲分在多數情況下都優于傳統分塊，特別是在處理較長文檔時效果更為顯著。

技術實現

要實現遲分，需要以下關鍵組件：

1. 長上下文Embedding模型：如jina-embeddings-v2-base-en，支持處理長達8192個token的文本。
2. 邊界線索提取：使用正則表達式或其他方法識別合適的分塊點。
3. Token級Embedding聚合：對生成的token級向量進行平均池化等操作，得到塊級Embedding。

圖片

結論與展望

遲分技術為長文本處理帶來了新的可能性。它不僅解決了傳統方法中的上下文丟失問題，還顯著提升了文本處理的質量和準確性。隨著文檔長度的增加，遲分的優勢更加明顯。

這項技術的成功，再次證明了長上下文Embedding模型的重要性。期待看到更多基于遲分的創新應用，以及它在各種NLP任務中的表現。

未來，將繼續優化遲分技術，探索其在更復雜場景下的應用，如多語言處理、跨模態任務等。也鼓勵社區參與到這項技術的研究和應用中來，共同推動NLP技術的發展。

本文轉載自 ??芝士AI吃魚??，作者： 芝士AI吃魚