在構建 Retrieval-Augmented Generation（RAG）系統時，文本分塊作為關鍵前置環節，其質量直接影響檢索精度與生成內容的相關性。今天給大家推薦一個自己近期整理的項目 ——Awesome-Chunker，一站式聚合并復現了當下主流的文本分塊技術，從經典方法到前沿算法應有盡有，助你在 RAG 開發中少走彎路！

1、項目核心價值 

讓分塊不再是難題

在 RAG 任務的探索之路上，相信不少研究者都和我一樣，為尋找一個能系統提升分塊質量的項目而苦惱。各種解決方案零散瑣碎，難以滿足從基礎到前沿的全流程需求。于是，索性親手復現并精心整理出 Awesome-Chunker 這個項目。

Awesome-Chunker 的目標十分明確：為 RAG 研究者打造一個全面的文本分塊資源庫。不管你是想了解基礎的字符分塊邏輯，還是探索基于大模型的語義分塊技術，在這里都能找到對應的學術原理、算法解析和代碼實現。項目不僅整合了多種分塊方法，還貼心地提供了模型下載和環境配置指南，讓小伙伴們能快速上手實踐。

2、已實現的分塊方案

經典分塊：穩扎穩打的基礎方案

經典分塊方法就基于字符、文檔類型等基礎維度進行分塊，簡單高效且實用性強。

字符分割：支持手動設定固定字符長度分割，也集成了 LangChain 的 CharacterTextSplitter 和 Llama Index 的 SentenceSplitter，滿足不同場景下的字符級分塊需求，代碼都在 classic_chunker/character_splitting.py 中。

文檔特定分割：針對 Markdown、Python、JavaScript 等不同類型文檔，有專門的分割策略，代碼位于 classic_chunker/document_specific_splitting.py。

遞歸字符文本分割：利用 LangChain 的 RecursiveCharacterTextSplitter，基于不同分隔符層級進行遞歸分割，讓分塊更符合文本結構，代碼在 classic_chunker/recursive_character_text_splitting.py。

基于Sentence Transformer語義分塊

語義分塊是提升 RAG 效果的關鍵一環，它基于語義相似度對文本塊進行聚類和合并。核心代碼在 semantic_chunker/core.py，其中 sentence_order.py 保持句子順序不變，sentence_disorder.py 則通過語義聚類重新組織，

Dense X Retrieval：以命題為單位的檢索革新

該方法提出以 “命題” 作為新的搜索單元，顛覆了傳統分塊粒度。基于 Dense X Retrieval 論文的分塊方法，在 dense_x_retrieval/dense_x_retrieval.py 提供了簡單運行示例。方法的詳細說明可查看 dense_x_retrieval/doc 相關文檔。

LumberChunker：大模型驅動的動態分塊

LumberChunker 借助大語言模型的理解能力，通過迭代提示 LLM 來識別內容轉換點，將文檔動態分割為語義獨立的塊。示例代碼在 LumberChunker/Code 文件夾下，算法詳細解讀在 LumberChunker/doc 中。

Meta-Chunking：介于句子與段落間的邏輯紐帶

Meta-chunking 文本分塊方法是一種通過句子之間的困惑度動態調整窗口大小并結合語義理解來實現更精準文本分段的技術，能有效處理不同長度文本的語義單元劃分。

完整代碼在Meta-Chunking文件夾，算法詳細解讀在Meta-Chunking/doc中。

3、邀你一起共建

文本分塊技術仍在不斷發展，Awesome-Chunker 期待更多開發者加入共建，分享更多優質的分塊方法、優化思路或使用經驗。如果你在 RAG 任務中遇到分塊難題，不妨試試這個項目，或許能找到意想不到的解決方案。

現在就點擊鏈接（https://github.com/jinbo0906/Awesome-Chunker）star 項目，讓我們一起在 RAG 的世界里，用更智能的分塊技術，解鎖更強大的RAG能力！