def fixed_size_chunk(text: str, chunk_size: int = 50) -> list[str]:
    """
    將文本按固定詞數(shù)進(jìn)行切分。
    Args:
        text (str): 待切分的原始文本字符串。
        chunk_size (int): 每個文本塊所包含的詞語數(shù)量。
                          默認(rèn)為 50 個詞。
    Returns:
        list[str]: 包含切分后文本塊的字符串列表。
    """
    words = text.split() 
    chunks = [" ".join(words[i:i+chunk_size]) for i in range(0, len(words), chunk_size)]
    return chunks
# --- 示例用法 ---
# 假設(shè) pdf_text_example 是從 PDF 文檔中提取出的一個長文本內(nèi)容
# 為了演示，我將使用一個足夠長的示例文本，但您可以替換為您的實(shí)際文本
pdf_text_example = """
在人工智能領(lǐng)域，檢索增強(qiáng)生成（RAG）技術(shù)已經(jīng)成為構(gòu)建實(shí)用、知識驅(qū)動的大型語言模型（LLM）應(yīng)用的核心范式。它有效地彌合了模型靜態(tài)知識與動態(tài)外部信息之間的鴻溝，讓 LLM 能夠引用實(shí)時或領(lǐng)域特定的數(shù)據(jù)，極大地提高了回復(fù)的準(zhǔn)確性和可靠性。然而，當(dāng)我們邁向更復(fù)雜的 AI 應(yīng)用時，僅僅依賴向量相似性搜索，在處理那些相互關(guān)聯(lián)、關(guān)系至關(guān)重要的數(shù)據(jù)時常常顯得力不從心。構(gòu)建真正智能的代理或提供高度準(zhǔn)確、理解上下文深度的回答，需要理解信息之間的‘聯(lián)系’，而不僅僅是‘相似’。這正是對下一代 RAG 應(yīng)用的需求所在。支撐這些高級能力的數(shù)據(jù)庫，必須能夠同時處理向量相似性和復(fù)雜的結(jié)構(gòu)化關(guān)系。HelixDB 應(yīng)運(yùn)而生，正是為了應(yīng)對這一挑戰(zhàn)。它打破了傳統(tǒng)數(shù)據(jù)庫的界限，是一個革命性的開源圖向量數(shù)據(jù)庫，巧妙融合了圖數(shù)據(jù)庫強(qiáng)大的關(guān)系表達(dá)能力與向量數(shù)據(jù)庫高效的相似性搜索能力。HelixDB 旨在為下一代 RAG 應(yīng)用提供一個更智能、更靈活的數(shù)據(jù)存儲基礎(chǔ)，讓你能夠基于內(nèi)容相似性和結(jié)構(gòu)化關(guān)系進(jìn)行更豐富的上下文檢索。如果你正在探索 RAG 的未來，并尋求能夠同時處理向量和復(fù)雜關(guān)系的強(qiáng)大開源數(shù)據(jù)解決方案，那么理解 HelixDB 至關(guān)重要。通過本文，你將一文讀懂這款為下一代 RAG 應(yīng)用量身打造的開源圖向量數(shù)據(jù)庫的核心理念、架構(gòu)優(yōu)勢以及它如何助力你的智能化創(chuàng)新。讓我們一起深入了解 HelixDB 的獨(dú)特之處吧！這是一個額外的句子，確保文本足夠長，可以被切分成多個塊，以演示第二個塊的打印。
"""
# 將文本按每50個詞語切分成塊
chunks_result = fixed_size_chunk(pdf_text_example, chunk_size=10)
print(f"原始文本被切分成了 {len(chunks_result)} 個塊。")
# --- 解決方案在這里：添加安全檢查 ---
# 嘗試打印第一個塊
if len(chunks_result) > 0:
    print("\n--- 第一個塊內(nèi)容示例 ---")
    print(chunks_result[0])
else:
    print("\n--- 列表為空，無法打印第一個塊 ---")
# 嘗試打印第二個塊，先檢查列表長度是否至少有2個元素
if len(chunks_result) > 1:
    print("\n--- 第二個塊內(nèi)容示例 ---")
    print(chunks_result[1])
else:
    print("\n--- 無法打印第二個塊，因為列表長度不足（少于2個塊） ---")
# 如果您想打印所有生成的塊，可以使用循環(huán)：
# print("\n--- 所有生成的文本塊 ---")
# for i, chunk in enumerate(chunks_result):
#     print(f"塊 {i}:")
#     print(chunk)
#     print("-" * 20)

[(base) lugalee@labs rag ]% /opt/homebrew/bin/python3 /Volumes/home/rag/fixedsiz.py
原始文本被切分成了 2 個塊。


--- 第一個塊內(nèi)容示例 ---
在人工智能領(lǐng)域，檢索增強(qiáng)生成（RAG）技術(shù)已經(jīng)成為構(gòu)建實(shí)用、知識驅(qū)動的大型語言模型（LLM）應(yīng)用的核心范式。它有效地彌合了模型靜態(tài)知識與動態(tài)外部信息之間的鴻溝，讓 LLM 能夠引用實(shí)時或領(lǐng)域特定的數(shù)據(jù)，極大地提高了回復(fù)的準(zhǔn)確性和可靠性。然而，當(dāng)我們邁向更復(fù)雜的 AI 應(yīng)用時，僅僅依賴向量相似性搜索，在處理那些相互關(guān)聯(lián)、關(guān)系至關(guān)重要的數(shù)據(jù)時常常顯得力不從心。構(gòu)建真正智能的代理或提供高度準(zhǔn)確、理解上下文深度的回答，需要理解信息之間的‘聯(lián)系’，而不僅僅是‘相似’。這正是對下一代 RAG 應(yīng)用的需求所在。支撐這些高級能力的數(shù)據(jù)庫，必須能夠同時處理向量相似性和復(fù)雜的結(jié)構(gòu)化關(guān)系。HelixDB 應(yīng)運(yùn)而生，正是為了應(yīng)對這一挑戰(zhàn)。它打破了傳統(tǒng)數(shù)據(jù)庫的界限，是一個革命性的開源圖向量數(shù)據(jù)庫，巧妙融合了圖數(shù)據(jù)庫強(qiáng)大的關(guān)系表達(dá)能力與向量數(shù)據(jù)庫高效的相似性搜索能力。HelixDB 旨在為下一代 RAG


--- 第二個塊內(nèi)容示例 ---
應(yīng)用提供一個更智能、更靈活的數(shù)據(jù)存儲基礎(chǔ)，讓你能夠基于內(nèi)容相似性和結(jié)構(gòu)化關(guān)系進(jìn)行更豐富的上下文檢索。如果你正在探索 RAG 的未來，并尋求能夠同時處理向量和復(fù)雜關(guān)系的強(qiáng)大開源數(shù)據(jù)解決方案，那么理解 HelixDB 至關(guān)重要。通過本文，你將一文讀懂這款為下一代 RAG 應(yīng)用量身打造的開源圖向量數(shù)據(jù)庫的核心理念、架構(gòu)優(yōu)勢以及它如何助力你的智能化創(chuàng)新。讓我們一起深入了解 HelixDB 的獨(dú)特之處吧！