David Miller表示該模型的目標很明確：彌合尖端 AI 研究和實際應用之間的差距。他認識到，許多現有 NLP模型需要大量的計算資源，并且通常局限于專有系統，從而限制了它們的可訪問性。作為回應，WordLlama被設計為既輕量級又高效，使更廣泛的用戶能夠在不犧牲質量的情況下將高性能 NLP 集成到他們的工作流程中。

WordLlama一個開源、快速、輕量級 （16MB） NLP 工具包，它是一種用于NLP和單詞嵌入的實用型模型，它類似于GloVe、Word2Vec或FastText。它首先從最先進的LLM（例如 LLaMA3 70B）中提取Token Embedding的編碼表，并且訓練一個小型的、無上下文的通用Embedding模型。

它在基準測試中優于GloVe 300d等流行的單詞模型，同時大小明顯更小（默認模型為16MB vs >2GB）。重要的是它能根據實際生產的需要靈活截斷Token的嵌入維度，有點類似“俄羅斯套娃模式”。最大的模型 （1024維） 可以截斷為 64、128、256 或 512維度使用。

它支持二進制嵌入模型以加快計算速度，在CPU上面也是能夠快速運行，WordLlama 非常適合輕量級 NLP 任務，例如訓練 sklearn 分類器、執行語義匹配、重復數據刪除、排名和聚類。它非常適合創建 LLM 輸出評估器。因為它的緊湊設計，任何人可以在短短幾個小時內在消費類GPU 上訓練模型。它的速度和多功能性使其成為探索性分析和各類應用的絕佳助手。

上圖WL在64/128/256/512/1024等不同維度在不同任務上與其他同類的對比。WordLlama支持多語言，可以跨各種語言進行訓練和部署。它處理多種語言的能力擴大了它在客戶服務、內容生成和許多其他需要多功能語言功能領域的應用潛力。下面為它的實例代碼，輕巧便用。

from wordllama import WordLlama


# 加載默認的 WordLlama 模型
wl = WordLlama.load()


# 計算兩個句子之間的相似度
similarity_score = wl.similarity("我去了車那里", "我去了當鋪")
print(similarity_score)  # 輸出: 0.06641249096796882


# 根據與查詢的相似度對文檔進行排名
query = "我去了車那里"
candidates = ["我去了公園", "我去了商店", "我去了卡車", "我去了車輛"]
ranked_docs = wl.rank(query, candidates)
print(ranked_docs)
# 輸出:
# [
#   ('我去了車輛', 0.7441646856486314),
#   ('我去了卡車', 0.2832691551894259),
#   ('我去了商店', 0.19732814982305436),
#   ('我去了公園', 0.15101404519322253)
# ]


# 其他推理方法
# 模糊去重
wl.deduplicate(candidates, threshold=0.8)
# 使用 kmeans/kmeans++ 初始化進行標簽
wl.cluster(docs, k=5, max_iteratinotallow=100, tolerance=1e-4) 
# 根據查詢過濾候選項
wl.filter(query, candidates, threshold=0.3) 
# 根據查詢返回前k 個字符串
wl.topk(query, candidates, k=3)

本文轉載自 ??魯班模錘??，作者： 龐德公