前言

2025 年 1 月 9 日 – 加利福尼亞州門洛帕克 – 世界上最大的開放網(wǎng)絡(luò)知識圖譜創(chuàng)建者 Diffbot宣布推出其第一個大型語言模型 （LLM），這是迄今為止世界上最基于事實(shí)的 AI 語言模型。利用 Diffbot 專有的知識圖譜（包括超過 100 億個實(shí)體和來自開放網(wǎng)絡(luò)的超過 1 萬億個結(jié)構(gòu)化事實(shí)），新模型在事實(shí)可靠性和領(lǐng)域覆蓋率方面超過了目前所有可用的 LLM。

當(dāng)前前沿的 LLM 方法通過擴(kuò)大模型的大小來減少不良響應(yīng)（又名“幻覺”），使其代表更多的訓(xùn)練數(shù)據(jù)，或者增加推理時間，使用 LLM 來“推理”和自我糾正其錯誤，但代價是運(yùn)行時間要長得多。在 Diffbot，我們相信我們稱之為智能的核心“推理”最終將被提煉為 ~1B 參數(shù)，并且事實(shí)知識最好在模型權(quán)重之外，在外部引用的知識圖譜中得到維護(hù)。Diffbot LLM 是一個經(jīng)過微調(diào)的 LLama 3.3 70B（和 8B），它已經(jīng)過培訓(xùn)，可以成為專家工具用戶，在推理時查詢結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)庫。

通過行業(yè)領(lǐng)先的基準(zhǔn)（包括 MMLU-Pro 和 FreshQA 分?jǐn)?shù)）衡量，Diffbot 的模型提供了無與倫比的事實(shí)性能。它的 MMLU-Pro 分?jǐn)?shù)為 %70.36，擊敗了所有其他具有 <100B 參數(shù)和 %81 FreshQA 分?jǐn)?shù)的開源模型，擊敗了 ChatGPT 搜索模式、Gemini 和 Perplexity。這種準(zhǔn)確性直接歸功于 Diffbot 無與倫比的知識圖譜及其基于事實(shí)的響應(yīng)的尖端方法。

Diffbot 的大模型也是生產(chǎn) GraphRAG（圖檢索增強(qiáng)生成）系統(tǒng)的第一個開源實(shí)現(xiàn)。與其他僅依賴內(nèi)部訓(xùn)練數(shù)據(jù)和啟發(fā)式提示工程的 LLM 不同，GraphRAG 動態(tài)查詢 Diffbot 知識圖譜和獨(dú)立的網(wǎng)絡(luò)搜索索引，以檢索精確、權(quán)威的信息。

結(jié)果是，該模型不僅從其模型權(quán)重中近似出事實(shí)，而且還主動實(shí)時定位和引用可驗(yàn)證的來源。

真實(shí)原文引用和溯源

雖然其他語言模型可能會引用引文，但它們通常無法將陳述追溯到其原始來源（即引文鏈接經(jīng)常會不準(zhǔn)確）。Diffbot 的 LLM 非常重視引文基礎(chǔ)。它經(jīng)過微調(diào)，將每個事實(shí)陳述與支持它的特定段落嚴(yán)格匹配，并始終提供對任何引用材料的原始來源的直接引用。這確保了用戶對模型如何得出答案完全透明，從而提高了信任度和可靠性。

Diffbot 的 LLM 直接與 Diffbot 的自動提取、結(jié)構(gòu)化知識圖譜查詢、非結(jié)構(gòu)化 Web 搜索查詢和代碼解釋功能集成。它在復(fù)雜的工作流程中表現(xiàn)出色，例如按需聚合數(shù)據(jù)或從用戶選擇的自定義數(shù)據(jù)集生成見解。

隨著數(shù)據(jù)安全性和機(jī)密性變得至關(guān)重要，Diffbot 的 LLM 在設(shè)計時秉持隱私優(yōu)先的理念。用戶保留對其數(shù)據(jù)的完全控制權(quán)，并且該模型的自托管選項(xiàng)確保敏感信息永遠(yuǎn)不需要離開安全的本地環(huán)境。

高級多模態(tài)和工具功能

除了基于文本的查詢之外，Diffbot 的 LLM 還提供高級多模態(tài)推理：

• 圖像蘊(yùn)涵：從“如何畫小鯊魚”到復(fù)雜的視覺推理，該模型可以理解和解釋圖像，確保超越書面文字的無縫交互。
• 代碼解釋：該模型可以在內(nèi)部執(zhí)行 JavaScript 代碼解釋器，而不是為數(shù)學(xué)和字符串處理問題提供近似解決方案。這會產(chǎn)生明確、正確的答案，而不是猜測，使其成為開發(fā)人員、數(shù)據(jù)科學(xué)家和技術(shù)用戶的理想選擇。

Diffychat：公開演示

鼓勵對測試、集成或?yàn)轫?xiàng)目做出貢獻(xiàn)的開發(fā)人員、研究人員和組織訪問 https://diffy.chat 并探索文檔和開源存儲庫。用戶可以在 https://diffy.chat 上測試 Diffbot LLM，讓任何人都可以親身體驗(yàn)其功能。

與許多閉源模型不同，Diffbot 的模型是完全開源的，并帶有一個開源的、與 OpenAI 兼容的函數(shù)調(diào)用 API 服務(wù)器，用于自托管。這種開放的方法使企業(yè)、研究人員和業(yè)余愛好者能夠?qū)⒛Ｐ图傻剿麄冏约旱南到y(tǒng)中，并完全控制他們的數(shù)據(jù)和配置。

值得注意的是，大型語言模型 （LLM） 已經(jīng)使用越來越多的數(shù)據(jù)進(jìn)行訓(xùn)練，導(dǎo)致參數(shù)數(shù)量和所需的計算能力增加。但是，如果我們沒有為模型提供更多數(shù)據(jù)，而是有目的地訓(xùn)練它，以減少對預(yù)訓(xùn)練數(shù)據(jù)的依賴，而更多地依賴它查找外部知識的能力，那會怎樣？

為了測試這個想法，我們對 LLama 3.3 70B 進(jìn)行了微調(diào)，使其成為實(shí)時知識圖譜 API 的專家工具用戶，提供了第一個性能優(yōu)于 Google Gemini 和 ChatGPT 的 GraphRAG 系統(tǒng)的開源實(shí)現(xiàn)。

值得注意的是，大型語言模型 （LLM） 已經(jīng)使用越來越多的數(shù)據(jù)進(jìn)行訓(xùn)練，導(dǎo)致參數(shù)數(shù)量和所需的計算能力增加。但是，如果我們沒有為模型提供更多數(shù)據(jù)，而是有目的地訓(xùn)練它，以減少對預(yù)訓(xùn)練數(shù)據(jù)的依賴，而更多地依賴它查找外部知識的能力，那會怎樣？

為了測試這個想法，我們對 LLama 3.3 70B 進(jìn)行了微調(diào)，使其成為實(shí)時知識圖譜 API 的專家工具用戶，提供了第一個性能優(yōu)于 Google Gemini 和 ChatGPT 的 GraphRAG 系統(tǒng)的開源實(shí)現(xiàn)。

1. 特點(diǎn)

實(shí)時 Web URL 提取

作為一個 RAG 系統(tǒng)，Diffbot LLM 可以實(shí)時總結(jié) Web 文檔，并適當(dāng)?shù)刈⒚髟紒碓础?/p>

事實(shí)引文的專家檢索器

Diffbot LLM 經(jīng)過明確訓(xùn)練，可以將引用的文本與參考來源對齊。

知識圖譜查詢

Diffbot LLM 是 Diffbot（知識圖譜）查詢語言的專家工具用戶。

圖像蘊(yùn)涵

Diffbot LLM也包含圖像。

Code Interpreter 工具使用

Diffbot LLM 不依賴模型權(quán)重來執(zhí)行實(shí)證計算，而是 Javascript 解釋器的專家工具用戶，它可以使用它來通知它的響應(yīng)。

有趣的東西

Diffbot LLM 是 ASCII 藝術(shù)天氣預(yù)報的專家制造商，以真實(shí)來源為基礎(chǔ)。

2. 模型下載

可在 HuggingFace 上下載：

• diffbot-small （8b Llama 3.1 微調(diào)）：https://huggingface.co/diffbot/Llama-3.1-Diffbot-Small-2412
• diffbot-small-xl （70b Llama 3.3 微調(diào)）：https://huggingface.co/diffbot/Llama-3.3-Diffbot-Small-XL-2412

3. 準(zhǔn)確性基準(zhǔn)

FreshQA 數(shù)據(jù)集

FreshQA 是衡量搜索 RAG 系統(tǒng)實(shí)時準(zhǔn)確性的基準(zhǔn)。Diffbot LLM 在實(shí)時事實(shí)準(zhǔn)確性方面優(yōu)于 gpt-4o（無網(wǎng)絡(luò)訪問）、ChatGPT（有網(wǎng)絡(luò)訪問）、Google Gemini 和 Perplexity。

在本次評估中，我們重點(diǎn)關(guān)注了 130 個 FreshQA 問題，這些問題的答案在 2024 年發(fā)生了變化，這是在 2024 年 12 月所有評估模型的知識截止之后。

MMLU-Pro 系列

MMLU-Pro 是 MMLU 基準(zhǔn)測試的更困難版本，它使用 57 道選擇多項(xiàng)選擇題來測試 10 個學(xué)術(shù)科目的靜態(tài)知識。MMLU-Pro 排行榜。

下面顯示了 diffbot-small 和 diffbot-small-xl 在進(jìn)行微調(diào)的基礎(chǔ)模型上的 MMLU-Pro 分?jǐn)?shù)。

注意：這是對 Diffbot GraphRAG LLM API 端到端的測量，而不是對權(quán)重中包含的知識的測量。與基本模型相比，其性能的提升來自其訪問外部工具的能力。

4. 演示

使用 https://diffy.chat 的演示應(yīng)用程序試用 Diffbot LLM

5. 在本地運(yùn)行

經(jīng)過測試的最低硬件配置：

• Nvidia A100 40G 用于 diffbot-small
• Nvidia 2XH100 80G 用于 diffbot-small-xl @ FP8

在 huggingface 中使用 Docker 鏡像和模型

• Pull docker image:??docker pull docker.io/diffbot/diffbot-llm-inference:latest??拉取 docker 鏡像：docker pull docker.io/diffbot/diffbot-llm-inference:latest
• Run docker image. Note: The model weights will be automatically downloaded from huggingface. This might take a few minutes.運(yùn)行 docker image。注意：模型權(quán)重將自動從 huggingface 下載。這可能需要幾分鐘時間。

Model: diffbot-small型號：diffbot-small

docker run --runtime nvidia --gpus all -p 8001:8001 --ipc=host -e VLLM_OPTIONS="--model diffbot/Llama-3.1-Diffbot-Small-2412 --served-model-name diffbot-small --enable-prefix-caching"  docker.io/diffbot/diffbot-llm-inference:latestMdocker run --runtime nvidia --gpus all -p 8001：8001 --ipc=host -e VLLM_OPTIONS= “ --model diffbot/llama-3.1-Diffbot-Small-2412 --served-model-name diffbot-small --enable-prefix-caching ” docker.io/diffbot/diffbot-llm-inference:latestM

odel: diffbot-small-xlODEL：diffbot-small-xl

docker run --runtime nvidia --gpus all -p 8001:8001 --ipc=host -e VLLM_OPTIONS="--model diffbot/Llama-3.3-Diffbot-Small-XL-2412 --served-model-name diffbot-small-xl --enable-prefix-caching --quantization fp8 --tensor-parallel-size 2"  docker.io/diffbot/diffbot-llm-inference:latestTdocker run --runtime nvidia --gpus all -p 8001：8001 --ipc=host -e VLLM_OPTIONS= “ --model diffbot/llama-3.3-Diffbot-Small-XL-2412 --served-model-name diffbot-small-xl --enable-prefix-caching --quantization fp8 --tensor-parallel-size 2 ” docker.io/diffbot/diffbot-llm-inference:latestT

Diffbot 服務(wù)器利用 vLLM 為模型提供服務(wù)，一旦 vLLM 輸出以下消息，它就可以接收請求：

信息：應(yīng)用程序啟動 complete.INFO：Uvicorn 在 http://0.0.0.0:8000 上運(yùn)行（按 CTRL+C 退出） Yo

您現(xiàn)在可以使用終端節(jié)點(diǎn) http://localhost:8001/rag/v1 ，它的工作方式與下面的 Serverless API 完全相同

7. 使用 Serverless API

Get a free Diffbot developer token at https://app.diffbot.com/get-started
在 https://app.diffbot.com/get-started 獲取免費(fèi)的 Diffbot 開發(fā)人員令牌

from openai importOpenAI

client =OpenAI(
    base_url ="https://llm.diffbot.com/rag/v1",
    api_key  ="<diffbot_token>"
)

completion = client.chat.completions.create(
    model="diffbot-small-xl",
    temperature=0,
    messages=[
        {
"role": "user",
"content": "What is the Diffbot Knowledge Graph?"
        }
    ]
)
print (completion)Contact support@diffbot.com if need more credits or higher limits.

8. 添加自定義工具

要使用新工具擴(kuò)展 Diffbot LLM 推理服務(wù)器，請參閱本教程。

GitHub - diffbot/diffbot-llm-inference：DIffbot LLM 推理服務(wù)器

??https://github.com/diffbot/diffbot-llm-inference/??

關(guān)于 Diffbot：

Diffbot 是一家領(lǐng)先的人工智能和數(shù)據(jù)公司，致力于組織和構(gòu)建世界信息。其行業(yè)首創(chuàng)的知識圖譜不斷從網(wǎng)絡(luò)上提取和組織事實(shí)，為企業(yè)、研究和創(chuàng)新的關(guān)鍵任務(wù)應(yīng)用程序提供支持。通過構(gòu)建最全面的人類知識事實(shí)存儲并將其與先進(jìn)的自然語言模型配對，Diffbot 旨在重新定義下一代事實(shí) AI。

本文轉(zhuǎn)載自知識圖譜科技，作者：KGGPT