前言

2025 年 1 月 9 日 – 加利福尼亞州門洛帕克 – 世界上最大的開放網絡知識圖譜創(chuàng)建者 Diffbot宣布推出其第一個大型語言模型 （LLM），這是迄今為止世界上最基于事實的 AI 語言模型。利用 Diffbot 專有的知識圖譜（包括超過 100 億個實體和來自開放網絡的超過 1 萬億個結構化事實），新模型在事實可靠性和領域覆蓋率方面超過了目前所有可用的 LLM。

當前前沿的 LLM 方法通過擴大模型的大小來減少不良響應（又名“幻覺”），使其代表更多的訓練數(shù)據，或者增加推理時間，使用 LLM 來“推理”和自我糾正其錯誤，但代價是運行時間要長得多。在 Diffbot，我們相信我們稱之為智能的核心“推理”最終將被提煉為 ~1B 參數(shù)，并且事實知識最好在模型權重之外，在外部引用的知識圖譜中得到維護。Diffbot LLM 是一個經過微調的 LLama 3.3 70B（和 8B），它已經過培訓，可以成為專家工具用戶，在推理時查詢結構化和非結構化數(shù)據庫。

通過行業(yè)領先的基準（包括 MMLU-Pro 和 FreshQA 分數(shù)）衡量，Diffbot 的模型提供了無與倫比的事實性能。它的 MMLU-Pro 分數(shù)為 %70.36，擊敗了所有其他具有 <100B 參數(shù)和 %81 FreshQA 分數(shù)的開源模型，擊敗了 ChatGPT 搜索模式、Gemini 和 Perplexity。這種準確性直接歸功于 Diffbot 無與倫比的知識圖譜及其基于事實的響應的尖端方法。

Diffbot 的大模型也是生產 GraphRAG（圖檢索增強生成）系統(tǒng)的第一個開源實現(xiàn)。與其他僅依賴內部訓練數(shù)據和啟發(fā)式提示工程的 LLM 不同，GraphRAG 動態(tài)查詢 Diffbot 知識圖譜和獨立的網絡搜索索引，以檢索精確、權威的信息。

結果是，該模型不僅從其模型權重中近似出事實，而且還主動實時定位和引用可驗證的來源。

真實原文引用和溯源

雖然其他語言模型可能會引用引文，但它們通常無法將陳述追溯到其原始來源（即引文鏈接經常會不準確）。Diffbot 的 LLM 非常重視引文基礎。它經過微調，將每個事實陳述與支持它的特定段落嚴格匹配，并始終提供對任何引用材料的原始來源的直接引用。這確保了用戶對模型如何得出答案完全透明，從而提高了信任度和可靠性。

Diffbot 的 LLM 直接與 Diffbot 的自動提取、結構化知識圖譜查詢、非結構化 Web 搜索查詢和代碼解釋功能集成。它在復雜的工作流程中表現(xiàn)出色，例如按需聚合數(shù)據或從用戶選擇的自定義數(shù)據集生成見解。

隨著數(shù)據安全性和機密性變得至關重要，Diffbot 的 LLM 在設計時秉持隱私優(yōu)先的理念。用戶保留對其數(shù)據的完全控制權，并且該模型的自托管選項確保敏感信息永遠不需要離開安全的本地環(huán)境。

高級多模態(tài)和工具功能

除了基于文本的查詢之外，Diffbot 的 LLM 還提供高級多模態(tài)推理：

• 圖像蘊涵：從“如何畫小鯊魚”到復雜的視覺推理，該模型可以理解和解釋圖像，確保超越書面文字的無縫交互。
• 代碼解釋：該模型可以在內部執(zhí)行 JavaScript 代碼解釋器，而不是為數(shù)學和字符串處理問題提供近似解決方案。這會產生明確、正確的答案，而不是猜測，使其成為開發(fā)人員、數(shù)據科學家和技術用戶的理想選擇。

Diffychat：公開演示

鼓勵對測試、集成或為項目做出貢獻的開發(fā)人員、研究人員和組織訪問 https://diffy.chat 并探索文檔和開源存儲庫。用戶可以在 https://diffy.chat 上測試 Diffbot LLM，讓任何人都可以親身體驗其功能。

與許多閉源模型不同，Diffbot 的模型是完全開源的，并帶有一個開源的、與 OpenAI 兼容的函數(shù)調用 API 服務器，用于自托管。這種開放的方法使企業(yè)、研究人員和業(yè)余愛好者能夠將模型集成到他們自己的系統(tǒng)中，并完全控制他們的數(shù)據和配置。

值得注意的是，大型語言模型 （LLM） 已經使用越來越多的數(shù)據進行訓練，導致參數(shù)數(shù)量和所需的計算能力增加。但是，如果我們沒有為模型提供更多數(shù)據，而是有目的地訓練它，以減少對預訓練數(shù)據的依賴，而更多地依賴它查找外部知識的能力，那會怎樣？

為了測試這個想法，我們對 LLama 3.3 70B 進行了微調，使其成為實時知識圖譜 API 的專家工具用戶，提供了第一個性能優(yōu)于 Google Gemini 和 ChatGPT 的 GraphRAG 系統(tǒng)的開源實現(xiàn)。

值得注意的是，大型語言模型 （LLM） 已經使用越來越多的數(shù)據進行訓練，導致參數(shù)數(shù)量和所需的計算能力增加。但是，如果我們沒有為模型提供更多數(shù)據，而是有目的地訓練它，以減少對預訓練數(shù)據的依賴，而更多地依賴它查找外部知識的能力，那會怎樣？

為了測試這個想法，我們對 LLama 3.3 70B 進行了微調，使其成為實時知識圖譜 API 的專家工具用戶，提供了第一個性能優(yōu)于 Google Gemini 和 ChatGPT 的 GraphRAG 系統(tǒng)的開源實現(xiàn)。

1. 特點

實時 Web URL 提取

作為一個 RAG 系統(tǒng)，Diffbot LLM 可以實時總結 Web 文檔，并適當?shù)刈⒚髟紒碓础?/p>

事實引文的專家檢索器

Diffbot LLM 經過明確訓練，可以將引用的文本與參考來源對齊。

知識圖譜查詢

Diffbot LLM 是 Diffbot（知識圖譜）查詢語言的專家工具用戶。

圖像蘊涵

Diffbot LLM也包含圖像。

Code Interpreter 工具使用

Diffbot LLM 不依賴模型權重來執(zhí)行實證計算，而是 Javascript 解釋器的專家工具用戶，它可以使用它來通知它的響應。

有趣的東西

Diffbot LLM 是 ASCII 藝術天氣預報的專家制造商，以真實來源為基礎。

2. 模型下載

可在 HuggingFace 上下載：

• diffbot-small （8b Llama 3.1 微調）：https://huggingface.co/diffbot/Llama-3.1-Diffbot-Small-2412
• diffbot-small-xl （70b Llama 3.3 微調）：https://huggingface.co/diffbot/Llama-3.3-Diffbot-Small-XL-2412

3. 準確性基準

FreshQA 數(shù)據集

FreshQA 是衡量搜索 RAG 系統(tǒng)實時準確性的基準。Diffbot LLM 在實時事實準確性方面優(yōu)于 gpt-4o（無網絡訪問）、ChatGPT（有網絡訪問）、Google Gemini 和 Perplexity。

在本次評估中，我們重點關注了 130 個 FreshQA 問題，這些問題的答案在 2024 年發(fā)生了變化，這是在 2024 年 12 月所有評估模型的知識截止之后。

MMLU-Pro 系列

MMLU-Pro 是 MMLU 基準測試的更困難版本，它使用 57 道選擇多項選擇題來測試 10 個學術科目的靜態(tài)知識。MMLU-Pro 排行榜。

下面顯示了 diffbot-small 和 diffbot-small-xl 在進行微調的基礎模型上的 MMLU-Pro 分數(shù)。

注意：這是對 Diffbot GraphRAG LLM API 端到端的測量，而不是對權重中包含的知識的測量。與基本模型相比，其性能的提升來自其訪問外部工具的能力。

4. 演示

使用 https://diffy.chat 的演示應用程序試用 Diffbot LLM

5. 在本地運行

經過測試的最低硬件配置：

• Nvidia A100 40G 用于 diffbot-small
• Nvidia 2XH100 80G 用于 diffbot-small-xl @ FP8

在 huggingface 中使用 Docker 鏡像和模型

• Pull docker image:??docker pull docker.io/diffbot/diffbot-llm-inference:latest??拉取 docker 鏡像：docker pull docker.io/diffbot/diffbot-llm-inference:latest
• Run docker image. Note: The model weights will be automatically downloaded from huggingface. This might take a few minutes.運行 docker image。注意：模型權重將自動從 huggingface 下載。這可能需要幾分鐘時間。

Model: diffbot-small型號：diffbot-small

docker run --runtime nvidia --gpus all -p 8001:8001 --ipc=host -e VLLM_OPTIONS="--model diffbot/Llama-3.1-Diffbot-Small-2412 --served-model-name diffbot-small --enable-prefix-caching"  docker.io/diffbot/diffbot-llm-inference:latestMdocker run --runtime nvidia --gpus all -p 8001：8001 --ipc=host -e VLLM_OPTIONS= “ --model diffbot/llama-3.1-Diffbot-Small-2412 --served-model-name diffbot-small --enable-prefix-caching ” docker.io/diffbot/diffbot-llm-inference:latestM

odel: diffbot-small-xlODEL：diffbot-small-xl

docker run --runtime nvidia --gpus all -p 8001:8001 --ipc=host -e VLLM_OPTIONS="--model diffbot/Llama-3.3-Diffbot-Small-XL-2412 --served-model-name diffbot-small-xl --enable-prefix-caching --quantization fp8 --tensor-parallel-size 2"  docker.io/diffbot/diffbot-llm-inference:latestTdocker run --runtime nvidia --gpus all -p 8001：8001 --ipc=host -e VLLM_OPTIONS= “ --model diffbot/llama-3.3-Diffbot-Small-XL-2412 --served-model-name diffbot-small-xl --enable-prefix-caching --quantization fp8 --tensor-parallel-size 2 ” docker.io/diffbot/diffbot-llm-inference:latestT

Diffbot 服務器利用 vLLM 為模型提供服務，一旦 vLLM 輸出以下消息，它就可以接收請求：

信息：應用程序啟動 complete.INFO：Uvicorn 在 http://0.0.0.0:8000 上運行（按 CTRL+C 退出） Yo

您現(xiàn)在可以使用終端節(jié)點 http://localhost:8001/rag/v1 ，它的工作方式與下面的 Serverless API 完全相同

7. 使用 Serverless API

Get a free Diffbot developer token at https://app.diffbot.com/get-started
在 https://app.diffbot.com/get-started 獲取免費的 Diffbot 開發(fā)人員令牌

from openai importOpenAI

client =OpenAI(
    base_url ="https://llm.diffbot.com/rag/v1",
    api_key  ="<diffbot_token>"
)

completion = client.chat.completions.create(
    model="diffbot-small-xl",
    temperature=0,
    messages=[
        {
"role": "user",
"content": "What is the Diffbot Knowledge Graph?"
        }
    ]
)
print (completion)Contact support@diffbot.com if need more credits or higher limits.

8. 添加自定義工具

要使用新工具擴展 Diffbot LLM 推理服務器，請參閱本教程。

GitHub - diffbot/diffbot-llm-inference：DIffbot LLM 推理服務器

??https://github.com/diffbot/diffbot-llm-inference/??

關于 Diffbot：

Diffbot 是一家領先的人工智能和數(shù)據公司，致力于組織和構建世界信息。其行業(yè)首創(chuàng)的知識圖譜不斷從網絡上提取和組織事實，為企業(yè)、研究和創(chuàng)新的關鍵任務應用程序提供支持。通過構建最全面的人類知識事實存儲并將其與先進的自然語言模型配對，Diffbot 旨在重新定義下一代事實 AI。

本文轉載自知識圖譜科技，作者：KGGPT