低成本+高性能+超靈活！Deepseek 671B + Milvus 重新定義知識庫搭建！原創

發布于 2025-2-13 10:40

瀏覽

1收藏

這個春節，DeepSeek 實在太火爆了。

“老板指示，我們要整合 Deepseek，還得建立自己的知識庫……”

這樣的聲音，哪個開發者近期沒耳聞？

Deepseek 的火爆，智能推理的加速，以及算力成本的顯著降低，使得眾多原本對大型模型望而卻步的企業，一夜之間紛紛投向 AI 的懷抱，追求降本增效。在這個過程中，對于那些擁有優質私有數據和敏感數據的企業來說，若想避免數據泄露，部署本地知識庫無疑是走向大模型的關鍵一步。

然而，當你深入調研時，會發現這件事情遠非想象中那么簡單：

嘗試使用開源的蒸餾版模型？效果不盡人意，連基礎的問答準確性都無法保障。

舉個例子，我們最近推出了基于 Deepseek 7b+Milvus的本地部署教程，許多開發者反饋，即便是7B版本搭配了向量數據庫，效果仍然難以令人滿意。

若要部署完整版的大型模型？以滿血的 R1 為例，其參數高達 671B，即便是FP16 精度，所需的顯存也高達 1342GB，換成 80G 的 A100 顯卡，也需要 17張。而對于個人電腦，即便是配備頂級的 24GB 4090 顯卡，數量也需達到56張（MoE+量化可以降低實際顯存需求）……

顯然，無論是個人還是中小企業，都難以承擔如此高昂的顯卡成本。

那選擇開源方案自行搭建呢？光是環境配置就讓人頭疼：向量庫的選擇、模型部署、前端界面……每一步都是對你耐心的考驗。

難道真的沒有簡單易行的解決方案嗎？

經過一個月的加班加點部署，我堅信，DeepSeek + Milvus + AnythingLLM，絕對是搭建本地知識庫的最佳選擇！

這個方案不僅解決了性能問題，更重要的是，它實現了真正的“零門檻”。僅需30分鐘，就能構建一個具備企業級性能的私有知識庫。整個過程如同拼裝積木般簡單，即便是新手也能迅速掌握。

1、選型思路

首先，讓我們探討一下為什么選擇 DeepSeek + Milvus + AnythingLLM這個組合來進行本次項目選型，它主要針對當前 RAG 實施過程中的三個主要難題：

1.1 模型性能挑戰

體驗過 Ollama 提供的精簡版 DeepSeek 的用戶可能會發現，盡管它仍然是 DeepSeek，但其表現并不盡如人意。簡而言之，7B 版本的表現不盡人意，而671B 版本的成本又過高。

因此，我們建議利用硅基流動以及某些云服務提供商的 API 服務，通過 API 調用，我們可以以極低的成本獲取完整版 DeepSeek 的計算能力。更值得一提的是，近期新注冊用戶還能享受免費額度體驗。

1.2 部署復雜性

市場上的開源 RAG 解決方案眾多，但它們要么需要繁瑣的環境配置，要么需要大量的運維工作。而 AnythingLLM 則提供了一個完整的 UI 界面，無縫支持向量數據庫 Milvus 以及多種大型模型接口，大大降低了初學者的使用門檻。

Milvus 在檢索效率和數據規模支持方面，無疑是行業內的佼佼者。同時，Milvu s也是目前在 GitHub 上向量數據庫類別中，星標數量最多的開源項目，成為了大多數 AI 開發者的入門必修課。

1.3 系統擴展性

這個組合的最大優勢在于其靈活性。它允許用戶輕松切換不同的大型語言模型，Milvus 能夠支持億級別數據的高效檢索，而 AnythingLLM 的插件機制使得功能擴展變得輕而易舉。

綜合來看，這個組合方案不僅確保了效果，降低了使用難度，還具備了出色的擴展性。對于希望迅速構建私有知識庫的個人用戶來說，這無疑是一個極佳的選擇。

低成本+高性能+超靈活！Deepseek 671B + Milvus 重新定義知識庫搭建！-AI.x社區

2、實戰：搭建本地 RAG

環境配置要求說明如下：

本文環境均以 MacOS 為例，Linux 和 Windows 用戶可以參考對應平臺的部署文檔。

Docker 和 Ollama 安裝不在本文中展開。

本地部署配置：最低 CPU 4核、內存 8G，建議 CPU 8核、內存 16G

第一、Milvus 部署，官網下載地址：??https://milvus.io??

1.1 下載 Milvus 部署文件

bash-3.2$ wget https://github.com/milvus-io/milvus/releases/download/v2.5.4/milvus-standalone-docker-compose.yml -O docker-compose.yml

1.2 修改配置文件

說明：anythingllm 對接 Milvus 時需要提供 Milvus 賬號密碼，因此需要修改docker-compose.yml 文件中的 username 和 password 字段。

version: '3.5'
services:
  etcd:
    container_name: milvus-etcd
    image: registry.cn-hangzhou.aliyuncs.com/xy-zy/etcd:v3.5.5
    environment:
      - ETCD_AUTO_COMPACTION_MODE=revision
      - ETCD_AUTO_COMPACTION_RETENTION=1000
      - ETCD_QUOTA_BACKEND_BYTES=4294967296
      - ETCD_SNAPSHOT_COUNT=50000
    volumes:
      - ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/etcd:/etcd
    command: etcd -advertise-client-urls=http://127.0.0.1:2379 -listen-client-urls http://0.0.0.0:2379 --data-dir /etcd
    healthcheck:
      test: ["CMD", "etcdctl", "endpoint", "health"]
      interval: 30s
      timeout: 20s
      retries: 3
  minio:
    container_name: milvus-minio
    image: registry.cn-hangzhou.aliyuncs.com/xy-zy/minio:RELEASE.2023-03-20T20-16-18Z
    environment:
      MINIO_ACCESS_KEY: minioadmin
      MINIO_SECRET_KEY: minioadmin
    ports:
      - "9001:9001"
      - "9000:9000"
    volumes:
      - ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/minio:/minio_data
    command: minio server /minio_data --console-address ":9001"
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:9000/minio/health/live"]
      interval: 30s
      timeout: 20s
      retries: 3
  standalone:
    container_name: milvus-standalone
    image: registry.cn-hangzhou.aliyuncs.com/xy-zy/milvus:v2.5.4
    command: ["milvus", "run", "standalone"]
    security_opt:
    - seccomp:unconfined
    environment:
      ETCD_ENDPOINTS: etcd:2379
      MINIO_ADDRESS: minio:9000
      COMMON_USER: milvus
      COMMON_PASSWORD: milvus
    volumes:
      - ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/milvus:/var/lib/milvus
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:9091/healthz"]
      interval: 30s
      start_period: 90s
      timeout: 20s
      retries: 3
    ports:
      - "19530:19530"
      - "9091:9091"
    depends_on:
      - "etcd"
      - "minio"
networks:
  default:
    name: milvus