如何基于一臺MacBook搞定企業(yè)級大模型知識庫部署
1、為什么要在 MacBook 上搭建知識庫？
最核心最重要的是我們手上的文檔資料出于安全要求，不能隨便上傳到云服務，也就無法實際驗證知識庫的實際效用。另外對于 IT 同學來說，自己親手搭建一個完整的方案、能靈活調(diào)整和對接各種不同的模型、評測各種模型不同的表現(xiàn)，也是出于對技術(shù)的探索本能使然。
使用的 MacBook 配置如下，對大模型經(jīng)過量化處理（比如：int8）后，可以流暢運行。
2、知識庫的架構(gòu)設計
基于一臺 MacBook 搭建部署的架構(gòu)設計如下圖，在這套架構(gòu)設計中，我們采用了實力排上游、并且對企業(yè)和學術(shù)都友好的國產(chǎn)開源大模型 ChatGLM3-6B。
并采用了基于 m3e-base 模型的 embedding search RAG 方案。基于這兩個模型封裝和 ChatGPT 兼容的 API 接口協(xié)議；通過引入 One API 接口管理 & 分發(fā)系統(tǒng)，形成統(tǒng)一 LLM 接口渠道管理平臺規(guī)范，并把封裝好的接口協(xié)議注冊進去；搭建與 Dify.ai 齊名開源大模型知識庫平臺管理系統(tǒng) FastGPT，實現(xiàn)集私有知識數(shù)據(jù)源預處理、嵌入檢索、大模型對話一體的完整知識庫應用流程。
麻雀雖小五臟俱全，最終形成一套既滿足商用標準、又能在 MacBook 跑起來的的方案。雖然智能程度和實際需求還有一定差距，但至少我們在不用額外購買顯卡或云服務的情況下，以最小成本部署運行、并且能導入實際業(yè)務數(shù)據(jù)（如：設計文檔、業(yè)務流程文檔、項目管理文檔、技術(shù)分享文檔等等）進行實操驗證，值得每位工程師都來動手嘗試一下。
3、知識庫的部署設計
基于 MacBook 的部署方案分為四個主要環(huán)節(jié)、14個具體步驟，只要一步步實操下去，每位 IT 同學都可以在自己的 MacBook 上擁有屬于自己的私有大模型知識庫系統(tǒng)，步驟清單如下：
部分步驟可以簡單地通過 Docker 鏡像一鍵部署完成，但本著對細節(jié)一桿子插到底的部署思路，還是采取了純手工作業(yè)的方法。
本文轉(zhuǎn)載自公眾號玄姐聊AGI 作者：玄姐
