無需聯(lián)網(wǎng)！DeepSeek-R1+本地化RAG，打造私有智能文檔助手

作者：韋東東 2025-02-21 15:56:42

本篇主要介紹一個(gè)本地RAG問答系統(tǒng)的簡要示例，項(xiàng)目已開源在github。

1、寫在前面

官方開源的版本除了滿血的 671b 外，還有 1.5b，7b，8b，14b，32b，70b 六個(gè)蒸餾后的尺寸，筆者使用 Ollama 在電腦本地部署了 7b 的模型，在終端中測試了雖然回答沒有滿血版的那么驚艷，但湊活能用。

作為一款高階模型開源，確實(shí)要 salute 一下。不過進(jìn)一步的問題是，我們面對這樣的強(qiáng)思維鏈模型，除了在官網(wǎng)間或 Chat 一下，如何進(jìn)一步的將其變成工作或生活場景的生產(chǎn)力工具？本篇試圖給出一種基于RAG的回答。

2、場景分析

本篇主要介紹一個(gè)本地RAG問答系統(tǒng)的簡要示例，項(xiàng)目已開源在github。

適合對數(shù)據(jù)隱私和安全性要求高的場景，如醫(yī)療機(jī)構(gòu)處理病歷檔案、金融企業(yè)分析內(nèi)部報(bào)告、法律部門管理合同文書，以及希望在確保數(shù)據(jù)不出企業(yè)的前提下實(shí)現(xiàn)智能問答的個(gè)人或者企業(yè)。可以在完全離線環(huán)境下獨(dú)立部署和使用。

?? 私有數(shù)據(jù)安全：全程本地處理，敏感文檔無需上傳第三方服務(wù)

? 實(shí)時(shí)響應(yīng)：基于本地向量數(shù)據(jù)庫實(shí)現(xiàn)毫秒級語義檢索

?? 領(lǐng)域適配：可針對專業(yè)領(lǐng)域文檔定制知識庫

?? 離線可用：無需互聯(lián)網(wǎng)連接，保護(hù)數(shù)據(jù)隱私

?? 成本可控：避免云服務(wù)按次計(jì)費(fèi)，長期使用成本更低

3、系統(tǒng)架構(gòu)

使用 Ollama 部署的 DeepSeek-r1:7b 作為推理模型，通過 Sentence Transformer (all-MiniLM-L6-v2) 將文本向量化后存儲到 ChromaDB 向量數(shù)據(jù)庫，使用 LangChain 的文本分割器處理 PDF 文檔，最后用 Gradio 構(gòu)建了一個(gè)支持文件上傳和流式問答的 Web 交互界面，整個(gè)過程都在本地完成，無需連接外部服務(wù)。

?? PDF 文檔解析與向量化存儲

?? 基于 DeepSeek-7B 本地大模型

? 流式回答生成

?? 語義檢索與上下文理解

??? 友好的 Web 交互界面

4、使用方法

4.1 環(huán)境要求

Python 3.9+；內(nèi)存：至少 8GB；顯存：至少 4GB（推薦 8GB）

4.2 安裝步驟

克隆倉庫

git clone https://github.com/weiwill88/Local_Pdf_Chat_RAG

cd Local_Pdf_Chat_RAG

創(chuàng)建虛擬環(huán)境

python -m venv rag_env （windows 命令）

安裝依賴

.\rag_env\Scripts\activate

pip install -r requirements.txt

安裝并啟動(dòng) Ollama 服務(wù)

ollama pull deepseek-r1:7b

ollama serve &

啟動(dòng)服務(wù)

python rag_demo.py

訪問瀏覽器打開的本地地址

通常是 http://localhost:17995 上傳 PDF 文檔（等待處理完成）、在提問區(qū)輸入問題、查看實(shí)時(shí)生成的回答

配置說明

修改 rag_demo.py 中第 147 行的模型名稱可替換為其他支持的模型

4.3 RAG 優(yōu)化技巧

??? 分塊策略優(yōu)化：

根據(jù)文檔類型調(diào)整 chunk_size（技術(shù)文檔建議 800-1200，對話文本建議 400-600）使用滑動(dòng)窗口重疊策略保持上下文連貫性

?? 檢索增強(qiáng)：

結(jié)合 BM25+語義檢索的混合搜索添加文檔元數(shù)據(jù)過濾（如章節(jié)標(biāo)題）實(shí)現(xiàn)結(jié)果重排序（Rerank）提升相關(guān)性

?? 查詢優(yōu)化：

問題重寫（Query Rewriting）查詢擴(kuò)展（Query Expansion）多輪對話上下文管理

? 性能優(yōu)化：

使用量化版嵌入模型（如 all-MiniLM-L6-v2）實(shí)現(xiàn)向量索引緩存機(jī)制采用批處理加速文檔處理

?? 評估體系：

構(gòu)建測試用例評估召回率監(jiān)控回答準(zhǔn)確率記錄用戶反饋持續(xù)優(yōu)化

5、四種應(yīng)用場景示例

5.1 律師訴狀智能生成

痛點(diǎn)
案件證據(jù)材料分散在紙質(zhì)卷宗/郵件/聊天記錄中
人工檢索匹配相似判例需遍歷多個(gè)法律數(shù)據(jù)庫，耗時(shí)較長

解決方案
構(gòu)建律所或者律師個(gè)人的私有案例庫：自動(dòng)解析裁判文書PDF中的爭議焦點(diǎn)、法條引用、賠償金額等要素

訴狀要素智能填充：輸入"勞動(dòng)仲裁+工傷賠償"等標(biāo)簽，自動(dòng)關(guān)聯(lián)《工傷保險(xiǎn)條例》第37條及近三年同類型判決賠償金中位數(shù)

證據(jù)鏈完整性校驗(yàn)：根據(jù)案由自動(dòng)生成必備證據(jù)清單（如勞動(dòng)合同、醫(yī)療鑒定書等）

5.2 制造業(yè)技術(shù)文檔問答

痛點(diǎn)
設(shè)備手冊包含 2000+頁P(yáng)DF/圖紙，故障代碼查詢耗時(shí)＞30分鐘
新人無法理解"主軸軸向竄動(dòng)≤0.01mm"等專業(yè)術(shù)語的實(shí)操標(biāo)準(zhǔn)

解決方案
多模態(tài)知識庫：設(shè)備文檔結(jié)構(gòu)化（按故障代碼/維護(hù)周期/精度標(biāo)準(zhǔn)打標(biāo)簽）
實(shí)操視頻片段索引（關(guān)聯(lián)"E02報(bào)警"對應(yīng)的齒輪箱拆裝演示）

智能檢索：輸入"加工中心定位精度超差"，返回導(dǎo)軌磨損檢測流程及塞尺使用規(guī)范圖示

5.3 貸款客戶經(jīng)理風(fēng)控初篩

痛點(diǎn)
客戶經(jīng)理需要處理大量企業(yè)客戶數(shù)據(jù)，例如發(fā)票數(shù)據(jù)、流水?dāng)?shù)據(jù)、上下游合同等信息，人工分析耗時(shí)長且易遺漏關(guān)鍵風(fēng)險(xiǎn)點(diǎn)。

企業(yè)財(cái)務(wù)與經(jīng)營狀況信息分散且非結(jié)構(gòu)化，難以快速形成清晰的風(fēng)控結(jié)論。

解決方案
信息結(jié)構(gòu)化：通過大模型對發(fā)票數(shù)據(jù)、流水?dāng)?shù)據(jù)、合同條款等進(jìn)行關(guān)鍵信息抽取（如合同金額、付款周期、供應(yīng)鏈關(guān)聯(lián)方等），并自動(dòng)分類和標(biāo)注（如信用風(fēng)險(xiǎn)、履約風(fēng)險(xiǎn)）。

多模態(tài)檢索：基于RAG技術(shù)，支持客戶經(jīng)理輸入如“企業(yè)流動(dòng)資金占比異常”或“上下游履約風(fēng)險(xiǎn)”問題，系統(tǒng)快速檢索合同條款、流水異常記錄，并返回具體的風(fēng)險(xiǎn)點(diǎn)分析和建議。

本地部署保障數(shù)據(jù)安全：所有數(shù)據(jù)分析均在本地完成，滿足企業(yè)客戶對敏感信息保護(hù)的合規(guī)要求。