一、Ollama 是什么？

Ollama 是一個開源的本地大模型部署工具，旨在簡化大型語言模型（LLM）的運行和管理。通過簡單命令，用戶可以在消費級設備上快速啟動和運行開源模型（如 Llama、DeepSeek 等），無需復雜配置。它提供 OpenAI 兼容的 API，支持 GPU 加速，并允許自定義模型開發。

二、核心命令速查表

運行 ollama help 可查看所有命令，以下是高頻命令總結：

三、模型存儲路徑優化

默認路徑問題

• Windows：C:\Users\<用戶名>\.ollama
• Linux/macOS：~/.ollama
• 問題：可能占用系統盤空間，尤其對小容量 SSD 用戶不友好。

路徑遷移方案

Windows

1. 右鍵「此電腦」→ 屬性 → 高級系統設置 → 環境變量。
2. 新建系統變量 OLLAMA_MODELS，路徑設為 D:\ollama\models。

設置環境變量

3. 重啟電腦或終端后生效。

模型文件存放路徑

Linux/macOS

echo 'export OLLAMA_MODELS=/path/to/your/models' >> ~/.bashrc  # 或 ~/.zshrc
source ~/.bashrc  # 重新加載配置

四、模型管理：從下載到優化

1. 模型下載

• 官方模型：

ollama pull llama3  # 下載 Llama3 模型

• 自定義模型：

準備模型文件（如 GGUF 格式，從 Hugging Face 下載）。。

圖片

創建 Modelfile 配置模板（示例）：

name: mymodel
template: qwen
path: /path/to/your/model.q4_K_M.gguf

構建模型：

ollama create mymodel -f Modelfile

2. 運行與交互

• 終端交互：

ollama run --gpu mymodel  # 啟動 GPU 加速

輸入問題后按 Ctrl+D 提交，等待模型響應。

• API 調用：Ollama 內置 OpenAI 兼容 API，通過 http://localhost:11434 訪問：

curl http://localhost:11434/v1/models  # 查看模型列表
curl -X POST "http://localhost:11434/v1/completions" -H "Content-Type: application/json" -d '{"model":"llama3", "prompt":"你好"}'

3. 性能監控與優化

• 顯存不足：

選擇輕量模型（如 deepseek:1.5b）。

嘗試低精度版本（如 q4_K_M 或 q3_K_L）。

• 內存不足：

確保至少 8GB 內存（小模型）或 32GB+（大模型）。

使用 --verbose 參數監控資源消耗：

ollama run deepseek-r1:70b --verbose

• 輸出示例：

total duration: 12m1.056s  # 總耗時
load duration: 1.810s      # 模型加載時間
eval rate: 2.09 tokens/s   # 生成速度

五、常見問題與解決方案

1. 模型下載卡在 99%？

• 現象：下載進度停滯在最后階段。
• 解決：

Ctrl+C 取消下載 → 再次運行 `ollama pull <model>`  
# 進度保留，后續速度可能恢復正常

2. 模型無響應或崩潰

• 可能原因：

Modelfile 配置錯誤（如路徑或模板參數）。

系統資源不足（內存/顯存）。

• 排查步驟：

檢查 Modelfile 中的 TEMPLATE 和 stop 參數是否正確。

降低模型復雜度或增加硬件資源。

使用 --verbose 日志定位問題。

3. 刪除無用模型釋放空間

• 命令：

ollama rm modelname  # 刪除指定模型

六、安全加固指南

1. 限制網絡訪問

• 默認風險：Ollama 默認監聽 0.0.0.0:11434，可能暴露公網。
• 解決方案：

# 僅允許本地訪問
export OLLAMA_HOST=127.0.0.1:11434
# 或通過環境變量設置
OLLAMA_HOST=127.0.0.1:11434 ollama serve

2. 關閉危險端口

• 若僅本地使用，可通過防火墻屏蔽 11434 端口的外部訪問。

3. 定期更新版本

• Ollama 定期修復安全漏洞，建議升級到最新版：

七、總結與建議

• 硬件規劃：

7B 模型需 8GB 內存，70B 模型需 32GB+。

顯存不足時優先選擇低精度版本。

• 安全第一：

避免將 Ollama 端口暴露公網，定期更新版本。

• 模型選擇：

根據需求選擇（如 DeepSeek 適合代碼生成，Qwen 適合多語言）。