Ollama平替！LM Studio本地大模型調用實戰
0.前言
可像 Ollama 通過暴露本地端口，實現本地客戶端調用。
1.選擇模型
在 LM Studio 的 “開發者” 選項卡中選擇模型：
2.端口暴露
設置暴露的端口（默認1234）：
啟用 CORS 后，可對接網頁應用或其他客戶端工具。
3.啟動服務
點擊狀態選項卡：
控制臺會顯示運行日志和訪問地址：
2025-04-26 20:55:13 [INFO]
[LM STUDIO SERVER] Success! HTTP server listening on port 1234
2025-04-26 20:55:13 [INFO]
2025-04-26 20:55:13 [INFO]
[LM STUDIO SERVER] Supported endpoints:
2025-04-26 20:55:13 [INFO]
[LM STUDIO SERVER] -> GET http://localhost:1234/v1/models
2025-04-26 20:55:13 [INFO]
[LM STUDIO SERVER] -> POST http://localhost:1234/v1/chat/completions
2025-04-26 20:55:13 [INFO]
[LM STUDIO SERVER] -> POST http://localhost:1234/v1/completions
2025-04-26 20:55:13 [INFO]
[LM STUDIO SERVER] -> POST http://localhost:1234/v1/embeddings
2025-04-26 20:55:13 [INFO]
2025-04-26 20:55:13 [INFO]
[LM STUDIO SERVER] Logs are saved into /Users/javaedge/.lmstudio/server-logs
2025-04-26 20:55:13 [INFO]
Server started.4.快速上手
4.1 快速ping
列出已加載并就緒的模型：
curl http://127.0.0.1:1234/v1/models/
這也是驗證服務器是否可訪問的一種有效方法！
4.2 聊天
這是一個類似調用OpenAI的操作，通過??curl???工具訪問??/v1/chat/completion??端點：
- 在Mac或Linux系統，可用任意終端運行
- Windows系統用Git Bash
curl http://127.0.0.1:1234/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "llama-4-maverick-17b-128e-instruct",
"messages": [
{ "role": "system", "content": "Always answer in rhymes." },
{ "role": "user", "content": "Introduce yourself." }
],
"temperature": 0.7,
"max_tokens": -1,
"stream": true
}'該調用是“無狀態的”，即服務器不會保留對話歷史記錄。調用方有責任在每次調用時提供完整的對話歷史記錄。
流式傳輸 V.S 累積完整響應
注意??"stream": true??（流式傳輸：開啟）參數:
- ?
?true??（開啟）時，LM Studio會在預測出標記（token）的同時將其逐一流式返回 - 如將此參數設置為?
?false??（關閉），在調用返回之前，完整的預測結果會被先累積起來。對于較長的內容生成或者運行速度較慢的模型，這可能需要花費一些時間！
本文轉載自???JavaEdge???，作者：JavaEdge
贊
收藏
回復
分享
微博
QQ
微信
舉報
回復
相關推薦
