如何借助Cortex運行本地LLM 原創

發布于 2024-11-27 08:11

瀏覽

0收藏

?AI行業正在經歷一場轉變，轉向更小巧更高效的大語言模型（LLM），從而使用戶能夠在本地機器上運行模型，無需功能強大的服務器。本教程將指導你借助Cortex運行本地LLM，著重介紹其獨特的功能和易用性，使任何擁有標準硬件的人都可以享用AI。

注意：Cortex目前正在積極開發中，這可能會導致bug或某些功能無法正常運行。你可以通過???GitHub??或??Discord??報告任何問題。

Cortex簡介

?Cortex是一個動態的本地AI API平臺，旨在輕松高效地運行和定制大語言模型（LLM）。它擁有一個簡單直觀的靈感來自Ollama的命令行界面（CLI），完全用C++構建而成。你可以下載適用于Windows、macOS和Linux的安裝軟件包。

用戶可以從Hugging Face中選擇模型，也可以使用Cortex的內置模型，這些模型以通用文件格式存儲，以增強兼容性。使用Cortex最棒的地方在于，它支持可切換的引擎，從llama.cpp開始，可計劃在將來添加ONNX Runtime和TensorRT-LLM。此外，你還可以獲得帶有儀表板的實用服務器，用于查看API命令并對其進行測試。?

開始上手Cortex

登錄官方網站??https://cortex.so/??，下載并安裝Cortex。

如何借助Cortex運行本地LLM-AI.x社區

?之后，打開終端或PowerShell，輸入如下命令以下載Llama 3.2 3B指令模型。

$ cortex pull llama3.2

它將提示你選擇模型的各種量化版本；只需選擇默認選項llama3.2:3b-ggulf-q4-km。模型將被下載，下載時間取決于你的網速。?

Available to download:
    1. llama3.2:3b-gguf-q2-k
    2. llama3.2:3b-gguf-q3-kl
    3. llama3.2:3b-gguf-q3-km
    4. llama3.2:3b-gguf-q3-ks
    5. llama3.2:3b-gguf-q4-km (default)
    6. llama3.2:3b-gguf-q4-ks
    7. llama3.2:3b-gguf-q5-km
    8. llama3.2:3b-gguf-q5-ks
    9. llama3.2:3b-gguf-q6-k
    10. llama3.2:3b-gguf-q8-0

Select a model (1-10): 5
Selected: llama3.2:3b-gguf-q4-km
Validating download items, please wait..
Start downloading: model.gguf
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100  1104  100  1104    0     0   3255      0 --:--:-- --:--:-- --:--:--  3266
100 1925M  100 1925M    0     0  2397k      0  0:13:42  0:13:42 --:--:-- 2430k
Start downloading: model.yml
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100  1522  100  1522    0     0   4042      0 --:--:-- --:--:-- --:--:--  4058
Model llama3.2:3b-gguf-q4-km downloaded successfully!

你還可以從Hugging Face Hub中提取模型，只要在‘pull’命令后輸入模型的存儲庫ID，它就會自動下載。

$ cortex pull kingabzpro/Gemma-2-9b-it-chat-doctor

下載完成后，輸入帶有模型名稱的‘run’命令來啟動服務器。

$ cortex run llama3.2

?一旦一切設置完畢，你就可以開始從Llama 3.2提問了。

正如我們所見，模型準確地回答了關于世界上最高建筑的問題。?

Starting server ...
Host: 127.0.0.1 Port: 39281
Server started
API Documentation available at: http://127.0.0.1:39281
Inorder to exit, type `exit()`
> What is the tallest building in the world?
The Burj Khalifa, located in Dubai, United Arab Emirates, is currently the tallest building in the world, standing at a height of 828 meters (2,722 feet) with 163 floors.

我們甚至問了一些后續問題，它也能理解上下文。簡單又快速。

> tell me more about it.
The Burj Khalifa!

Here are some fascinating facts about the Burj Khalifa:

1. **Design and Construction**: The Burj Khalifa was designed by the American architectural firm Skidmore, Owings & Merrill, with Adrian Smith and John G. Buffman as the lead architects.
2. **Height and Floors**: The Burj Khalifa stands at a height of 828 meters (2,722 feet) with 163 ..........

?當你運行服務器時，還可以選擇通過Python API、CURL命令以及其他語言的API訪問模型。

在瀏覽器中輸入URL http://127.0.0.1:39281，開始探究你可以用服務器做些什么。?

如何借助Cortex運行本地LLM-AI.x社區

如果你想查看有多少模型在后臺運行以及它們消耗了多少內存，可以輸入‘ps’命令來查看。

$ cortex ps 
 +------------------------+-----------+-----------+---------+------------------------+
| Model                  | Engine    | RAM       | VRAM    | Up time                |
+------------------------+-----------+-----------+---------+------------------------+
| llama3.2:3b-gguf-q4-km | llama-cpp | 308.23 MB | 1.87 GB | 22 minutes, 31 seconds |
+------------------------+-----------+-----------+---------+--------------------