周末一直在耍 AI 本地部署個人知識庫，基本都是基于 OpenAI 的開放接口進行封裝，亦或者你本地部署自己部署一個小模型。

感覺這兩個要求對小白玩家都太高了，一個要求有科學上網(wǎng)能力，一個要求你電腦帶高端顯卡能夠本地部署。

今天給大家?guī)硪粋€炸裂產(chǎn)品gpt_academic，你可以玩 GPT-3、GPT-4、Claude-2  等國外模型，也可以玩國內(nèi)文心一言、星火、通義千文等國產(chǎn)大模型。

一、部署項目

1、前置條件

通過 docker-compose 方式啟動一直有點問題，應該是鏡像有問題，看 issue 也有很多人提問，索性就直接根據(jù)源碼進行啟動。

需要我們本地安裝好 Pyhton 環(huán)境，這個就不多做介紹，網(wǎng)上有很多教程。

2、下載&安裝

gpt_academic 的 GitHub 地址：https://github.com/binary-husky/gpt_academic

進入到上方網(wǎng)址，直接下載（免去安裝 Git）

圖片

下載好之后解壓到你對應 Python 項目位置，嘗試啟動時會出現(xiàn)很多組件需要安裝，大家根據(jù)提示逐一安裝即可。

3、國內(nèi)模型配置

如果使用的時國內(nèi)大模型比較簡單，映射關系如下：

這里我們以使用訊飛星火舉例，主要是訊飛實名注冊即送星火大模型3.0的200萬 token數(shù)。

圖片

實名注冊后拿到星火的 API 信息，將其填充到 config.py 這個文件對應的星火模型配置處。

圖片

最后將 sparkv3 模型填充到 config.py 的 AVAIL_LLM_MODELS 屬性中：

圖片

這樣就可以直接啟動項目使用了。

4、國外模型配置

使用國外模型就會比較復雜一些，我們需要配置好代理，運行 check_proxy.py 文件看是否存在問題。

這里以我使用的 Clash 軟件為例，查看代理端口并在代理頁面切換至全局模式：

圖片

將上面獲取到的本地端口配置到 config.py 文件，修改兩處地方：

1. 將你的 OpenAI Key 進行填充進去
2. 修改你本地的代理端口，我的就是 http://127.0.0.1:7890

圖片

運行 check_proxy.py 文件輸出結(jié)果如下就表示通過，否則還需要調(diào)整配置（使用的軟件不同，大家自行解決）：

圖片

5、應用實戰(zhàn)

這里如果大家想使用多模型輸出（同時詢問多個 AI 模型），還需要修改一個配置：

# 定義界面上“詢問多個GPT模型”插件應該使用哪些模型，請從AVAIL_LLM_MODELS中選擇，并在不同模型之間用`&`間隔，例如"gpt-3.5-turbo&chatglm3&azure-gpt-4"
# 默認 MULTI_QUERY_LLM_MODELS = "gpt-3.5-turbo&chatglm3"
MULTI_QUERY_LLM_MODELS = "gpt-3.5-turbo&sparkv3

這里就配置 gpt-3.5-turbo 和 sparkv3，如果大家有更多模型可以都配置上去。

然后我們運行 main.py 文件即可，運行成功會自動彈出頁面 http://localhost:29717，端口每次都是隨機的。

圖片

在右上角可以切換不同的模型，默認是使用 gpt-3.5 模型。我們將其切換到星火模型看看，效果如下：

圖片

在頁面右下角，我們選擇詢問多個模型試下，可以看到同時輸出了結(jié)果。

圖片

這里還可以直接輸入文件內(nèi)容，有 AI 幫你總結(jié)。其實就是將你文件的內(nèi)容轉(zhuǎn)換成文本發(fā)給模型，最后會返回總結(jié)文件給你。

圖片

二、總結(jié)

里面功能還是很多，大家可以挖掘一下。我嘗試將整個 Java 項目導入，結(jié)果返回的只是對每個文件代碼的解讀，實際上沒啥大用（花費了我15萬 token 數(shù)，心痛~ ）。