免費(fèi)GPU算力部署DeepSeek-R1 32B
前言
DeepSeek-R1發(fā)布最新版本DeepSeek-R1-0528,顯著提升了模型的思維深度與推理能力,在數(shù)學(xué)、編程與通用邏輯等多個(gè)基準(zhǔn)測(cè)評(píng)中取得了當(dāng)前國(guó)內(nèi)所有模型中首屈一指的優(yōu)異成績(jī),并且在整體表現(xiàn)上已接近其他國(guó)際頂尖模型,如 o3 與 Gemini-2.5-Pro。另外,API接口還增加了Function Calling和JsonOutput 的支持。
DeepSeek-R1團(tuán)隊(duì)已經(jīng)證明,大模型的推理模式可以蒸餾到小模型中,與通過強(qiáng)化學(xué)習(xí)在小模型上發(fā)現(xiàn)的推理模式相比,性能更優(yōu)。ollma上可以下載不同參數(shù)尺寸(1.5B到70B)的蒸餾模型,參數(shù)越大,性能越好。
飛槳AI Studio每日免費(fèi)提供GPU算力資源,具體配置如下:
- V100 16GB顯存:可以跑14B尺寸模型,每日免費(fèi)使用4小時(shí)。
- VT100 32GB顯存:可以跑32B尺寸模型,每日免費(fèi)使用2.7小時(shí)。
創(chuàng)建項(xiàng)目
打開https://aistudio.baidu.com/account
,點(diǎn)擊右上方“登錄”按鈕,用百度賬號(hào)登錄即可。
打開https://aistudio.baidu.com/my/project
,點(diǎn)擊右上方“創(chuàng)建項(xiàng)目”,選擇“Notebook”,會(huì)彈出下方的對(duì)話框。填寫“項(xiàng)目名稱”,點(diǎn)擊創(chuàng)建。
在打開的頁面中,點(diǎn)擊上面的“未運(yùn)行”。
在彈出的頁面中,選擇“基礎(chǔ)版”運(yùn)行環(huán)境。“基礎(chǔ)版”運(yùn)行環(huán)境免費(fèi)不限時(shí),用于下載ollama和deepseek模型。等下載完后再切換到GPU環(huán)境。
環(huán)境啟動(dòng)后,點(diǎn)擊右上角的“專業(yè)開發(fā)”,進(jìn)入Codelab IDE界面。
Codelab IDE界面如下:
安裝ollama
設(shè)置目錄
在Codelab IDE界面中,選擇“文件”=》“新建”=》“終端”,進(jìn)入shell界面,執(zhí)行以下命令(每次啟動(dòng)環(huán)境都要執(zhí)行
),以便ollama下載的模型能保存在~/work/.ollama,這樣才能持久化保存。
cd ~/work && mkdir -p .ollama && ln -sfn ~/work/.ollama ~/
下載ollama
飛槳AI Studio無法訪問github,需通過代理網(wǎng)站ghproxy.cn進(jìn)行下載。命令如下:
cd ~/work
wget -c https://ghproxy.cn/https://github.com/ollama/ollama/releases/download/v0.8.0/ollama-linux-amd64.tgz
tar zxf ollama-linux-amd64.tgz
下載deepseek模型
啟動(dòng)ollama服務(wù)。
~/work/bin/ollama serve
新建終端,輸入命令下載deepseek-r1 32b模型。
~/work/bin/ollama pull deepseek-r1:32b
如果發(fā)現(xiàn)下載速度低于1MB/s,可嘗試重新執(zhí)行pull(但不要重啟ollama serve的進(jìn)程)。
啟動(dòng)deepseek
切換到GPU環(huán)境
打開https://aistudio.baidu.com/my/project,停止運(yùn)行中的CPU環(huán)境 。
點(diǎn)擊項(xiàng)目,在項(xiàng)目詳情頁面中,點(diǎn)擊上面的“未運(yùn)行”。
在彈出的頁面中,選擇“V100 32GB”運(yùn)行環(huán)境。每天免費(fèi)獲得8點(diǎn)算力,可用2.7小時(shí),昨天用剩的算力可以結(jié)余到今天使用。
因?yàn)榍袚Q環(huán)境,系統(tǒng)需要同步文件,在Codelab IDE右下角會(huì)有同步進(jìn)度顯示。
啟動(dòng)ollama服務(wù)
cd ~/work && mkdir -p .ollama && ln -sfn ~/work/.ollama ~/ && ~/work/bin/ollama serve
啟動(dòng)DeepSeek
新建終端,輸入以下命令啟動(dòng)deepseek。
~/work/bin/ollama run deepseek-r1:32b
運(yùn)行成功后就可以開始體驗(yàn)deepseek的魅力了。
測(cè)試
下圖為經(jīng)典問題:9.9和9.11比較,哪個(gè)更大。
總結(jié)
本文介紹利用飛槳AI Studio每日免費(fèi)提供GPU算力資源部署DeepSeek-R1 32B。進(jìn)一步,還可以通過frp內(nèi)網(wǎng)穿透讓windows部署的Dify連接飛槳服務(wù)器上部署的ollama。另外,我們也可以利用GPU算力學(xué)習(xí)其它知識(shí):模型微調(diào),模型訓(xùn)練,深度學(xué)習(xí)訓(xùn)練等。