DeepSeek V3/ R1 火爆全網(wǎng)，基于原始模型的解決方案和 API 服務已隨處可見，陷入低價和免費內卷。

如何站在巨人肩膀上，通過后訓練（post-training）結合專業(yè)領域數(shù)據(jù)，低成本打造高質量私有模型，提升業(yè)務競爭力與價值？

已收獲近 4 萬 GitHub Star 的 Colossal-AI，發(fā)布開源大模型后訓練工具箱，包含：

• DeepSeek V3/ R1 滿血 671B LoRA 低成本 SFT 微調；
• 完整的強化學習工具鏈 PPO，GRPO，DPO，SimPO 等；
• 無縫適配 DeepSeek 系列蒸餾模型在內的 HuggingFace 開源模型；
• 兼容支持英偉達 GPU、華為昇騰 NPU 等多種硬件；
• 支持混合精度訓練，gradient checkpoint 等訓練加速降低成本；
• 靈活的訓練配置接口，支持自定義獎勵函數(shù)、損失函數(shù)等；
• 提供靈活的并行策略配置接口，包括數(shù)據(jù)并行、模型并行、專家并行、ZeRO 和 Offload 等，以適應不同硬件規(guī)模。

開源地址：https://github.com/hpcaitech/ColossalAI

低成本監(jiān)督微調滿血版 DeepSeek V3/R1 671B

DeepSeek V3/R1 滿血版參數(shù)高達 6710 億，如何低成本進行低成本微調呢？僅需以下幾個步驟，即可快速完成。

數(shù)據(jù)集準備

該腳本接收 JSONL 格式的文件作為輸入數(shù)據(jù)集，例如 https://github.com/hpcaitech/ColossalAI/blob/main/applications/ColossalChat/examples/training_scripts/lora_sft_data.jsonl。數(shù)據(jù)集的每一行應為一個聊天對話列表。例如：

[{"role": "user", "content": "你好，最近怎么樣？"}, {"role": "assistant", "content": "我很好。今天有什么可以幫你的嗎？"}]

[{"role": "user", "content": "火燒赤壁 曹操為何不撥打 119 求救？"}, {"role": "assistant", "content": "因為在三國時期，還沒有電話和現(xiàn)代的消防系統(tǒng)，所以曹操無法撥打 119 求救。"}]

該數(shù)據(jù)格式，兼容 Huggingface chat template，支持自定義 system prompt，因此可靈活按需配置。

模型權重準備

為保證更好的微調效果，使用 BF16 權重進行微調。

如果已下載了 FP8 的 DeepSeek V3/R1 權重，可以使用 DeepSeek 官方腳本 https://github.com/deepseek-ai/DeepSeek-V3/blob/main/inference/fp8_cast_bf16.py 通過 GPU 將權重轉換為 BF16。

對于使用國產(chǎn)華為昇騰算力，可以下載 https://gitee.com/ascend/ModelZoo-PyTorch/blob/master/MindIE/LLM/DeepSeek/DeepSeek-V2/NPU_inference/fp8_cast_bf16.py 腳本轉換權重。

使用方法

在準備好數(shù)據(jù)集和模型權重后，可使用 Colossal-AI 提供的一鍵啟動腳本 https://github.com/hpcaitech/ColossalAI/blob/main/applications/ColossalChat/examples/training_scripts/lora_finetune.py

該腳本與常見 SFT 腳本類似，且完全兼容 HuggingFace PEFT，啟動命令：

colossalai run --hostfile path-to-host-file --nprocpernode 8 lorafinetune.py --pretrained path-to-DeepSeek-R1-bf16 --dataset path-to-dataset.jsonl --plugin moe --lr 2e-5 --maxlength 256 -g --ep 8 --pp 3 --batchsize 24 --lorarank 8 --loraalpha 16 --numepochs 2 --warmupsteps 8 --tensorboarddir logs --save_dir DeepSeek-R1-bf16-lora

有關每個參數(shù)的更多詳細信息，可以運行 python lora_finetune.py --help 查看。該腳本可通過 tensorboard 記錄學習率、loss、grad norm 信息，方便對訓練進行監(jiān)控。

使用 LoRA 優(yōu)化硬件資源消耗

通過使用 LoRA 等優(yōu)化，示例命令已將 SFT DeepSeek V3/R1 671B 最低硬件要求降低近 10 倍，可使用 32 個 Ascend 910B NPU 64GB（使用 ep=8,pp=4）或 24 個 H100/H800 GPU（使用 ep=8,pp=3）。如果你通過 --zero_cpu_offload 啟用 CPU offload，硬件要求可以進一步降低，但會損失一定的訓練速度。

如下圖驗證，在 SFT DeepSeek V3/R1 671B 時，Loss 可以順利降低：

對于資金充裕的開發(fā)團隊，也可以使用上述腳本，將并行度高效擴展至數(shù)百及數(shù)千卡，快速完成 DeepSeek V3/R1 671B 全參微調或并行加速。

對于預算有限，又想借助強化學習構建自己的類 DeepSeek R1 模型， Colossal-AI 也提供了解決方案，并利用小模型對算法進行了驗證。

通過強化學習微調蒸餾版 DeepSeek

Colossal-AI 團隊驗證并實現(xiàn)了 DeepSeek 論文中的 GRPO 算法及 verifiable reward，使用 Qwen2.5-3B-Base 模型進行了實驗。其中，獎勵的設計如下：

1. 獎勵 = 0，如果格式是正確的；

2. 獎勵 = 1， 如果格式是正確的但是結果是錯誤的；

3. 獎勵 = 10，如果格式與結果都是正確的。

Colossal-AI 團隊以 Qwen2.5-3B-Base 模型為例，提供了用于驗證 GRPO 的對話模板及設定（https://github.com/hpcaitech/ColossalAI/blob/main/applications/ColossalChat/conversation_template/Qwen_Qwen2.5-3B.json），通過配置以下 bash 文件，即可一鍵啟動：

https://github.com/hpcaitech/ColossalAI/blob/main/applications/ColossalChat/examples/training_scripts/train_grpo.sh

同時，在 GRPO 章節(jié)，Colossal-AI 團隊還提供了驗證過程中的部分發(fā)現(xiàn)及各種參數(shù)的詳細描述，可供參考。 

代碼中設計了可靈活配置獎勵函數(shù)的模板，因此，用戶可根據(jù)自己的具體情況設計自己的獎勵函數(shù)體系。

由下圖可以看到，即使是 3B 的模型，平均獎勵與模型回復長度隨著時間逐步增長。

隨著訓練的進行，我們可以看到一些有意思的例子。例如隨著訓練迭代，模型開始了自我糾正：

Colossal-AI：最佳后訓練工具箱

Colossal-AI 在深耕大模型預訓練降本增效的基礎上，致力于進一步成為開發(fā)者開箱即用的最佳后訓練工具，幫助用戶基于開源模型，低成本快速構建私有模型。

開源地址：https://github.com/hpcaitech/ColossalAI