DeepSeek滿血微調秘籍開源！站在巨人肩膀打造私有模型，一手教程在此
DeepSeek爆火甚至引發API低價內卷……
但是別忘了開源模型的最大好處是提供了“巨人的肩膀”啊！
微調DeepSeek-V3/R1，低成本打造高質量私有模型、提高業務競爭力，或許才是當下行業內更迫切的需求。
就在剛剛，已收獲近4萬GitHub StarColossal-AI發布開源大模型后訓練工具箱，它包含：
- DeepSeek-V3/R1滿血671B LoRA低成本SFT微調；
- 完整的強化學習工具鏈PPO、GRPO、DPO、SimPO等；
- 無縫適配DeepSeek系列蒸餾模型在內的HuggingFace開源模型；
- 兼容支持英偉達GPU、華為昇騰NPU等多種硬件；
- 支持混合精度訓練，gradient checkpoint等訓練加速降低成本；
- 靈活的訓練配置接口，支持自定義獎勵函數、損失函數等；
- 提供靈活的并行策略配置接口，包括數據并行、模型并行、專家并行、ZeRO和Offload等，以適應不同硬件規模。
開源地址：https://github.com/hpcaitech/ColossalAI
低成本監督微調滿血版DeepSeek-V3/R1-671B
6710億參數規模的DeepSeek-V3/R1低成本微調，僅需以下幾步，即可快速完成。
數據集準備
該腳本接收JSONL格式的文件作為輸入數據集，例如：
https://github.com/hpcaitech/ColossalAI/blob/main/applications/ColossalChat/examples/training_scripts/lora_sft_data.jsonl。
數據集的每一行應為一個聊天對話列表。例如：
[{“role”: “user”, “content”: “你好，最近怎么樣？”}, {“role”: “assistant”, “content”: “我很好。今天有什么可以幫你的嗎？”}] |
[{“role”: “user”, “content”: “火燒赤壁 曹操為何不撥打119求救？”}, {“role”: “assistant”, “content”: “因為在三國時期，還沒有電話和現代的消防系統，所以曹操無法撥打119求救。”}] |
該數據格式，兼容Huggingface chat template，支持自定義system prompt，因此可靈活按需配置。
模型權重準備
為保證更好的微調效果，使用BF16權重進行微調。
如果已下載了FP8的DeepSeek-V3/R1權重，可以使用DeepSeek官方腳本https://github.com/deepseek-ai/DeepSeek-V3/blob/main/inference/fp8_cast_bf16.py通過GPU將權重轉換為BF16。
對于使用國產華為昇騰算力，可以下載https://gitee.com/ascend/ModelZoo-PyTorch/blob/master/MindIE/LLM/DeepSeek/DeepSeek-V2/NPU_inference/fp8_cast_bf16.py腳本轉換權重。
使用方法
在準備好數據集和模型權重后，可使用Colossal-AI 提供的一鍵啟動腳本https://github.com/hpcaitech/ColossalAI/blob/main/applications/ColossalChat/examples/training_scripts/lora_finetune.py。
該腳本與常見SFT腳本類似，且完全兼容HuggingFace PEFT，啟動命令：
colossalai run —hostfile path-to-host-file —nproc_per_node 8 lora_finetune.py —pretrained path-to-DeepSeek-R1-bf16 —dataset path-to-dataset.jsonl —plugin moe —lr 2e-5 —max_length 256 -g —ep 8 —pp 3 —batch_size 24 —lora_rank 8 —lora_alpha 16 —num_epochs 2 —warmup_steps 8 —tensorboard_dir logs —save_dir DeepSeek-R1-bf16-lora有關每個參數的更多詳細信息，可以運行python lora_finetune.py—help查看。該腳本可通過tensorboard記錄學習率、loss、grad norm信息，方便對訓練進行監控。
使用LoRA優化硬件資源消耗
通過使用LoRA等優化，示例命令已將SFT DeepSeek-V3/R1-671B最低硬件要求降低近10倍，可使用32個Ascend 910B NPU 64GB（使用 ep=8,pp=4）或24個H100/H800 GPU（使用 ep=8,pp=3）。如果你通過—zero_cpu_offload啟用CPU offload，硬件要求可以進一步降低，但會損失一定的訓練速度。
如下圖驗證，在SFT DeepSeek V3/R1 671B時，Loss 可以順利降低。
對于資金充裕的開發團隊，也可以使用上述腳本，將并行度高效擴展至數百及數千卡，快速完成DeepSeek-V3/R1-671B全參微調或并行加速。
對于預算有限，又想借助強化學習構建自己的類DeepSeek-R1模型， Colossal-AI也提供了解決方案，并利用小模型對算法進行了驗證。
通過強化學習微調蒸餾版DeepSeek
Colossal-AI團隊驗證并實現了DeepSeek論文中的GRPO算法及verifiable reward，使用Qwen2.5-3B-Base模型進行了實驗。其中，獎勵的設計如下：
- 獎勵=0，如果格式是正確的；
- 獎勵=1， 如果格式是正確的但是結果是錯誤的；
- 獎勵=10，如果格式與結果都是正確的。
Colossal-AI團隊以Qwen2.5-3B-Base模型為例，提供了用于驗證GRPO的對話模板及設定
（https://github.com/hpcaitech/ColossalAI/blob/main/applications/ColossalChat/conversation_template/Qwen_Qwen2.5-3B.json），通過配置以下bash 文件，即可一鍵啟動：
https://github.com/hpcaitech/ColossalAI/blob/main/applications/ColossalChat/examples/training_scripts/train_grpo.sh
同時，在GRPO章節，Colossal-AI團隊還提供了驗證過程中的部分發現及各種參數的詳細描述，可供參考。
代碼中設計了可靈活配置獎勵函數的模板，因此，用戶可根據自己的具體情況設計自己的獎勵函數體系。
由下圖可以看到，即使是3B的模型，平均獎勵與模型回復長度隨著時間逐步增長。
隨著訓練的進行，我們可以看到一些有意思的例子。例如隨著訓練迭代，模型開始了自我糾正：
Colossal-AI：最佳后訓練工具箱
Colossal-AI在深耕大模型預訓練降本增效的基礎上，致力于進一步成為開發者開箱即用的最佳后訓練工具，幫助用戶基于開源模型，低成本快速構建私有模型。
開源地址：https://github.com/hpcaitech/ColossalAI
