DeepSeek V3+R1滿血微調工具上線！一鍵啟動，硬件要求降10倍

作者：機器之心 2025-02-19 12:40:54

人工智能新聞

如何站在巨人肩膀上，通過后訓練（post-training）結合專業領域數據，低成本打造高質量私有模型，提升業務競爭力與價值？

DeepSeek V3/ R1 火爆全網，基于原始模型的解決方案和 API 服務已隨處可見，陷入低價和免費內卷。

如何站在巨人肩膀上，通過后訓練（post-training）結合專業領域數據，低成本打造高質量私有模型，提升業務競爭力與價值？

已收獲近 4 萬 GitHub Star 的 Colossal-AI，發布開源大模型后訓練工具箱，包含：

DeepSeek V3/ R1 滿血 671B LoRA 低成本 SFT 微調；
完整的強化學習工具鏈 PPO，GRPO，DPO，SimPO 等；
無縫適配 DeepSeek 系列蒸餾模型在內的 HuggingFace 開源模型；
兼容支持英偉達 GPU、華為昇騰 NPU 等多種硬件；
支持混合精度訓練，gradient checkpoint 等訓練加速降低成本；
靈活的訓練配置接口，支持自定義獎勵函數、損失函數等；
提供靈活的并行策略配置接口，包括數據并行、模型并行、專家并行、ZeRO 和 Offload 等，以適應不同硬件規模。

開源地址：https://github.com/hpcaitech/ColossalAI

低成本監督微調滿血版 DeepSeek V3/R1 671B

DeepSeek V3/R1 滿血版參數高達 6710 億，如何低成本進行低成本微調呢？僅需以下幾個步驟，即可快速完成。

數據集準備

該腳本接收 JSONL 格式的文件作為輸入數據集，例如 https://github.com/hpcaitech/ColossalAI/blob/main/applications/ColossalChat/examples/training_scripts/lora_sft_data.jsonl。數據集的每一行應為一個聊天對話列表。例如：

[{"role": "user", "content": "你好，最近怎么樣？"}, {"role": "assistant", "content": "我很好。今天有什么可以幫你的嗎？"}]

[{"role": "user", "content": "火燒赤壁曹操為何不撥打 119 求救？"}, {"role": "assistant", "content": "因為在三國時期，還沒有電話和現代的消防系統，所以曹操無法撥打 119 求救。"}]

該數據格式，兼容 Huggingface chat template，支持自定義 system prompt，因此可靈活按需配置。

模型權重準備

為保證更好的微調效果，使用 BF16 權重進行微調。

如果已下載了 FP8 的 DeepSeek V3/R1 權重，可以使用 DeepSeek 官方腳本 https://github.com/deepseek-ai/DeepSeek-V3/blob/main/inference/fp8_cast_bf16.py 通過 GPU 將權重轉換為 BF16。

對于使用國產華為昇騰算力，可以下載 https://gitee.com/ascend/ModelZoo-PyTorch/blob/master/MindIE/LLM/DeepSeek/DeepSeek-V2/NPU_inference/fp8_cast_bf16.py 腳本轉換權重。

使用方法

在準備好數據集和模型權重后，可使用 Colossal-AI 提供的一鍵啟動腳本 https://github.com/hpcaitech/ColossalAI/blob/main/applications/ColossalChat/examples/training_scripts/lora_finetune.py

該腳本與常見 SFT 腳本類似，且完全兼容 HuggingFace PEFT，啟動命令：

colossalai run --hostfile path-to-host-file --nprocpernode 8 lorafinetune.py --pretrained path-to-DeepSeek-R1-bf16 --dataset path-to-dataset.jsonl --plugin moe --lr 2e-5 --maxlength 256 -g --ep 8 --pp 3 --batchsize 24 --lorarank 8 --loraalpha 16 --numepochs 2 --warmupsteps 8 --tensorboarddir logs --save_dir DeepSeek-R1-bf16-lora

有關每個參數的更多詳細信息，可以運行 python lora_finetune.py --help 查看。該腳本可通過 tensorboard 記錄學習率、loss、grad norm 信息，方便對訓練進行監控。

使用 LoRA 優化硬件資源消耗

通過使用 LoRA 等優化，示例命令已將 SFT DeepSeek V3/R1 671B 最低硬件要求降低近 10 倍，可使用 32 個 Ascend 910B NPU 64GB（使用 ep=8,pp=4）或 24 個 H100/H800 GPU（使用 ep=8,pp=3）。如果你通過 --zero_cpu_offload 啟用 CPU offload，硬件要求可以進一步降低，但會損失一定的訓練速度。

如下圖驗證，在 SFT DeepSeek V3/R1 671B 時，Loss 可以順利降低：

對于資金充裕的開發團隊，也可以使用上述腳本，將并行度高效擴展至數百及數千卡，快速完成 DeepSeek V3/R1 671B 全參微調或并行加速。

對于預算有限，又想借助強化學習構建自己的類 DeepSeek R1 模型， Colossal-AI 也提供了解決方案，并利用小模型對算法進行了驗證。

通過強化學習微調蒸餾版 DeepSeek

Colossal-AI 團隊驗證并實現了 DeepSeek 論文中的 GRPO 算法及 verifiable reward，使用 Qwen2.5-3B-Base 模型進行了實驗。其中，獎勵的設計如下：

1. 獎勵 = 0，如果格式是正確的；

2. 獎勵 = 1，如果格式是正確的但是結果是錯誤的；

3. 獎勵 = 10，如果格式與結果都是正確的。

Colossal-AI 團隊以 Qwen2.5-3B-Base 模型為例，提供了用于驗證 GRPO 的對話模板及設定（https://github.com/hpcaitech/ColossalAI/blob/main/applications/ColossalChat/conversation_template/Qwen_Qwen2.5-3B.json），通過配置以下 bash 文件，即可一鍵啟動：

https://github.com/hpcaitech/ColossalAI/blob/main/applications/ColossalChat/examples/training_scripts/train_grpo.sh

同時，在 GRPO 章節，Colossal-AI 團隊還提供了驗證過程中的部分發現及各種參數的詳細描述，可供參考。

代碼中設計了可靈活配置獎勵函數的模板，因此，用戶可根據自己的具體情況設計自己的獎勵函數體系。

由下圖可以看到，即使是 3B 的模型，平均獎勵與模型回復長度隨著時間逐步增長。