DeepSeek定制訓練：微調與推理技術應用
本文檔描述了如何在MAC筆記本上對DeepSeek-R1-Distill-Llama-1.5BQwen架構?進行高效微調，使用**?transformers進行數據處理，并結合LoRA技術進行模型微調，使用WandB監控訓練過程，ModelScope下載模型。
一. 前言介紹
本文內容：
- 模型加載與預處理：詳細講解如何加載預訓練模型、分詞器，并處理輸入數據集。
- LoRA配置：介紹如何使用LoRA技術配置模型，并高效進行微調，節省計算資源。
- 訓練過程：展示了如何配置訓練參數，使用SFTTrainer進行訓練，并通過WandB記錄訓練日志。
- 模型保存與評估：如何保存微調后的模型，以及如何通過合適的評估集對模型進行驗證。
- 模型合并：展示了如何通過加權平均的方式合并多個模型權重，得到一個更強大的模型。
1.1 項目背景
本文檔描述了如何在MAC筆記本上對DeepSeek-R1-Distill-Llama-1.5BQwen架構 進行高效微調，使用** transformers進行數據處理，并結合LoRA技術進行模型微調，使用WandB監控訓練過程，ModelScope下載模型。（訓練數據量大約2w條左右）
- 由于為MAC筆記本本地訓練 無顯卡支持 故而放棄（DeepSeek-R1-Distill-Qwen-7B Q wen）
下載的服務信息如下：
安裝服務 | 版本名稱 | 作用 |
Unsloth | 用于數據處理和模型微調。 | |
Transformers | Hugging Face 提供的模型庫，用于加載和微調 DeepSeek-R1。 | |
WandB | 用于訓練過程的實時監控和可視化。 | |
LoRA | 用于微調的低秩適應技術。 | |
ModelScope | 用于下載 DeepSeek-R1-8b 模型。 | |
python3.11 | Python 3.11 | 用于執行 Python 腳本和訓練任務。 |
1.2 LoRA和 QLoRA 簡介
以下是 LoRA 和 QLoRA 的區別表格：
特性 | LoRA (Low-Rank Adaptation) | QLoRA (Quantized LoRA) |
核心原理 | 通過低秩矩陣分解減少需要調整的參數量 | 在 LoRA 的基礎上結合量化技術，進一步減少存儲和計算需求 |
主要優點 | 降低訓練時需要調整的參數數量，提高微調效率 | 除了低秩矩陣，還通過量化減少內存占用，適用于資源有限的環境 |
存儲需求 | 較低，但不如 QLoRA 節省內存 | 顯著減少內存使用，適合在內存受限的設備上使用 |
計算效率 | 提高訓練效率，減少計算資源消耗 | 量化后的低精度計算進一步提高了計算效率，降低了開銷 |
適用場景 | 計算資源有限但不需要極限壓縮的場景 | 內存和計算資源極其有限的環境，特別是在邊緣設備上使用 |
適用硬件 | 適用于大多數硬件設備，尤其是高性能計算環境 | 特別適合內存有限的硬件，如邊緣設備、低內存服務器等 |
1.3 LLaMA 架構和 Qwen 架構
特性 | LLaMA 架構 | Qwen 架構 |
開發者 | Meta（Facebook） | 深度求索（DeepSeek） |
設計目標 | 高效、輕量化 | 中文優化、多語言支持 |
參數量 | 7B、13B、33B、65B 等 | 7B、14B 等 |
開源情況 | 開源 | 部分開源或未完全公開 |
適用場景 | 資源有限的環境 | 中文任務、多語言任務 |
LLaMA 架構
- 全稱：Large Language Model Meta AI（LLaMA）
- 開發者：由 Meta（原 Facebook）開發。
- 特點：
a.高效性：LLaMA 旨在以較少的參數量實現高性能，專注于優化計算效率。
b.輕量化：模型參數量相對較小（如 7B、13B、33B、65B），但通過高質量數據和訓練方法，性能接近甚至超越更大的模型。
c.開源：Meta 發布了 LLaMA 的權重和代碼，供研究社區使用。
- 應用場景：
a.適合資源有限的環境，如本地部署或移動設備。
b.適用于各種 NLP 任務，尤其是在生成、問答、文本分類等任務中，具有較好的性能和效率。
Qwen 架構
- 開發者：由中國的深度求索（DeepSeek）團隊開發。
- 特點：
a.定制化設計：Qwen 可能是針對中文或特定任務優化的架構，具體細節未完全公開。
b.多語言支持：Qwen 系列模型通常對中文有較好的支持，同時在英文和多語言任務上也有不錯的表現。
c.參數量靈活：Qwen 系列包括不同規模的模型（如 7B、14B 等），適合不同場景。
- 應用場景：
Qwen 適用于文本生成、自動化內容創作、對話系統、語音合成等任務。
二. 環境準備
2.1 Unsloth 安裝（顯卡版本-暫時不用）
- Unsloth 是一個用于數據處理和模型微調的工具。您可以通過以下命令安裝：
- MAC不試用，需要顯卡
##官網：https://github.com/unslothai/unsloth
#01 創建項目，并設置python虛擬環境，python3.11版本
#02 安裝 unsloth（cpu版本）
brew install llvm（Homebrew clang version 19.1.7）
echo 'export PATH="/opt/homebrew/opt/llvm/bin:$PATH"' >> ~/.zshrc
source ~/.zshrc
pip install torch
pip install numpy
pip install"unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git"
#03 版本檢查
python -c "import torch; print(torch.__version__)"
2.6.0
#04 引用
from unsloth import FastLanguageModel安裝完成后，您可以使用 Unsloth 進行數據的預處理、加載和微調模型。
- 暫時不使用
#01 linux 服務建議使用docker
#02 拉取鏡像
docker pull modelscope-registry.us-west-1.cr.aliyuncs.com/modelscope-repo/modelscope:ubuntu22.04-py310-torch2.3.1-1.22.2
#03 啟動2.2 創建Python項目
#01 環境是python3.11
#02 項目目錄
Unsloth-DeepSeek-R1-8b/
├── data/ # 存放訓練數據、驗證數據等
│ ├── raw/ # 原始數據
│ └── processed/ # 預處理后的數據
│
├── models/ # 存放模型文件
│ ├── checkpoints/ # 存儲訓練過程中的模型檢查點
│ └── final_model/ # 存儲最終微調后的模型
│
├── scripts/ # 存放訓練腳本、數據處理腳本等
│ ├── train.py # 訓練腳本
│ ├── data_preprocessing.py# 數據預處理腳本
│ └── evaluate.py # 評估腳本
│
├── logs/ # 存放訓練日志文件
│ └── training_logs.txt # 訓練過程中的日志
│
├── wandb/ # 存放 wandb 相關的配置和記錄
│ └── wandb_config.py # wandb 配置文件
│
├── environment/ # 環境配置文件
│ ├── requirements.txt # 項目的 Python 依賴
│ └── environment.yml # 如果使用 Conda，可以創建一個環境配置文件
│
├── main.py # 主運行文件，啟動訓練或其他任務
└── README.md # 項目的描述文件，包含如何使用和運行的說明
#03 創建目錄
# 創建子目錄
mkdir -p data/raw
mkdir -p data/processed
mkdir -p models/checkpoints
mkdir -p models/final_model
mkdir -p scripts
mkdir -p logs
mkdir -p wandb
mkdir -p environment
# 創建文件
touch scripts/train.py
touch scripts/data_preprocessing.py
touch scripts/evaluate.py
touch logs/training_logs.txt
touch wandb/wandb_config.py
touch environment/requirements.txt
touch environment/environment.yml
touch main.py
touch README.md2.3 python 依賴庫
#03 安裝即可
pip install torch==2.6.0 transformers datasets
#03 更新證書(后續如果有pip網站使用https 會驗證該證書)
/Applications/Python\ 3.11/Install\ Certificates.command2.4 LoRA peft 安裝
LoRA 和 PEFT 的安裝：
- LoRA 和 PEFT 是用于高效微調的技術。如果你想在 Mac 上使用這些技術來微調 DeepSeek 模型，你需要安裝相關的依賴項。
- PEFT 包含了 LoRA 的實現，并且它使得你能夠通過修改模型的一部分參數來進行高效微調，從而不需要調整整個模型的權重。
#01 安裝 peft
pip install peft2.5 WandB 設置
WandB 是一個用于訓練過程實時監控和可視化的工具。您可以通過以下步驟設置 WandB：
- 注冊并登錄 WandB官網。
- 獲取您的 API 密鑰并配置環境變量：
#01 aipkey (本人谷歌郵箱)
#02 命令
pip install wandb
wandb login
#02 運行文件
import wandb # 導入 wandb 庫，用于跟蹤和可視化實驗
import random # 導入 random 庫，用于生成隨機數
# 開始一個新的 wandb 運行來跟蹤當前腳本
wandb.init(
# 設置 wandb 項目，所有與該運行相關的數據將被記錄到這個項目中
project="my-awesome-project", # 項目名稱，你可以在 wandb 儀表盤中看到這個項目
# 追蹤超參數和運行的元數據
config={
"learning_rate": 0.02, # 設置學習率
"architecture": "CNN", # 模型架構（這里是卷積神經網絡）
"dataset": "CIFAR-100", # 使用的數據集（這里是 CIFAR-100 數據集）
"epochs": 10, # 訓練的輪數
}
)
# 模擬訓練過程
epochs = 10# 總訓練輪數
offset = random.random() / 5# 生成一個小的隨機偏移量，用于模擬訓練過程中一些不確定性
# 開始訓練循環，模擬 2 到 10 輪的訓練過程
for epoch inrange(2, epochs): # 從第二輪開始，到第 10 輪結束
# 模擬準確率的變化，隨著 epoch 的增加，準確率逐漸提升
acc = 1 - 2 ** -epoch - random.random() / epoch - offset
# 模擬損失的變化，隨著 epoch 的增加，損失逐漸減少
loss = 2 ** -epoch + random.random() / epoch + offset
# 使用 wandb 記錄每一輪的準確率（acc）和損失值（loss）
wandb.log({"acc": acc, "loss": loss})
# [可選] 結束 wandb 運行，確保數據被正確上傳并完成記錄
wandb.finish()2.6 modelscope pull 模型
#01 安裝modelscope
pip install modelscope
#02 下載模型文件
mkdir -p ./models/DeepSeek-R1-Distill-Llama-8B
mkdir -p ./models/DeepSeek-R1-Distill-Qwen-1.5B
mkdir -p ./models/DeepSeek-R1-Distill-Qwen-7B
modelscope download --model deepseek-ai/DeepSeek-R1-Distill-Llama-8B --local_dir ./models/DeepSeek-R1-Distill-Llama-8B
modelscope download --model deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B --local_dir ./models/DeepSeek-R1-Distill-Qwen-1.5B
modelscope download --model deepseek-ai/DeepSeek-R1-Distill-Qwen-7B --local_dir ./models/DeepSeek-R1-Distill-Qwen-7B
modelscope download --model deepseek-ai/DeepSeek-R1-Distill-Llama-8B --local_dir ./DeepSeek-R1-Distill-Llama-8B2.7 測試模型使用
"""
訓練前詢問問題：
皮質醇增多癥患者在血漿ACTH明顯升高且大劑量地塞米松抑制試驗陽性的情況下，應考慮哪種疾病？
訓練后再次詢問：
scripts/test_inference.py
"""
import os
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
# 獲取當前腳本的路徑
current_dir = os.path.dirname(__file__)
# 拼接模型和分詞器路徑
model_dir = os.path.join(current_dir, '..', 'models', 'DeepSeek-R1-Distill-Qwen-1.5B')
# 打印路徑確認
print(f"Model path: {model_dir}")
# 確保模型和分詞器的路徑存在
ifnot os.path.exists(model_dir):
raise ValueError(f"Model directory does not exist at {model_dir}")
else:
print("Model directory exists, proceeding with loading.")
# 加載模型和分詞器
print("Loading model and tokenizer...")
model = AutoModelForCausalLM.from_pretrained(model_dir)
tokenizer = AutoTokenizer.from_pretrained(model_dir)
# 打印模型和分詞器的配置信息
print(f"Model config: {model.config}")
print(f"Tokenizer config: {tokenizer}")
# 輸入中文文本
input_text = "皮質醇增多癥患者在血漿ACTH明顯升高且大劑量地塞米松抑制試驗陽性的情況下，應考慮哪種疾病？"
print(f"User input: {input_text}")
# 結構化的 prompt
prompt_style_chat = f"""請寫出一個恰當的回答來完成當前對話任務。
### Instruction:
你是一名助人為樂的助手。
### Question:
{input_text}
### Response:
<think>"""
# 使用分詞器處理輸入文本
inputs = tokenizer(prompt_style_chat, return_tensors="pt", padding=True, truncation=True, max_length=512)
# 打印 tokenized 輸入
print(f"Tokenized input: {inputs}")
# 打印輸入形狀
print(f"Input shape: {inputs['input_ids'].shape}")
# 打印模型的最大長度
print(f"Model max length: {model.config.max_position_embeddings}")
# 將模型移至正確的設備（使用 GPU 如果可用）
device = "cuda"if torch.cuda.is_available() else"cpu"
model.to(device)
# 打印設備信息
print(f"Using device: {device}")
# 打印分詞器的 pad_token_id
pad_token_id = tokenizer.pad_token_id if tokenizer.pad_token_id isnotNoneelse model.config.pad_token_id
print(f"Using pad_token_id: {pad_token_id}")
# 生成模型輸出
print("Generating response...")
# 使用 max_new_tokens 來控制生成長度
with torch.no_grad(): # 禁用梯度計算，節省內存
try:
print("Calling model.generate()...")
outputs = model.generate(
inputs['input_ids'].to(device),
attention_mask=inputs['attention_mask'].to(device),
max_new_tokens=1200, # 設置最大生成的 token 數量
temperature=1.0,
top_p=0.9,
pad_token_id=pad_token_id
)
print("Model.generate() completed.")
except Exception as e:
print(f"Error generating response: {e}")
raise
# 打印生成的輸出 ID 和它們的形狀
print(f"Generated output IDs: {outputs}")
print(f"Shape of generated output: {outputs.shape}")
# 解碼生成的輸出文本
try:
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(f"Generated response: {response}")
except Exception as e:
print(f"Error decoding output: {e}")- 問題回答
User input:皮質醇增多癥患者在血漿ACTH明顯升高且大劑量地塞米松抑制試驗陽性的情況下，應考慮哪種疾病？
Tokenized input: {'input_ids':tensor([[151646, 14880, 112672, 46944, 112449, 111423, 36407, 60548, 67949,
105051, 88802, 3407, 14374, 29051, 510, 56568, 110124, 99262,
103247, 99350, 9370, 110498, 3407, 14374, 15846, 510, 99888,
99178, 103032, 107284, 99769, 101924, 18493, 99389, 101498, 6823,
39, 100687, 109061, 100136, 26288, 114786, 29490, 101202, 72261,
100180, 106555, 102360, 112758, 104248, 3837, 50511, 101118, 113195,
101160, 26850, 14374, 5949, 510, 151648]]), 'attention_mask':tensor([[1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1]])}
Input shape:torch.Size([1,60])
Model max length:131072
Using device:cpu
Using pad_token_id:151643
Generatingresponse...
Callingmodel.generate()...
Model.generate()completed.
Generated response:請寫出一個恰當的回答來完成當前對話任務。
### Instruction:
你是一名助人為樂的助手。
### Question:
皮質醇增多癥患者在血漿ACTH明顯升高且大劑量地塞米松抑制試驗陽性的情況下，應考慮哪種疾病？
### Response:
<think>
好的，我現在需要仔細分析這個問題并給出一個合適的回答。首先，問題描述的是皮質醇增多癥（PHT）患者在血漿ACTH明顯升高且大劑量地塞米松抑制試驗（SSDS）顯示陽性的情況下，應考慮哪種疾病。
首先，我記得皮質醇增多癥是由于皮質醇分泌異常導致，通常由代謝紊亂或神經退行性疾病引起，比如皮質醇過激釋放癥、皮質醇過激釋放性代謝綜合征等。通常，患者可能表現出皮質醇水平升高，血漿ACTH顯著升高，這符合題意的第一個條件。
接下來，第二個條件是SSDS試驗陽性。SSDS試驗主要用于檢測皮質醇釋放的細胞因子，比如PD-L1，這些因子在疾病早期有顯著的表觀變化。皮質醇增多癥患者的皮質醇釋放確實受阻，導致細胞因子釋放減少，這在SSDS中會被檢測出來，所以這種情況屬于皮質醇增多癥。
綜合這兩個條件，患者的血漿ACTH升高和SSDS陽性，符合皮質醇增多癥的特征。因此，這種情況下應考慮的是皮質醇增多癥。
我需要確保我沒有遺漏其他可能導致SSDS試驗陽性的情況。比如，是否有一些其他類型的疾病，比如胰島素素合成障礙或胰島素缺乏，也會影響皮質醇釋放？不過，這些更可能是胰島素素合成障礙，而不是直接由皮質醇釋放受阻引起的。皮質醇增多癥通常是由于皮質醇釋放異常，因此SSDS陽性更直接與皮質醇釋放受阻相關。
此外，ACTH升高可能與皮質醇增多癥不同，而更可能是由于激素分泌過量或其他激素調節問題。因此，ACTH升高的信號應該更多指向皮質醇增多癥。
綜上所述，這種情況下應該考慮的疾病是皮質醇增多癥。
</think>
應考慮皮質醇增多癥（PantoprazolidonePhenomenon）。
因為：
1.血漿ACTH顯著升高，符合皮質醇增多癥的特征。
2.SSDS試驗陽性，表明皮質醇釋放受阻，屬于皮質醇增多癥的表現。三. 訓練數據數據
3.1 準備數據集
#01 我們使用COT格式 醫學領域 medical-o1-reasoning-SFT 數據集
https://huggingface.co/datasets/FreedomIntelligence/medical-o1-reasoning-SFT
#02 b本地導入方式（）
from datasets import load_dataset
ds = load_dataset("FreedomIntelligence/medical-o1-reasoning-SFT", "zh")- Hugging face 數據集
- modelscope
#01 使用modelscope 數據集 官網地址
https://www.modelscope.cn/datasets/YIRONGCHEN/PsyDTCorpus/files
#02 下載完整數據集repo
modelscope download --dataset YIRONGCHEN/PsyDTCorpus --local_dir ./dir
#03 下載單個文件到指定本地文件夾（以下載README.md到當前路徑下“dir”目錄為例）
modelscope download --dataset YIRONGCHEN/PsyDTCorpus README.md --local_dir ./dir3.2 數據清洗
#01 用于對medical-o1-reasoning-SFT數據集進行修改，Complex_CoT列和Response列進行拼接，并加上文本結束標記：
defformatting_prompts_func(examples, EOS_TOKEN):
"""
格式化數據集中的每個示例，使其符合訓練的要求。
Args:
examples (dict): 數據集中的輸入示例
EOS_TOKEN (str): 結束符
Returns:
dict: 格式化后的文本數據
"""
train_prompt_style = """Below is an instruction that describes a task, paired with an input that provides further context.
Write a response that appropriately completes the request.
Before answering, think carefully about the question and create a step-by-step chain of thoughts to ensure a logical and accurate response.
### Instruction:
You are a medical expert with advanced knowledge in clinical reasoning, diagnostics, and treatment planning.
Please answer the following medical question.
### Question:
{}
### Response:
<think>
{}
</think>
{}"""
inputs = examples["Question"]
cots = examples["Complex_CoT"]
outputs = examples["Response"]
texts = []
forinput, cot, output inzip(inputs, cots, outputs):
text = train_prompt_style.format(input, cot, output) + EOS_TOKEN
texts.append(text)
return {"text": texts}
"""
問題（{}） 被嵌套到 ### Question: 下面，替換掉 {}。
推理過程（{}） 被嵌套到 <think></think> 標簽內，替換掉第二個 {}。
答案（{}） 被嵌套到模板的最后，替換掉第三個 {}。
具體替換流程：
{} 第一個位置將會被每個樣本中的問題（examples["Question"]）替換。
{} 第二個位置將會被每個樣本中的推理過程（examples["Complex_CoT"]）替換。
{} 第三個位置將會被每個樣本中的答案（examples["Response"]）替換。
例如，如果輸入數據如下：
問題（Question）: "What is the cause of fever?"
推理過程（Complex_CoT）: "Fever is usually caused by an infection or inflammation. We need to identify the source."
答案（Response）: "The most common causes of fever are bacterial or viral infections."
"""- 原數據格式
{
"Question": [
"What is the cause of headache?",
"How do you treat a cold?"
],
"Complex_CoT": [
"The causes of headaches are numerous, including tension, dehydration, or sinus issues.",
"Treating a cold typically involves rest, fluids, and over-the-counter medications for symptoms."
],
"Response": [
"A headache can be caused by stress, lack of sleep, or a sinus infection.",
"For a cold, hydration and rest are key. Medications like ibuprofen can help with symptoms."
]
}- 格式化后數據
{
"text": [
"""Below is an instruction that describes a task, paired with an input that provides further context.
Write a response that appropriately completes the request.
Before answering, think carefully about the question and create a step-by-step chain of thoughts to ensure a logical and accurate response.
### Instruction:
You are a medical expert with advanced knowledge in clinical reasoning, diagnostics, and treatment planning.
Please answer the following medical question.
### Question:
What is the cause of headache?
### Response:
<think>
The causes of headaches are numerous, including tension, dehydration, or sinus issues.
</think>
A headache can be caused by stress, lack of sleep, or a sinus infection. <|endoftext|>
""",
"""Below is an instruction that describes a task, paired with an input that provides further context.
Write a response that appropriately completes the request.
Before answering, think carefully about the question and create a step-by-step chain of thoughts to ensure a logical and accurate response.
### Instruction:
You are a medical expert with advanced knowledge in clinical reasoning, diagnostics, and treatment planning.
Please answer the following medical question.
### Question:
How do you treat a cold?
### Response:
<think>
Treating a cold typically involves rest, fluids, and over-the-counter medications for symptoms.
</think>
For a cold, hydration and rest are key. Medications like ibuprofen can help with symptoms. <|endoftext|>
"""
]
}3.3 訓練數據
- setup_wandb: 配置并登錄到 wandb 進行實驗跟蹤和日志記錄。
- set_paths: 設置根目錄、模型路徑、數據集路徑和保存微調模型的路徑。
- load_model_and_tokenizer: 加載預訓練模型和分詞器，獲取結束符。
- formatting_prompts_func: 格式化數據集中的問題和回答，以便訓練。
- setup_lora: 配置并應用LoRA（低秩適配器）到模型。
- load_dataset_func: 加載數據集并進行切分，返回訓練集和評估集。
- setup_training_args: 設置訓練參數，包括學習率、批處理大小、訓練周期等。
- train_model: 使用 SFTTrainer 進行模型訓練。
- save_model: 保存訓練好的模型到指定路徑。
import os
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, TrainingArguments
from datasets import load_dataset
from peft import get_peft_model, LoraConfig
from trl import SFTTrainer # 使用 SFTTrainer
import wandb
from config import setting
# 設置環境變量，禁用tokenizer的并行化
os.environ["TOKENIZERS_PARALLELISM"] = "false"
# 登錄wandb
defsetup_wandb():
"""
登錄到wandb以便記錄訓練過程中的日志和指標。
"""
wandb.login()
# 設置路徑
defset_paths():
"""
設置項目根目錄、模型路徑、數據集路徑和最終模型保存路徑。
Returns:
model_dir (str): 模型文件路徑
dataset_path (str): 數據集路徑
final_model_dir (str): 微調后模型的保存路徑
"""
root_dir = setting.root_dir # 項目根路徑
model_dir = os.path.join(root_dir, 'models', 'DeepSeek-R1-Distill-Qwen-1.5B') # 模型文件路徑
dataset_path = os.path.join(root_dir, 'data', 'medical-o1-reasoning-SFT') # 數據集路徑
final_model_dir = os.path.join(root_dir, 'models', 'final_model') # 高效微調后模型保存路徑
print(f'設置模型路徑：{model_dir} | 數據集位置：{dataset_path}')
return model_dir, dataset_path, final_model_dir
# 加載模型和分詞器
defload_model_and_tokenizer(model_dir):
"""
加載預訓練模型和對應的分詞器，并獲取結束符（EOS_TOKEN）。
Args:
model_dir (str): 模型的文件路徑
Returns:
model (AutoModelForCausalLM): 加載的模型
tokenizer (AutoTokenizer): 加載的分詞器
EOS_TOKEN (str): 模型的結束符（如果沒有，使用默認值）
"""
print("加載分詞器：Loading model and tokenizer...")
model = AutoModelForCausalLM.from_pretrained(model_dir)
tokenizer = AutoTokenizer.from_pretrained(model_dir)
EOS_TOKEN = tokenizer.eos_token
if EOS_TOKEN isNone:
EOS_TOKEN = "<|endoftext|>"
print(f'結束符：{EOS_TOKEN}')
return model, tokenizer, EOS_TOKEN
# 格式化訓練數據
defformatting_prompts_func(examples, EOS_TOKEN):
"""
格式化數據集中的每個示例，使其符合訓練的要求。
Args:
examples (dict): 數據集中的輸入示例
EOS_TOKEN (str): 結束符
Returns:
dict: 格式化后的文本數據
"""
train_prompt_style = """Below is an instruction that describes a task, paired with an input that provides further context.
Write a response that appropriately completes the request.
Before answering, think carefully about the question and create a step-by-step chain of thoughts to ensure a logical and accurate response.
### Instruction:
You are a medical expert with advanced knowledge in clinical reasoning, diagnostics, and treatment planning.
Please answer the following medical question.
### Question:
{}
### Response:
<think>
{}
</think>
{}"""
inputs = examples["Question"]
cots = examples["Complex_CoT"]
outputs = examples["Response"]
texts = []
forinput, cot, output inzip(inputs, cots, outputs):
text = train_prompt_style.format(input, cot, output) + EOS_TOKEN
texts.append(text)
return {"text": texts}
# 設置LoRA配置
defsetup_lora(model):
"""
設置LoRA（低秩適配器）配置，并將其應用到模型。
Args:
model (AutoModelForCausalLM): 加載的模型
Returns:
model (AutoModelForCausalLM): 應用LoRA后的模型
"""
print("設置LoRA: Setting up LoRA configuration...")
lora_config = LoraConfig(
r=8, # adapter的秩
lora_alpha=32, # 縮放因子
lora_dropout=0.1, # LoRA層的dropout
bias="none", # LoRA的偏置項
)
return get_peft_model(model, lora_config)
# 加載數據集
defload_dataset_func(dataset_path, train_size=100):
"""
從指定路徑加載數據集，訓練集大小為 train_size，評估集為訓練集的10%，但至少為1。
"""
print(f"從 {dataset_path} 加載數據集...")
# 加載數據集
dataset = load_dataset(dataset_path, "en", split="train", trust_remote_code=True)
# 計算評估集大小
eval_size = max(1, int(train_size * 0.1)) # 評估集大小是訓練集的10%，但至少為1
# 切分數據集
train_dataset = dataset.select(range(train_size)) # 使用前 train_size 條作為訓練集
eval_dataset = dataset.select(range(train_size, train_size + eval_size)) # 剩余部分作為評估集
print(f"訓練集大小: {len(train_dataset)}, 評估集大小: {len(eval_dataset)}")
return train_dataset, eval_dataset
# 配置訓練參數
defsetup_training_args(final_model_dir, enable_evaluation=True):
"""
設置訓練參數，包括輸出目錄、學習率、批處理大小等，并根據參數控制是否啟用評估。
Args:
final_model_dir (str): 微調后模型保存的路徑
enable_evaluation (bool): 是否啟用評估。默認為True，啟用評估；為False時禁用評估。
Returns:
training_args (TrainingArguments): 訓練參數
"""
# 根據是否啟用評估設置 evaluation_strategy
evaluation_strategy = "epoch"if enable_evaluation else"no"
training_args = TrainingArguments(
output_dir=final_model_dir,
evaluation_strategy=evaluation_strategy, # 控制評估策略
learning_rate=5e-5,
per_device_train_batch_size=2, # 適當減少批處理大小（根據M3 Pro的內存限制）
gradient_accumulation_steps=4, # 使用梯度累積，模擬更大的批量
num_train_epochs=3, # 訓練3個周期
report_to="wandb", # 使用wandb進行訓練日志記錄
weight_decay=0.01,
logging_dir=os.path.join(setting.root_dir, 'logs'),
logging_steps=50, # 減少日志記錄頻率
save_steps=500, # 增加模型保存的步數頻率，減少頻繁保存
save_total_limit=2, # 保存最多2個模型
dataloader_num_workers=4, # 設置數據加載器的并行數（根據需要調整）
)
return training_args
# 訓練模型
deftrain_model(model, training_args, dataset, eval_dataset, tokenizer, enable_evaluation=True):
"""
使用SFTTrainer進行模型訓練。
Args:
model (AutoModelForCausalLM): 需要訓練的模型
training_args (TrainingArguments): 訓練參數
dataset (Dataset): 用于訓練的數據集
eval_dataset (Dataset): 用于評估的數據集
tokenizer (AutoTokenizer): 分詞器
enable_evaluation (bool): 是否進行評估
Returns:
trainer (SFTTrainer): 訓練器實例
"""
# 如果啟用了評估，傳遞評估集
trainer = SFTTrainer(
model=model,
args=training_args,
train_dataset=dataset,
eval_dataset=eval_dataset if enable_evaluation elseNone, # 根據參數決定是否傳遞評估集
tokenizer=tokenizer,
data_collator=None, # 可以選擇合適的data collator
)
trainer.train()
return trainer
# 保存模型
defsave_model(trainer, final_model_dir):
"""
保存訓練后的模型到指定目錄。
Args:
trainer (SFTTrainer): 訓練器實例
final_model_dir (str): 模型保存路徑
"""
print("Saving model...")
trainer.save_model(final_model_dir)
defmerge_models(models, weights, device="cpu"):
"""
合并多個模型的權重（加權平均）。
Args:
models (list): 模型列表
weights (list): 權重列表，權重數量與模型數量一致
device (str): 設備，可以是 "cuda" 或 "cpu"
Returns:
merged_model (nn.Module): 合并后的模型
"""
# 確保模型數量與權重數量一致
assertlen(models) == len(weights), "模型數量與權重數量不一致"
# 將所有模型加載到相同的設備
for i inrange(len(models)):
models[i] = models[i].to(device)
# 獲取第一個模型的狀態字典
merged_state_dict = models[0].state_dict()
# 對每一層的權重進行加權平均
for key in merged_state_dict.keys():
merged_state_dict[key] = torch.zeros_like(merged_state_dict[key])
for model, weight inzip(models, weights):
merged_state_dict[key] += model.state_dict()[key] * weight
# 創建一個新的模型并加載合并后的權重
merged_model = models[0].__class__.from_pretrained(models[0].config)
merged_model.load_state_dict(merged_state_dict)
return merged_model
# 主函數
defmain():
"""
主函數，執行整個訓練流程：設置路徑、加載模型、訓練并保存模型。
參數設置：
enable_evaluation = False # 設置為False以禁用評估 如果性能慢可以設置 False
加載數據集：
train_size=10 設置數據集大小，評估集是數據集百分之10（如果小于1 則等于1 ）
train_dataset, eval_dataset = load_dataset_func(dataset_path, train_size=10)
"""
setup_wandb() # 登錄wandb
model_dir, dataset_path, final_model_dir = set_paths() # 設置路徑
model, tokenizer, EOS_TOKEN = load_model_and_tokenizer(model_dir) # 加載模型和分詞器
train_dataset, eval_dataset = load_dataset_func(dataset_path, train_size=5) # 加載數據集
train_dataset = train_dataset.map(lambda examples: formatting_prompts_func(examples, EOS_TOKEN), batched=True) # 格式化數據集
eval_dataset = eval_dataset.map(lambda examples: formatting_prompts_func(examples, EOS_TOKEN), batched=True) # 格式化評估集
print(train_dataset["text"][0]) # 打印格式化后的數據
model = setup_lora(model) # 配置LoRA
# 設置是否開啟評估
enable_evaluation = True# 設置為False以禁用評估
training_args = setup_training_args(final_model_dir,enable_evaluation) # 配置訓練參數
trainer = train_model(model, training_args, train_dataset, eval_dataset, tokenizer, enable_evaluation) # 開始訓練
save_model(trainer, final_model_dir) # 保存模型
wandb.finish() # 完成wandb記錄
# 執行主函數
if __name__ == "__main__":
main()3.4 訓練模型并保存
"""
保存在本地 models/final_model 路徑下
"""
defsave_model(trainer, final_model_dir):
"""
保存訓練后的模型到指定目錄。
Args:
trainer (SFTTrainer): 訓練器實例
final_model_dir (str): 模型保存路徑
"""
print("Saving model...")
trainer.save_model(final_model_dir)3.5 合并模型文件
#01 執行即可
new_model_local = "DeepSeek-R1-Medical-COT-Tiny"
model.save_pretrained(new_model_local)
tokenizer.save_pretrained(new_model_local)
model.save_pretrained_merged(new_model_local, tokenizer, save_method = "merged_16bit",)3.6 評估和監控訓練過程
評估（eval/）相關信息：
- eval/runtime 18.3908: 評估過程總共耗時18.39秒。
- eval/samples_per_second 0.054: 每秒處理的樣本數為0.054，表示評估的速度較慢。
- eval/steps_per_second 0.054: 每秒進行評估步數為0.054，說明每個評估步驟的時間消耗較大。
訓練（train/）相關信息：
- train/epoch 0: 當前訓練輪次是第0輪。
- train/global_step 0: 當前全局步驟為0，表示尚未進行任何訓練步驟。
- train_loss 14435.36663: 當前訓練的損失為14435.37，表明模型的表現尚不理想，通常需要更多的訓練來降低損失。
- train/runtime 251.7582: 訓練總時間為251.76秒。
- train/samples_per_second 0.06: 每秒處理的訓練樣本數為0.06，訓練的速度較慢。
- train/steps_per_second 0.012: 每秒進行的訓練步數為0.012，表示每個訓練步驟消耗的時間較長。
#02 詳細日志
wandb: ?? View project at https://wandb.ai/z15119911990-beijing/huggingface
wandb: ?? View run at https://wandb.ai/z15119911990-beijing/huggingface/runs/mgrko2jv
0%| | 0/3 [00:00<?, ?it/s]
{'eval_runtime': 14.8693, 'eval_samples_per_second': 0.067, 'eval_steps_per_second': 0.067, 'epoch': 0}
0%| | 0/3 [00:30<?, ?it/s]
100%|██████████| 1/1 [00:00<00:00, 1461.94it/s]
{'eval_runtime': 21.2073, 'eval_samples_per_second': 0.047, 'eval_steps_per_second': 0.047, 'epoch': 0}
0%| | 0/3 [02:11<?, ?it/s]
100%|██████████| 1/1 [00:00<00:00, 33.69it/s]
0%| | 0/3 [04:02<?, ?it/s]
100%|██████████| 1/1 [00:00<00:00, 334.66it/s]
{'eval_runtime': 18.3908, 'eval_samples_per_second': 0.054, 'eval_steps_per_second': 0.054, 'epoch': 0}
{'train_runtime': 251.7582, 'train_samples_per_second': 0.06, 'train_steps_per_second': 0.012, 'train_loss': 14435.3666305542, 'epoch': 0}
0%| | 0/3 [04:10<?, ?it/s]
wandb:
wandb:
wandb: Run history:
wandb: eval/runtime ▁█▅
wandb: eval/samples_per_second █▁▃
wandb: eval/steps_per_second █▁▃
wandb: train/epoch ▁▁▁▁
wandb: train/global_step ▁▁▁▁
wandb:
wandb: Run summary:
wandb: eval/runtime 18.3908
wandb: eval/samples_per_second 0.054
wandb: eval/steps_per_second 0.054
wandb: total_flos 43804457687040.0
wandb: train/epoch 0
wandb: train/global_step 0
wandb: train_loss 14435.36663
wandb: train_runtime 251.7582
wandb: train_samples_per_second 0.06
wandb: train_steps_per_second 0.012
wandb:
wandb: ?? View run /Users/ningcaichen/Documents/02-python相關文檔/01-AI系列/LoRA-DeepSeek-R1/models/final_model at: https://wandb.ai/z15119911990-beijing/huggingface/runs/mgrko2jv
wandb: ?? View project at: https://wandb.ai/z15119911990-beijing/huggingface
wandb: Synced 5 W&B file(s), 0 media file(s), 0 artifact file(s) and 0 other file(s)
wandb: Find logs at: ./wandb/run-20250212_133457-mgrko2jv/logs責任編輯：武曉燕
來源：
海邊的拾遺者
