[
  {
    "instruction": "",
    "input": "請將以下文本分類到一個最符合的類別中。以下是類別及其定義：\n\n要求}}\nreason: \nlabel:",
    "output": "reason: 該文本主要討論的是xxx。因此，該文本最符合“社會管理”這一類別。\n\nlabel: 社會管理"
  },
  ...
]

### model
model_name_or_path: qwen/Qwen2.5-7B-Instruct

### method
stage: sft
do_train: true
finetuning_type: lora
lora_target: all

### dataset
# dataset_dir: data
dataset_dir: LLaMA-Factory/data/ 填寫相應路徑
dataset: 數據集名 
template: qwen
cutoff_len: 2048
# max_samples: 1000 若數據集較大，可隨機篩選一部分數據微調模型
overwrite_cache: true
preprocessing_num_workers: 16

### output
output_dir: output/qwen2.5-7B/cls_epoch2 訓練的LoRA權重輸出路徑
logging_steps: 10
save_steps: 500
plot_loss: true
overwrite_output_dir: true

### train
per_device_train_batch_size: 1
gradient_accumulation_steps: 8
learning_rate: 1.0e-4
num_train_epochs: 2.0
lr_scheduler_type: cosine
warmup_ratio: 0.1
bf16: true
ddp_timeout: 180000000

### eval
# val_size: 0.1
# per_device_eval_batch_size: 1
# eval_strategy: steps
# eval_steps: 500

nohup llamafactory-cli train qwen_train_cls.yaml > qwen_train_cls.log 2>&1 &

nohup 作用是讓命令在退出終端后仍然運行，防止因關閉終端或會話中斷導致進程被終止。

{
    "prompt": "請將以下文本分類到一個最符合的類別中。以下是類別及其定義：...", 
    "predict": "\nreason: 該文本主要討論了改革創新發展、行政區劃調整、行政管理體制等方面的內容，涉及到體制機制的改革與完善，旨在推動高質量發展和提升生活品質。這些內容與社會管理和經濟管理密切相關，但更側重于行政管理和社會治理的改革，因此更符合“社會管理”這一類別。\n\nlabel: 社會管理",       
    "label": "reason: 該文本主要討論的是改革創新、行政區劃調整、體制機制障礙的破除以及行政管理體制等與政府治理和社會管理相關的內容，強調了與高質量發展和生活品質的關系。這些內容顯示出對社會管理和行政管理的關注，尤其是在推動城鄉一體化和適應高質量發展要求方面。因此，該文本最符合“社會管理”這一類別。\n\nlabel: 社會管理"
}

import os
import re
import json


from sklearn.metrics import classification_report, confusion_matrix

# 文本類別
CLASS_NAME = [
    "產業相關",
    ...
    "法律法規與行政事務",
    "其他",
]


def load_jsonl(file_path):
    """
    加載指定路徑的 JSON 文件并返回解析后的數據。

    :param file_path: JSON 文件的路徑
    :return: 解析后的數據（通常是字典或列表）
    :raises FileNotFoundError: 如果文件未找到
    :raises json.JSONDecodeError: 如果 JSON 格式不正確
    """
    data = []
    try:
        with open(file_path, "r", encoding="utf-8") as file:
            for line in file:
                tmp = json.loads(line)
                data.append(tmp)
    except FileNotFoundError as e:
        print(f"文件未找到：{file_path}")
        raise e
    except json.JSONDecodeError as e:
        print(f"JSON 格式錯誤：{e}")
        raise e
    return data


def parser_label(text: str):
    pattern = r"label[:：\s\.\d\*]*([^\s^\*]+)"
    matches = re.findall(pattern, text, re.DOTALL)
    if len(matches) == 1:
        return matches[0]
    return None


def trans2num(item):
    predict = parser_label(item["predict"])
    label = parser_label(item["label"])

    predict_idx = -1
    label_idx = -1
    for idx, cls_name in enumerate(CLASS_NAME):
        if predict == cls_name:
            predict_idx = idx

        if label == cls_name:
            label_idx = idx

    return predict_idx, label_idx

def cls_eval(input_file):
    data = load_jsonl(file_path=input_file)
    predicts = []
    labels = []

    for item in data:
        predict, label = trans2num(item)
        if label == -1:
            continue

        predicts.append(predict)
        labels.append(label)

    return classification_report(predicts, labels, output_dict=False)

cls_eval("xxx/generated_predictions.jsonl")