微调Mistral

用于微调该模型的代码：abacaj/mistral-7b-sft。请将您的数据以 train.jsonl 和 validation.jsonl 的形式放入 data 文件夹中。

注意：此仓库旨在对 Mistral 进行全量微调，而非使用 QLoRA 或其他方法。

如何运行

安装依赖：

python -m venv env \
  && source env/bin/activate \
  && pip install -r requirements.txt

获取 Hugging Face Token，并设置环境变量：

export HF_TOKEN="[在此处插入Token]"

运行训练代码：

torchrun --nnodes=1 --nproc-per-node=<替换为GPU数量> train.py

小贴士

• 如果使用较小的批量大小，请降低学习率。
• 我没有调整梯度裁剪或权重衰减，但具体情况可能因人而异。
• 确保使用足够多的数据，建议不少于 1000 个样本。
• 我在 4 万条样本上训练了 3 个 epoch，但仍需进一步试验最佳的 epoch 数，因为模型的表现仍在提升。
• 判断模型是持续改进、过拟合还是性能下降的更好方法，是在任务上添加评估环节。评估数据不应包含在训练集中。例如，在代码补全任务中，可以使用 MBPP 验证集或您自定义的验证集来评估模型。
• 如果 GPU 显存充足，可启用 FSDP 选项：backward_prefetch=BackwardPrefetch.BACKWARD_PRE；否则，可选择 backward_prefetch=BackwardPrefetch.BACKWARD_POST。由于可能导致显存不足，该参数最初被设置为 None。

fine-tune-mistral 快速上手指南

本指南旨在帮助开发者使用 fine-tune-mistral 项目对 Mistral 模型进行全量微调（Full Fine-tuning）。请注意，本项目不支持 QLoRA 或其他参数高效微调方法。

环境准备

• 系统要求：Linux 操作系统（推荐），具备多卡 GPU 环境以获得最佳训练效果。
• 前置依赖：
  • Python 3.8+
  • PyTorch (需支持 CUDA)
  • Hugging Face 账号及 Token（用于访问模型权重）
• 数据准备： 请在项目根目录下创建 data 文件夹，并将训练数据和验证数据分别整理为 JSONL 格式放入其中：
  • data/train.jsonl
  • data/validation.jsonl
  • 建议数据量大于 1000 条样本以确保微调效果。

安装步骤

1. 创建虚拟环境并激活：

   python -m venv env \
     && source env/bin/activate \
     && pip install -r requirements.txt
   

   国内加速提示：若下载依赖较慢，可添加清华或阿里镜像源： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 配置 Hugging Face Token： 访问 Hugging Face Tokens 设置页 获取访问令牌，并在终端中导出环境变量：

   export HF_TOKEN="[insert token here]"
   

   (请将 [insert token here] 替换为你实际的 Token 字符串)

基本使用

完成环境配置和数据准备后，即可启动训练。以下命令示例展示了如何在单节点多卡环境下运行训练脚本。

启动训练命令：

torchrun --nnodes=1 --nproc-per-node=<REPLACE_WITH_NUMBER_OF_GPUS> train.py

• 请将 <REPLACE_WITH_NUMBER_OF_GPUS> 替换为你实际可用的 GPU 数量（例如 4 或 8）。

关键调优建议：

• 显存优化：如果显存充足，可在代码中启用 FSDP 选项 backward_prefetch=BackwardPrefetch.BACKWARD_PRE 以提升速度；若遇到 OOM（显存溢出），请改设为 BACKWARD_POST 或 None。
• 超参数调整：若使用较小的 Batch Size，请适当降低学习率。
• 评估验证：建议在训练过程中引入非训练集的评估数据（如自定义验证集或 MBPP 等基准），以监控模型是否过拟合或性能提升。