🤗 模型 | 🤗 数据集

自对弈微调（SPIN）

本仓库包含论文《自对弈微调将弱语言模型转化为强语言模型》（https://arxiv.org/abs/2401.01335）的官方代码。

作者：Zixiang Chen*, Yihe Deng*, Huizhuo Yuan*, Kaixuan Ji, Quanquan Gu

[网页] [HuggingFace]

🔔 新闻

• [05/01/2024] SPIN已被ICML2024接收！
• [04/06/2024] 我们发布了用于复现实验结果的训练脚本。
• [04/04/2024] ❗ 我们发现之前上传的数据集存在错误，现已重新上传修正后的数据集。
• [02/13/2024] 我们更新了arXiv v2版本：https://arxiv.org/abs/2401.01335。
• [02/09/2024] 我们的代码已开源！
• [01/02/2024] 我们的论文已在arXiv上发布：https://arxiv.org/abs/2401.01335。

❗ 注意：我们注意到HuggingFace对齐手册自我们的实验以来已经更新了其配置和SFT检查点。我们在实验中用于数据生成和微调的对齐手册中的配置及SFT模型均为旧版本（配置，模型）。HuggingFace上的该模型检查点（alignment-handbook/zephyr-7b-sft-full）已使用新配置更新过一次。如果您希望使用最新的SFT模型，可以加载带有revision=ac6e600eefcce74f5e8bae1035d4f66019e93190的检查点，或者自行生成数据，而非使用我们在HuggingFace上提供的数据集。

目录

• 关于SPIN
• 设置
  • 数据
  • 模型
• 使用方法
  • 步骤1：生成
    • 使用vLLM加速生成
  • 步骤1.5：收集生成内容并转换数据类型
  • 步骤2：微调
• 复现我们的结果
• 评估
• 引用
• 致谢

🌀 关于SPIN

SPIN采用自对弈机制，允许语言模型通过与自身先前版本的交互来不断提升性能，而无需额外的人工标注偏好数据，仅依赖于SFT数据集本身即可。具体而言，语言模型会基于其先前版本生成自己的训练数据，并通过区分这些自动生成的响应与原始SFT数据，不断优化自身的策略。

HuggingFace Open LLM排行榜上，不同迭代次数下SPIN的平均得分。

SPIN能够在多种基准测试中显著提升SFT后语言模型的性能，甚至超越了在标注偏好数据集上进行直接偏好优化（DPO）训练的模型。该方法具有坚实的理论基础，确保语言模型能够与目标数据分布保持一致，并通过在多个数据集上的广泛评估得到了实证验证。

在六个基准数据集上与DPO训练的性能对比。SPIN在第0次迭代时，性能已可与使用6.2万条新增数据进行DPO训练的模型相媲美；而在第1次迭代时，SPIN已经在大多数数据集上超越了DPO训练的结果。

更多详细信息，请参阅我们的论文此处。

设置

以下步骤提供了运行我们代码所需的必要设置。

1. 使用Conda创建一个Python虚拟环境：

conda create -n myenv python=3.10
conda activate myenv

2. 安装以下Python依赖以运行代码：

python -m pip install .
python -m pip install flash-attn --no-build-isolation

3. 登录您的HuggingFace账户以便下载模型：

huggingface-cli login --token "${your_access_token}"

数据

我们在此仓库以及HuggingFace上提供了实验中使用的数据，同时还包含了我们生成的合成数据。这些数据已被转换为.parquet格式，以便进行微调。

❗ 2024年4月4日，我们发现之前上传的数据集存在错误，现已重新上传了修正后的数据集。

数据集	下载
SPIN_iter0	🤗 HuggingFace
SPIN_iter1	🤗 HuggingFace
SPIN_iter2	🤗 HuggingFace
SPIN_iter3	🤗 HuggingFace

我们代码所需的输入数据必须采用相同格式，每条数据应包含以下属性，类似于HuggingFaceH4/ultrafeedback_binarized：

{
    "real": [{"role": "user", "content": <prompt>}, 
               {"role": "assistant", "content": <ground truth>}],
    "generated": [{"role": "user", "content": <prompt>}, 
                 {"role": "assistant", "content": <generation>}]
}

🔍 注意：在数据生成过程中，生成的回答内容可能为空，因为我们仅使用提示词来生成模型响应。

模型

我们还在 HuggingFace 上提供了模型在第 0、1、2、3 迭代时的检查点。

模型	下载
zephyr-7b-sft-full-SPIN-iter0	🤗 HuggingFace
zephyr-7b-sft-full-SPIN-iter1	🤗 HuggingFace
zephyr-7b-sft-full-SPIN-iter2	🤗 HuggingFace
zephyr-7b-sft-full-SPIN-iter3	🤗 HuggingFace

🔍 注意: 使用提供的数据，您可以直接跳转到步骤 2：微调，而无需自行生成数据。您也可以从任意迭代开始，利用我们开源的模型检查点复现我们的结果。

使用方法

对于 SPIN，我们会在一个迭代中一次性生成所有合成数据，并基于真实数据和合成数据对齐后的样本对大语言模型进行微调。

步骤 0（可选）：重新格式化 SFT 数据集

python spin/reformat.py [options]

选项

• --data: SFT 数据集所在的目录（本地或 HuggingFace）
  • 默认值：HuggingFaceH4/ultrachat_200k
• --output_dir: 重新格式化后数据文件的本地目录
  • 默认值：UCLA-AGI/SPIN_iter0

🔍 注意：如果选择在整个 HuggingFaceH4/ultrachat_200k 数据集上使用 SPIN，而不是我们提供的 5 万条子集，可以使用 spin/reformat.py 对原始数据进行重新格式化。若要使用其他数据集，只需将其转换为相同格式，然后继续执行后续步骤即可。

步骤 1：生成

accelerate launch spin/generate.py [options]

选项

• --model: 加载用于生成的模型检查点。
  • 默认值：alignment-handbook/zephyr-7b-sft-full
• --input_dir: 包含生成提示的数据文件所在目录
  • 代码适用于以下格式的数据生成。
  • 默认值：UCLA-AGI/SPIN_iter0
• --output_dir: 保存生成数据的目录。
• --batch_size: 每个设备的批量大小
  • 默认值：16
• --data_frac: 将数据分成若干份，在不同服务器上分别生成。
  • --frac_len: 数据分片的长度。默认为 0，表示使用整个数据集进行生成。将 frac_len 设置为正数，则只针对数据的一部分进行生成。注意: 我们建议使用较小的 frac_len（例如 800），以小批量生成数据，避免因数据生成耗时较长而导致意外崩溃。
  • 将 data_frac 设置为 0、1、2…，即可针对不同长度的分片进行生成。
  • 注意：使用 data_frac 进行生成时，请保持相同的分片长度。建议将 frac_len 设置为 800。

生成的数据为 JSON 格式，每条数据包含以下属性：

{
    "real": [{"role": "user", "content": <prompt>}, 
               {"role": "assistant", "content": <ground truth>}],
    "generated": [{"role": "user", "content": <prompt>}, 
                 {"role": "assistant", "content": <generation>}]
}

注意: 数据生成的迭代次数完全取决于用于生成的模型版本（例如，使用原始 SFT 模型生成第 0 次迭代的数据，使用 SPIN 第 0 次迭代的模型生成第 1 次迭代的数据）。generate.py 脚本只会使用对应数据模型的提示/问题进行生成。

示例. 以下代码生成第 0 次迭代的 8,000 条合成数据。

bash scripts/generate.sh

🚀 使用 vLLM 加速生成

或者，您也可以使用以下示例脚本以更快的速度生成 LLM 回答。使用 vLLM 时可以采用更大的 frac_len。

bash scripts/generate_vllm.sh

感谢 @sumo43 实现了基于 vLLM 的生成功能。

步骤 1.5：收集生成结果并转换数据类型

python spin/convert_data.py [options]

选项

• --num_fracs: 需要加载的文件数量。
• --input_dir: 生成数据文件所在的目录。
• --output_dir: 用于微调的统一数据存放目录。

该代码将生成两个最终数据文件，分别为 train_prefs-00000-of-00001.parquet 和 test_prefs-00000-of-00001.parquet，这些文件将用于微调。

注意：请确保将生成的数据文件收集到与 --input_dir 相同的目录中。

示例。

python spin/convert_data.py --output_dir new_data/iter0 --input_dir generated/iter0 --num_fracs 63

步骤 2：微调

accelerate launch --config_file configs/multi_gpu.yaml --num_processes=8 --main_process_port 29500 spin/run_spin.py configs/config.yaml

您可能需要修改 configs/config.yaml 中的配置。以下是一些您可能需要自定义的关键配置项：

• model_name_or_path: 加载用于微调的模型检查点。
  • 默认值：alignment-handbook/zephyr-7b-sft-full
• dataset_mixer: 选择用于微调的数据混合比例。
  • 默认值：UCLA-AGI/SPIN_iter0: 1.0
  • 对于 SPIN 的第 1 和第 2 次迭代，我们同时包含了当前迭代和上一迭代的数据（例如，第 1 次迭代时，我们加入了 UCLA-AGI/SPIN_iter0: 1.0 和 UCLA-AGI/SPIN_iter1: 1.0，合计 10 万条数据）。
• output_dir: 微调后模型及检查点的输出目录。
  • 默认值：outputs
• per_device_train_batch_size: 单个 GPU 上的训练批次大小。
  • 默认值：16
• gradient_accumulation_steps: 确保 per_device_train_batch_size * num_processes * gradient_accumulation_steps 等于您的实际批次大小。
• num_train_epochs: 当前迭代的训练轮数。
  • 默认值：3
• beta: SPIN 中的 beta 参数。
  • 默认值：0.1

在我们的实验中，我们使用 DeepSpeed ZeRO-3 在多 GPU 机器上进行了全量微调（需要 A100 显卡，80GB 版本）。

示例。

bash scripts/finetune.sh

复现我们的结果

为帮助复现我们的结果，我们已公开与本研究四次迭代相关的脚本。这些脚本已预先配置好论文中使用的精确参数和模型版本。对于每次迭代，基础模型均使用 🤗 HuggingFace 上发布的版本进行初始化，相关链接如下：

数据集	下载
SPIN_iter0	🤗 HuggingFace
SPIN_iter1	🤗 HuggingFace
SPIN_iter2	🤗 HuggingFace
SPIN_iter3	🤗 HuggingFace

若要使用您本地训练的模型作为基础来执行完整流程，请将配置文件中的 model_name_or_path 参数修改为您模型的路径。

要开始完整的微调过程，可在终端中运行相应的脚本：

bash scripts/finetune.sh
bash scripts/finetune_iter1.sh
bash scripts/finetune_iter2.sh
bash scripts/finetune_iter3.sh

按照上述步骤操作，您应该能够复现我们的结果。

---

评估

针对 Open LLM Leaderboard 的评估，请使用此 lm-evaluation-harness，其版本为 v0.4.0。此外，请注意，我们将少样本示例的数量设置为与 Leaderboard 中的说明一致。不同版本的评估会导致分数有所差异，但整体趋势将保持不变。

---

星标历史

引用

若您认为本仓库对您的研究有所帮助，请考虑引用以下论文：

@misc{chen2024selfplay,
      title={自对弈微调可将弱语言模型转化为强语言模型}, 
      author={陈子翔、邓一鹤、袁慧卓、季凯旋、顾全全},
      year={2024},
      eprint={2401.01335},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}

致谢

本仓库基于 Alignment Handbook 构建。我们感谢作者们的杰出工作。

SPIN 快速上手指南

SPIN (Self-Play Fine-Tuning) 是一种通过自博弈机制提升大语言模型性能的技术。它无需额外的人工标注偏好数据，仅利用 SFT 数据集和模型自身生成的迭代数据即可显著增强模型能力。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu)
• Python 版本: 3.10
• 硬件要求: 支持 CUDA 的 NVIDIA GPU (建议使用多卡环境进行训练)
• 依赖管理: Conda

安装步骤

1. 创建虚拟环境

使用 Conda 创建并激活 Python 3.10 环境：

conda create -n spin_env python=3.10
conda activate spin_env

2. 安装项目依赖

安装本项目及 flash-attn 加速库：

python -m pip install .
python -m pip install flash-attn --no-build-isolation

提示：国内用户若遇到 PyPI 下载缓慢，可添加 -i https://pypi.tuna.tsinghua.edu.cn/simple 参数加速安装。

3. 登录 Hugging Face

由于需要下载模型和数据集，请登录您的 Hugging Face 账户：

huggingface-cli login --token "${your_access_token}"

基本使用

SPIN 的核心流程包含“数据生成”与“微调”两个阶段。您可以直接使用官方提供的预处理数据集跳过生成步骤，直接从微调开始。

方案 A：直接使用官方数据集进行微调（推荐新手）

如果您希望快速复现结果或测试效果，可以直接使用 Hugging Face 上已准备好的 SPIN_iter0 数据集。

执行微调命令：

accelerate launch --config_file configs/multi_gpu.yaml --num_processes=8 --main_process_port 29500 spin/run_spin.py configs/config.yaml

关键配置修改： 在执行前，请检查 configs/config.yaml 文件，确保以下参数设置正确：

• model_name_or_path: 指定基础模型，例如 alignment-handbook/zephyr-7b-sft-full (注意：如需完全复现论文，可能需要指定特定 revision 或使用旧版 checkpoint)。
• dataset_mixer: 指定使用的数据集，例如 UCLA-AGI/SPIN_iter0: 1.0。

方案 B：完整流程（从数据生成到微调）

如果您拥有自己的 SFT 数据集并希望从头开始迭代：

第一步：数据格式化 (可选)

将原始 SFT 数据集转换为 SPIN 所需格式：

python spin/reformat.py --data HuggingFaceH4/ultrachat_200k --output_dir UCLA-AGI/SPIN_iter0

第二步：生成合成数据

利用当前模型对提示词进行回答，生成自博弈数据：

accelerate launch spin/generate.py --model alignment-handbook/zephyr-7b-sft-full --input_dir UCLA-AGI/SPIN_iter0 --output_dir generated/iter0

加速技巧：若需更快生成速度，可使用 vLLM 版本：

bash scripts/generate_vllm.sh

第三步：整合数据

将生成的分散数据文件合并并转换为 Parquet 格式，供训练使用：

python spin/convert_data.py --output_dir new_data/iter0 --input_dir generated/iter0 --num_fracs 63

第四步：执行微调

使用整合后的数据进行模型微调（命令同方案 A，需修改 config 中的数据集路径）。

---

注意：关于模型版本的重要说明 官方指出 Hugging Face 上的 alignment-handbook/zephyr-7b-sft-full 已更新配置。若要严格复现论文实验中的数据生成环节，建议加载特定版本的 checkpoint： revision=ac6e600eefcce74f5e8bae1035d4f66019e93190