SPPO：语言模型对齐的自博弈偏好优化

本仓库包含论文 Self-Play Preference Optimization for Language Model Alignment 的官方代码和已发布的模型。

作者：Yue Wu*, Zhiqing Sun*, Huizhuo Yuan*, Kaixuan Ji, Yiming Yang, Quanquan Gu

[项目主页] [Huggingface] [论文]

🔔 新闻

• [2025年1月22日] SPPO 已被 ICLR 2025 接收！
• [2024年6月29日] 我们发布了基于 gemma-2-9b-it 训练的 Gemma-2-9B-It-SPPO-Iter3，其在 AlpacaEval 2.0 LC 上的胜率达到 53.27。
• [2024年6月25日] 我们的代码已开源！
• [2024年5月1日] 我们的论文已在 arXiv 上发布：https://arxiv.org/abs/2405.00675。

目录

• 关于 SPPO
• 已发布模型
• 环境设置
• 训练脚本
• 评估
• 故障排除
• 引用
• 致谢

关于 SPPO

我们提出了一个名为 SPPO 的新自博弈框架，用于语言模型对齐，以及一个从该自博弈框架推导出的新学习目标（称为 SPPO 损失），以高效微调大型语言模型。

AlpacaEval 2.0 排行榜结果，展示了正常和长度控制（LC）胜率的百分比（%）。Mistral-7B-SPPO 可以超越更大的模型，而 Mistral-7B-SPPO（best-of-16）可以超越 GPT-4（6/13）等专有模型。Llama-3-8B-SPPO 表现出更佳的性能。

SPPO 可以在没有强大外部信号（如来自 GPT-4 的响应或偏好）的情况下，显著提升 LLM 的性能。它能够超越使用迭代直接偏好优化（DPO）等方法训练的模型。SPPO 具有理论依据，确保 LLM 在一般的、可能非传递性的偏好下能够收敛到冯·诺依曼赢家（即纳什均衡），并通过在多个数据集上的广泛评估进行了实证验证。

更多细节，请查看我们的论文。

基础模型与已发布模型

模型	AlpacaEval2.0 LC 胜率	AlpacaEval2.0 胜率
🤗Mistral-7B-Instruct-v0.2	17.11	14.72
🤗Mistral-7B-SPPO Iter1	24.79	23.51
🤗Mistral-7B-SPPO Iter2	26.89	27.62
🤗Mistral-7B-SPPO Iter3	28.53	31.02
🤗Llama-3-8B-Instruct	22.92	22.57
🤗Llama-3-8B-SPPO Iter1	31.73	31.74
🤗Llama-3-8B-SPPO Iter2	35.15	35.98
🤗Llama-3-8B-SPPO Iter3	38.77	39.85
🤗Gemma-2-9B-It	45.08	35.62
🤗Gemma-2-9B-SPPO Iter1	48.70	40.76
🤗Gemma-2-9B-SPPO Iter2	50.93	44.64
🤗Gemma-2-9B-SPPO Iter3	53.27	47.74

环境设置

我们的训练代码基于 alignment-handbook 代码库。我们使用 vllm 进行生成，使用 pairRM 进行排序。请按照以下步骤设置您的环境：

1. 创建虚拟环境：

   conda create -n sppo python=3.10
   conda activate sppo
   

2. 安装用于生成的 vllm：

   pip install vllm
   

3. 安装 PairRM：

   git clone https://github.com/yuchenlin/LLM-Blender.git
   cd LLM-Blender
   pip install -e .
   

4. 下载并安装训练依赖项：

   git clone https://github.com/uclaml/SPPO.git
   cd SPPO
   pip install -e .
   

训练脚本

根据您选择的基础模型执行相应的训练脚本：

• 对于 Mistral-7B-Instruct-v0.2：

  bash run_sppo_mistral.sh
  

• 对于 Llama-3-8B-Instruct：

  bash run_sppo_llama-3.sh
  

这些脚本管理训练迭代、生成和 PairRM 排序过程。请注意，某些脚本可能会尝试将数据集推送到 Hugging Face Hub 上的 UCLA-AGI 组织。请确保您有写入权限，或相应地修改组织名称，或者在必要时注释掉任何 push_to_hub 命令。每个组件的详细脚本如下：

脚本功能分解：

1. 生成（Generation）：

   python scripts/generate.py --model $MODEL --maxlen 2048 --output_dir $OUTPUT_DIR --prompts $PROMPTS
   

   主要参数：

   • model：指定用于生成的模型。在第一次迭代中，模型应为 mistralai/Mistral-7B-Instruct-v0.2 或 meta-llama/Meta-Llama-3-8B-Instruct。
   • maxlen：设置生成的最大令牌长度，定义了生成令牌的最大数量。
   • pairs：决定每个提示（prompt）生成的样本数量，默认设置为 5。请注意，整个流程不支持更改此数字。
   • output_dir：指定保存中间结果的目录路径。
   • prompts：定义用于生成的提示集合。
   • frac_len：通过将提示分成不同的部分，使 vllm 能够在多个 GPU 上运行。frac_len 定义了每个部分中的提示数量。使用示例请参见 generate.sh。
   • data_frac：与 frac_len 配合用于多 GPU 设置，data_frac 表示当前 GPU 正在处理的数据部分。更多详情请参考 generate.sh。

2. 排序（Ranking）：

   python scripts/rank.py --output_dir $OUTPUT_DIR --prompts $PROMPTS
   

   主要参数：

   • output_dir：指定保存中间结果的目录路径。请注意，默认脚本会尝试将数据集推送到 Hugging Face 的 UCLA-AGI 组织下。您可能需要将其调整为您自己的组织、获取 UCLA-AGI 的写入权限，或在必要时禁用 push_to_hub 命令。
   • pairs：设置每个提示生成的样本数量，默认为 5。请注意，整个流程不支持其他数字。
   • frac_len：此参数用于通过将提示分成不同的部分，使 PairRM 能够在多个 GPU 上运行。frac_len 决定了每个部分中的提示数量。使用示例请参考 generate.sh。
   • data_frac：与 frac_len 类似，此选项用于在多个 GPU 上运行 PairRM。它指定当前 GPU 正在处理的数据部分。示例请参见 generate.sh。
   • prompts：定义用于生成的提示集合。
   • gpu：指示用于排序的 GPU 索引；它应与 data_frac 参数匹配。

3. 训练（Training）：

   bash scripts/pipeline.sh --model $MODEL --iter $ITER --dataset $DATASET --output_dir $OUTPUT_DIR --num 1
   

   主要参数：

   • model：用于训练的基础模型。
   • dataset：用于训练的数据集。
   • output_dir：输出模型的名称。
   • num：训练的轮数（epochs）。

评估（Evaluation）

我们遵循既定的评估指南，并使用了以下代码库：

• AlpacaEval 2
• MT-Bench
• HuggingFace Open LLM 排行榜

我们在 models_configs 目录中提供了在 AlpacaEval 2 期间使用的模型配置。请注意，在我们的模型首次发布后，我们使用略微修改的提示对其进行了重新训练。重新训练后观察到的胜率与原始结果相当。

故障排除（Troubleshoot）

有关论文的问题，请通过电子邮件联系作者。如果您在代码中遇到任何问题或希望报告错误，请随时在我们的 GitHub 仓库中提交问题（issue）。

星标历史（Star History）

引用（Citation）

@article{wu2024self,
  title={Self-play preference optimization for language model alignment},
  author={Wu, Yue and Sun, Zhiqing and Yuan, Huizhuo and Ji, Kaixuan and Yang, Yiming and Gu, Quanquan},
  year={2024}
}

致谢（Acknowledgements）

我们感谢 The Alignment Handbook 的作者对训练代码的基础性贡献。我们也感谢使用 PairRM 进行排序以及使用 vllm 进行生成。

SPPO 快速上手指南

SPPO（Self-Play Preference Optimization）是一种用于语言模型对齐的自博弈偏好优化方法。本指南将帮助您快速搭建环境并运行 SPPO。

环境准备

• 操作系统: Linux (推荐 Ubuntu 20.04 或更高版本)
• Python: 3.10
• 包管理器: pip, conda (可选，用于创建虚拟环境)
• 硬件: 支持 CUDA 的 NVIDIA GPU (建议显存 >= 24GB 以运行 7B/8B 模型)
• 网络: 可访问 Hugging Face 和 GitHub (建议配置国内镜像源以加速下载)

安装步骤

1. 创建并激活虚拟环境 (推荐使用 conda):

   conda create -n sppo python=3.10
   conda activate sppo
   

2. 安装 vLLM (用于高效推理生成):

   pip install vllm
   

3. 安装 PairRM (用于响应排序):

   git clone https://github.com/yuchenlin/LLM-Blender.git
   cd LLM-Blender
   pip install -e .
   cd ..
   

4. 下载 SPPO 代码库并安装训练依赖:

   git clone https://github.com/uclaml/SPPO.git
   cd SPPO
   pip install -e .
   

国内加速建议:

• 在运行 pip install 前，可设置 PyPI 镜像源，例如：

  pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
  

• 如需加速 git clone，可使用 ghproxy.com 等代理服务。

基本使用

以下以使用 Mistral-7B-Instruct-v0.2 作为基础模型为例，展示如何启动一轮完整的 SPPO 训练流程。

1. 进入项目目录:

   cd SPPO
   

2. 运行训练脚本: 执行以下命令将自动进行数据生成、PairRM 排序和模型训练：

   bash run_sppo_mistral.sh
   

   注意：首次运行会下载基础模型和数据集，请确保网络通畅。脚本默认配置可能尝试将数据推送至 Hugging Face Hub，如无权限可注释掉相关 push_to_hub 命令。

3. （可选）分步执行: 您也可以手动执行核心步骤：

   • 生成响应:

     python scripts/generate.py --model mistralai/Mistral-7B-Instruct-v0.2 --maxlen 2048 --output_dir ./output --prompts ./data/prompts.jsonl
     

   • 使用 PairRM 排序:

     python scripts/rank.py --output_dir ./output --prompts ./data/prompts.jsonl
     

   • 训练模型:

     bash scripts/pipeline.sh --model mistralai/Mistral-7B-Instruct-v0.2 --iter 1 --dataset ./output/ranked_data --output_dir ./sppo_model --num 1
     

训练完成后，模型将保存在指定的 output_dir 中，您可以使用类似 transformers 库的方式加载和使用它。