简单偏好优化 (SimPO)

本仓库包含我们论文《SimPO：无需参考模型的简单偏好优化》（arXiv:2405.14734）的代码及已发布的模型。我们提出了一种比DPO（直接偏好优化）更简单、更有效的偏好优化算法，且无需使用参考模型。在AlpacaEval 2、MT-Bench和Arena-Hard等多个基准测试中，SimPO在不同设置下均优于DPO及其最新变体。所有已发布的模型检查点请见此链接。

🆕 更改日志

• [2024.10.12] 为便于复现，我们发布了Llama3-Instruct和Gemma2-IT的训练曲线：
  • Llama3-Instruct-SimPO
  • Llama3-Instruct-SimPO v0.2
  • Gemma2-IT-SimPO
• [2024.07.17] 我们发布了一个新的SimPO模型gemma-2-9b-it-SimPO，该模型基于Google的gemma-2 9B模型，使用由ArmoRM标注的on-policy UltraFeedback数据进行微调，在AlpacaEval 2上的LC胜率达到了72.4分（#排行榜第一 🎉🎉），在Arena-Hard上的胜率也达到了59.1分！训练脚本请见这里，数据生成脚本请见这里！
• [2024.07.08] 我们更新了论文（v2）：
  • 增加了更多基线方法（RRHF、SLiC-HF、CPO）。
  • 引入了新的Llama3-Instruct设置（v0.2），采用ArmoRM作为偏好标签标注者，训练出表现更优的模型Llama-3-Instruct-8B-SimPO-v0.2，其在AlpacaEval 2上的LC胜率达到了53.7分，在Arena-Hard上的胜率则为36.5分（训练脚本请见这里）！
  • 更新了SimPO训练器，以提高复现性。超参数gamma现已改为gamma_beta_ratio，以便于调参。

🔗 快速链接

• SimPO：无需参考模型的简单偏好优化
  • 更改日志
  • 运行SimPO的技巧
  • 已发布模型
  • 安装依赖
  • 训练脚本
  • 评估
  • 遇到问题或疑问？
  • 引用

运行SimPO的技巧

鉴于大家对SimPO的诸多询问，我们整理了一份技巧清单，旨在帮助您复现我们的论文结果，并在自己的任务上取得更好的效果。

环境配置

我们提供了一个环境文件，其中包含了我们在实验中使用的Python包版本。为了获得最佳的复现效果，建议您使用相同的包版本。不过，请注意，由于硬件配置和CUDA版本等差异，结果仍可能存在波动。

超参数调优

超参数调优对于SimPO（以及一般的偏好优化算法）至关重要。SimPO的三个主要超参数是learning_rate、beta和gamma（我们建议将总批次大小固定为128）。

• learning_rate：这是偏好优化中最关键的超参数。过大的学习率（如1e-5）会显著降低性能，导致模型生成不连贯的句子或完全重复的回答。如果资源允许，我们建议在3e-7、5e-7、8e-7和1e-6之间进行网格搜索。我们发现，对于数学等需要大量推理的任务，较小的学习率（如5e-7）更适合DPO和SimPO。
• beta：Beta控制着获胜和失败回复之间的奖励缩放比例。与DPO相比，SimPO需要更大的beta值。在我们的预印本中，我们使用了2.0或2.5的beta值，但在许多情况下，更大的beta值（如10）可能会带来更好的效果。
• gamma：Gamma控制目标奖励的边际。我们建议调整gamma与beta的比值（即gamma / beta）。初始可以将gamma_beta_ratio设为0.5，并在0到1之间进行网格搜索。一个调优得当的gamma_beta_ratio可以带来适度的提升，但其重要性不如其他超参数。

我们用于训练已发布模型的超参数如下（请注意，在最新更新中，我们将超参数gamma改为了gamma_beta_ratio，因为后者经过归一化处理，在不同的beta值下更容易调优）。

设置	β	γ/β	学习率
Mistral-Base	2.0	0.8	3e-7
Mistral-Instruct	2.5	0.1	5e-7
Llama3-Base	2.0	0.5	6e-7
Llama3-Instruct	2.5	0.55	1e-6
Llama3-Instruct v0.2	10	0.3	1e-6
Gemma	10	0.5	8e-7

对于DPO，各设置的最佳超参数如下：

设置	β	学习率
Mistral-Base	0.01	5e-7
Mistral-Instruct	0.01	5e-7
Llama3-Base	0.01	5e-7
Llama3-Instruct	0.01	7e-7
Llama3-Instruct v0.2	0.01	3e-7
Gemma	0.01	5e-7

BOS一致性：训练与评估

我们发布的Llama3模型使用的是Llama3分词器的初始版本（在此次PR之前）。我们发现，使用vLLM时，更新后的Llama3分词器有时会引入两个BOS标记，这可能会影响评估结果。因此，在任何评估过程中，应用Llama3聊天模板后，请确保提示中仅包含一个BOS标记。

值得注意的是，如果您正在训练Llama3，并使用本仓库提供的模板在AlpacaEval 2和Arena-Hard上评估训练好的模型，请务必使用更新前的Llama3分词器（即PR之前的版本）。

复现 AlpacaEval 2 的结果

请确保使用 alpaca-eval==0.6.2 以及我们仓库中的 模型配置，才能成功复现 AlpacaEval 2 的结果。自 0.6.3 版本以来，AlpacaEval 对 vLLM 解码进行了重大修订，这会导致与我们实验结果的差异。

添加额外的 SFT 损失

CPO_SIMPO 仓库进行了初步实验，发现有时添加额外的 SFT 损失可以帮助提升效果。而在我们自己的实验中，SFT 正则化有助于保持推理能力（例如 GSM8K），但会降低聊天性能。如果您希望应用 SFT 正则化，可以将 sft_weight 设置为一个正数值（默认值为 0）。

已发布的模型

Gemma

我们发布了以下两个模型，它们基于强大的 google/gemma-2-9b-it 模型，在 on-policy 数据集 princeton-nlp/gemma2-ultrafeedback-armorm 上分别通过 DPO 和 SimPO 训练而成。对于 GSM 和 MMLU 任务，我们使用了 ZeroEval 仓库，该仓库旨在评估经过指令微调的 LLM（即聊天模型而非基础模型）在零样本条件下处理推理和知识密集型任务的能力。更多关于 WildBench 的结果即将发布。

模型	AE2 LC	AE2 WR	AE2 长度	AH	AH 长度	GSM	GSM 长度	MMLU	MMLU 长度
google/gemma-2-9b-it	51.1	38.1	1571	40.8	545	87.4	395	72.7	515
princeton-nlp/gemma-2-9b-it-DPO	67.8	65.4	2016	58.9	717	88.5	392	72.2	624
princeton-nlp/gemma-2-9b-it-SimPO	72.4	65.9	1833	59.1	693	88.0	341	72.2	441

• 与 llama3 模型相比，我们发现 gemma 模型在数学任务（如 GSM）和 MMLU 上表现出显著更少的灾难性遗忘现象，尽管 ultrafeedback 数据集中的数学相关数据有限。这表明 google/gemma-2-9b-it 模型更适合进行持续的偏好优化。
• 在所有基准测试中，SimPO 和 DPO 的表现相当，但 SimPO 本质上更为简单且资源消耗更低。

v0.2

我们发现，使用强大的奖励模型来标注偏好优化数据集至关重要。在这一版本中，我们使用更强大的奖励模型 RLHFlow/ArmoRM-Llama3-8B-v0.1 对数据集 princeton-nlp/llama3-ultrafeedback-armorm 进行了重新标注。因此，v0.2 版本的模型相比 v0.1 版本在性能上有了显著提升。

注意：我们观察到，SimPO v0.2 模型在生成需要遵循特定结构的输出时（如 JSON）往往存在困难。这一问题是由多种因素共同造成的：llama3-instruct 模型本身容易遗忘，以及训练过程中使用的较大学习率（例如 1e-6）导致模型偏离原始状态。为此，我们基于 google/gemma-2-9b-it 开发了 SimPO 模型。我们发现，更换初始模型可以显著缓解遗忘问题，并降低学习率的影响。

模型		AE2 LC	AE2 WR	AH
Llama 3 Instruct 8B RRHF v0.2	princeton-nlp/Llama-3-Instruct-8B-RRHF-v2.0	37.9	31.6	28.8
Llama 3 Instruct 8B SLiC-HF v0.2	princeton-nlp/Llama-3-Instruct-8B-SLiC-HF-v2.0	33.9	32.5	29.3
Llama 3 Instruct 8B DPO v0.2	princeton-nlp/Llama-3-Instruct-8B-DPO-v0.2	48.2	47.5	35.2
Llama 3 Instruct 8B IPO v0.2	princeton-nlp/Llama-3-Instruct-8B-IPO-v0.2	46.8	42.4	36.6
Llama 3 Instruct 8B CPO v0.2	princeton-nlp/Llama-3-Instruct-8B-CPO-v0.2	34.1	36.4	30.9
Llama 3 Instruct 8B KTO v0.2	princeton-nlp/Llama-3-Instruct-8B-KTO-v0.2	34.1	32.1	27.3
Llama 3 Instruct 8B ORPO v0.2	princeton-nlp/Llama-3-Instruct-8B-ORPO-v0.2	38.1	33.8	28.2
Llama 3 Instruct 8B R-DPO v0.2	princeton-nlp/Llama-3-Instruct-8B-RDPO-v0.2	48.0	45.8	35.1
Llama 3 Instruct 8B SimPO v0.2	princeton-nlp/Llama-3-Instruct-8B-SimPO-v0.2	53.7	47.5	36.5

v0.1

以下是我们在预印本中评估的完整模型列表。我们使用 HuggingFaceH4/ultrafeedback_binarized 数据集训练了 Mistral Base 和 Llama3 Base 模型；使用 princeton-nlp/mistral-instruct-ultrafeedback 数据集训练了 Mistral Instruct 模型；而 Llama3 Instruct 模型则是在 princeton-nlp/llama3-ultrafeedback 数据集上训练的。后两个数据集均由 llm-blender/PairRM 模型标注。

模型		AE2 LC	AE2 WR	AH
Mistral Base 7B SFT	alignment-handbook/zephyr-7b-sft-full	8.4	6.2	1.3
Mistral Base 7B RRHF	princeton-nlp/Mistral-7B-Base-SFT-RRHF	11.6	10.2	6.9
Mistral Base 7B SLiC-HF	princeton-nlp/Mistral-7B-Base-SFT-SLiC-HF	10.9	8.9	7.3
Mistral Base 7B DPO (Zephyr)	princeton-nlp/Mistral-7B-Base-SFT-DPO	15.1	12.5	10.4
Mistral Base 7B IPO	princeton-nlp/Mistral-7B-Base-SFT-IPO	11.8	9.4	7.5
Mistral Base 7B CPO	princeton-nlp/Mistral-7B-Base-SFT-CPO	9.8	8.9	6.9
Mistral Base 7B KTO	princeton-nlp/Mistral-7B-Base-SFT-KTO	13.1	9.1	5.6
Mistral Base 7B ORPO	kaist-ai/mistral-orpo-beta	14.7	12.2	7.0
Mistral Base 7B R-DPO	princeton-nlp/Mistral-7B-Base-SFT-RDPO	17.4	12.8	9.9
Mistral Base 7B SimPO	princeton-nlp/Mistral-7B-Base-SFT-SimPO	21.4	20.8	16.6
Mistral Instruct 7B SFT	mistralai/Mistral-7B-Instruct-v0.2	17.1	14.7	12.6
Mistral Instruct 7B RRHF	princeton-nlp/Mistral-7B-Instruct-RRHF	25.3	24.8	18.1
Mistral Instruct 7B SLiC-HF	princeton-nlp/Mistral-7B-Instruct-SLiC-HF	24.1	24.6	18.9
Mistral Instruct 7B DPO	princeton-nlp/Mistral-7B-Instruct-DPO	26.8	24.9	16.3
Mistral Instruct 7B IPO	princeton-nlp/Mistral-7B-Instruct-IPO	20.3	20.3	16.2
Mistral Instruct 7B CPO	princeton-nlp/Mistral-7B-Instruct-CPO	23.8	28.8	22.6
Mistral Instruct 7B KTO	princeton-nlp/Mistral-7B-Instruct-KTO	24.5	23.6	17.9
Mistral Instruct 7B ORPO	princeton-nlp/Mistral-7B-Instruct-ORPO	24.5	24.9	20.8
Mistral Instruct 7B R-DPO	princeton-nlp/Mistral-7B-Instruct-RDPO	27.3	24.5	16.1
Mistral Instruct 7B SimPO	princeton-nlp/Mistral-7B-Instruct-SimPO	32.1	34.8	21.0
Llama3 Base 8B SFT	princeton-nlp/Llama-3-Base-8B-SFT	6.2	4.6	3.3
Llama3 Base 8B RRHF	princeton-nlp/Llama-3-Base-8B-RRHF	10.8	8.1	6.6
Llama3 Base 8B SLiC-HF	princeton-nlp/Llama-3-Base-8B-SLiC-HF	12.1	10.1	10.3
Llama3 Base 8B DPO	princeton-nlp/Llama-3-Base-8B-SFT-DPO	18.2	15.5	15.9
Llama3 Base 8B IPO	princeton-nlp/Llama-3-Base-8B-SFT-IPO	14.4	14.2	17.8
Llama3 Base 8B CPO	princeton-nlp/Llama-3-Base-8B-SFT-CPO	10.8	8.1	5.8
Llama3 Base 8B KTO	princeton-nlp/Llama-3-Base-8B-SFT-KTO	14.2	12.4	12.5
Llama3 Base 8B ORPO	princeton-nlp/Llama-3-Base-8B-SFT-ORPO	12.2	10.6	10.8
Llama3 Base 8B R-DPO	princeton-nlp/Llama-3-Base-8B-SFT-RDPO	17.6	14.4	17.2
Llama3 Base 8B SimPO	princeton-nlp/Llama-3-Base-8B-SFT-SimPO	22.0	20.3	23.4
Llama3 Instruct 8B SFT	meta-llama/Meta-Llama-3-Instruct-8B	26.0	25.3	22.3
Llama3 Instruct 8B RRHF	princeton-nlp/Llama-3-Instruct-8B-RRHF	31.3	28.4	26.5
Llama3 Instruct 8B SLiC-HF	princeton-nlp/Llama-3-Instruct-8B-SLiC-HF	26.9	27.5	26.2
Llama3 Instruct 8B DPO	princeton-nlp/Llama-3-Instruct-8B-DPO	40.3	37.9	32.6
Llama3 Instruct 8B IPO	princeton-nlp/Llama-3-Instruct-8B-IPO	35.6	35.6	30.5
Llama3 Instruct 8B CPO	princeton-nlp/Llama-3-Instruct-8B-CPO	33.1	31.8	26.4
Llama3 Instruct 8B KTO	princeton-nlp/Llama-3-Instruct-8B-KTO	33.1	31.8	26.4
Llama3 Instruct 8B ORPO	princeton-nlp/Llama-3-Instruct-8B-ORPO	28.5	27.4	25.8
Llama3 Instruct 8B R-DPO	princeton-nlp/Llama-3-Instruct-8B-RDPO	41.1	37.8	33.1
Llama3 Instruct 8B SimPO	princeton-nlp/Llama-3-Instruct-8B-SimPO	44.7	40.5	33.8

使用我们的模型进行推理

请参阅 generate.py 脚本，以获取使用适当聊天模板加载模型的详细说明。

安装依赖

我们的代码库基于 alignment-handbook 仓库 构建。以下步骤将指导您完成安装过程。

首先，使用 Conda 等工具创建一个 Python 虚拟环境：

conda create -n handbook python=3.10 && conda activate handbook

接下来，安装 PyTorch v2.2.2。由于这与硬件相关，我们建议您访问 PyTorch 安装页面。

然后，您可以按照以下步骤安装 alignment-handbook 的其余包依赖项：

git clone https://github.com/huggingface/alignment-handbook.git
cd ./alignment-handbook/
python -m pip install .

您还需要安装 Flash Attention 2，可以通过运行以下命令完成：

python -m pip install flash-attn --no-build-isolation

训练脚本

我们提供了四份训练配置文件，分别对应论文中报告的四种训练设置。这些配置适用于 4 张 H100 GPU。根据您的计算环境，可能需要调整 num_processes 和 per_device_train_batch_size 参数。

• Mistral-Base：

ACCELERATE_LOG_LEVEL=info accelerate launch --config_file accelerate_configs/deepspeed_zero3.yaml scripts/run_simpo.py training_configs/mistral-7b-base-simpo.yaml

• Mistral-Instruct：

ACCELERATE_LOG_LEVEL=info accelerate launch --config_file accelerate_configs/deepspeed_zero3.yaml scripts/run_simpo.py training_configs/mistral-7b-instruct-simpo.yaml

• Llama3-Base：

ACCELERATE_LOG_LEVEL=info accelerate launch --config_file accelerate_configs/deepspeed_zero3.yaml scripts/run_simpo.py training_configs/llama-3-8b-base-simpo.yaml

• Llama3-Instruct：

ACCELERATE_LOG_LEVEL=info accelerate launch --config_file accelerate_configs/deepspeed_zero3.yaml scripts/run_simpo.py training_configs/llama-3-8b-instruct-simpo.yaml

• Llama3-Instruct v0.2：

ACCELERATE_LOG_LEVEL=info accelerate launch --config_file accelerate_configs/deepspeed_zero3.yaml scripts/run_simpo.py training_configs/llama-3-8b-instruct-simpo-v2.yaml

评估

我们遵循官方实现对 AlpacaEval 2、Arena-Hard 和 MT-Bench 进行评估，具体如下（更多细节请参阅 eval 目录）：

• AlpacaEval 2：请参考 AlpacaEval 仓库 进行评估。
• Arena-Hard：请参考 Arena-Hard-Auto 仓库 进行评估。
• MT-Bench：请参考 FastChat 仓库 进行评估。

发现问题或有疑问？

如果您对代码或论文有任何疑问，请随时发送邮件至 Yu（yumeng5@virginia.edu）。如果在使用代码时遇到任何问题，或希望报告 bug，请随时提交 issue！请尽量详细描述问题，以便我们能够更快更好地帮助您！

引用

如果您在工作中觉得本仓库有所帮助，请引用我们的论文：

@inproceedings{meng2024simpo,
   title={SimPO: 基于无参考奖励的简单偏好优化},
   author={Meng, Yu and Xia, Mengzhou and Chen, Danqi},
   booktitle={神经信息处理系统大会 (NeurIPS)},
   year={2024}
}

SimPO 快速上手指南

SimPO (Simple Preference Optimization) 是一种无需参考模型（Reference-Free）的偏好优化算法。相比 DPO，它更简单且高效，在 AlpacaEval 2、MT-Bench 和 Arena-Hard 等基准测试中表现优异。

环境准备

系统要求

• Python: 建议 Python 3.10+
• GPU: 推荐使用支持 CUDA 的 NVIDIA GPU（显存需求取决于模型大小，训练大模型建议 24GB+）
• CUDA: 确保已安装与 PyTorch 版本匹配的 CUDA 驱动

前置依赖

项目提供了完整的 environment.yml 文件以确保实验可复现性。强烈建议使用该文件创建环境，以避免版本冲突。

安装步骤

1. 克隆仓库

   git clone https://github.com/princeton-nlp/SimPO.git
   cd SimPO
   

2. 创建并激活 Conda 环境 使用官方提供的环境配置文件安装依赖：

   conda env create -f environment.yml
   conda activate simpo
   

   注：如果网络较慢，可在创建环境后手动配置 pip/conda 国内镜像源加速后续包的安装。

3. 验证安装 确保核心库（如 transformers, accelerate, trl 等）已正确安装且版本匹配。

基本使用

SimPO 的核心在于调整关键超参数进行训练。以下是基于现有脚本启动训练的最简流程。

1. 准备数据与配置

确保你已准备好偏好数据集（包含 chosen 和 rejected 回答）。项目提供了针对 Llama3 和 Gemma 系列的示例配置文件，位于 training_configs/ 目录下。

2. 关键超参数设置

在运行训练前，请重点关注以下三个超参数（建议在固定总 batch size 为 128 的前提下调整）：

• learning_rate: 最关键参数。过大（如 1e-5）会导致模型崩溃。
  • 推荐网格搜索范围：3e-7, 5e-7, 8e-7, 1e-6。
  • 数学推理任务建议使用较小值（如 5e-7）。
• beta: 控制奖励缩放。SimPO 需要的值远大于 DPO。
  • 推荐起始值：2.0 或 2.5，部分场景下 10 效果更好。
• gamma_beta_ratio: 控制目标奖励边际（即 $\gamma / \beta$）。
  • 推荐起始值：0.5，搜索范围 0 到 1。

参考配置表：

模型设定	beta	gamma/beta	learning_rate
Mistral-Base	2.0	0.8	3e-7
Llama3-Instruct	2.5	0.55	1e-6
Gemma-2-IT	10	0.5	8e-7

3. 启动训练

使用提供的训练脚本启动任务。以下以 Llama3-Instruct 为例：

python scripts/simpo_trainer.py \
    --config training_configs/llama-3-8b-instruct-simpo-v2.yaml \
    --output_dir ./outputs/llama3-simpo

注意：若需添加 SFT 损失以防止推理能力遗忘，可在配置中将 sft_weight 设为正值（默认为 0）。

4. 评估注意事项

• Tokenizer 版本: 对于 Llama3 模型，评估时（特别是在 AlpacaEval 2 和 Arena-Hard 上）请务必使用更新前的 Llama3 tokenizer，以确保 Prompt 中仅包含一个 BOS token，避免结果偏差。
• AlpacaEval 复现: 若要复现论文中的 AlpacaEval 2 分数，必须使用 alpaca-eval==0.6.2 版本及仓库内 eval/alpacaeval2/configs 下的配置文件。