RLHF-奖励建模

结构

该项目的初始版本专注于布拉德利-特里奖励建模和成对偏好模型。此后，我们引入了更多先进的技术来构建偏好模型。项目的结构如下：

• bradley-terry-rm 用于训练经典的布拉德利-特里奖励模型；
• pair-pm 用于训练成对偏好模型，该模型以一个提示和两个回答作为输入，直接预测第一个回答更受偏好的概率。我们将这一问题形式化为用户与模型之间的对话，以利用模型的下一个 token 预测能力，这种做法在后续文献中被称为生成式奖励模型。
  • SSRM：论文《通过迭代自训练的半监督奖励建模》（arXiv:2409.06903）的代码实现；
  • RRM：利用因果推断扩充偏好数据集，并缓解奖励欺骗问题。详情参见 arXiv:2409.13156v1。
• armo-rm 用于训练 ArmoRM，该模型以多目标奖励模型为基础，通过上下文相关的专家混合方法对奖励向量进行聚合。具体细节请参阅我们的技术报告《[ArmoRM] 基于多目标奖励建模与专家混合的可解释偏好》（arXiv:2406.12845）。
• odin-rm 用于将奖励建模从长度偏差中解耦。详情参见 arXiv:2402.07319。
• math-rm：用于使用下一个 token 预测来训练过程监督奖励（PRM）和结果监督奖励（ORM）的代码。我们开源了数据、代码、超参数和模型，提供一套易于复现且稳健的方案。
• decision_tree：用于使用和训练决策树奖励模型的代码。技术细节请参阅文章《通过决策树视角解读语言模型偏好》（rlhflow.github.io/posts/2025-01-22-decision-tree-reward-model/）。

新闻

🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥

🚀 [2025年1月] 决策树奖励模型训练代码已在decision_tree/文件夹下发布！Decision-Tree-Reward-Gemma-2-27B 在RewardBench上取得了新的最先进分数（95.4%）！

🚀 [2024年11月] PRM和ORM的训练代码已在math-rm/文件夹下发布！

🚀 [2024年9月] ArmoRM的训练代码已在armo-rm/文件夹下发布！

🚀 [2024年9月] 关于通过迭代自训练进行半监督奖励建模的代码已在pair-pm/文件夹下发布。

🚀 [2024年6月] 我们的ArmoRM 是RewardBench上排名第一的8B模型！

🚀 [2024年5月] RewardBench上排名前三的开源8B奖励模型（ArmoRM, Pair Pref. Model, BT RM）均使用本仓库训练而成！

🚀 [2024年5月] 成对偏好模型 的训练代码现已开放（pair-pm/）！

🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥

• 技术报告

  • RLHF工作流：从奖励建模到在线RLHF
  • [ArmoRM] 通过多目标奖励建模和专家混合实现可解释的偏好
  • 通过迭代自训练进行半监督奖励建模

• 模型：

  • 绝对评分多目标奖励模型（ArmoRM）：ArmoRM-Llama3-8B-v0.1
  • 成对偏好奖励模型：pair-preference-model-LLaMA3-8B
  • 布拉德利-特里奖励模型：FsfairX-LLaMA3-RM-v0.1

• 架构

  • 布拉德利-特里（BT）奖励模型和成对偏好模型
  • 绝对评分多目标奖励模型（ArmoRM）

• RewardBench排行榜

  

  模型	基础模型	方法	分数	对话	困难题对话	安全性	理性思考	先验集合（0.5权重）
  ArmoRM-Llama3-8B-v0.1 （我们）	Llama-3 8B	ArmoRM + MoE	89.0	96.9	76.8	92.2	97.3	74.3
  Cohere 2024年5月	未知	未知	88.2	96.4	71.3	92.7	97.7	78.2
  pair-preference-model （我们）	Llama-3 8B	SliC-HF	85.7	98.3	65.8	89.7	94.7	74.6
  GPT-4 Turbo（0125版本）	GPT-4 Turbo	LLM作为裁判	84.3	95.3	74.3	87.2	86.9	70.9
  FsfairX-LLaMA3-RM-v0.1 （我们）	Llama-3 8B	布拉德利-特里	83.6	99.4	65.1	87.8	86.4	74.9
  Starling-RM-34B	Yi-34B	布拉德利-特里	81.4	96.9	57.2	88.2	88.5	71.4

• 评估结果（摘自RLHF工作流）

  

简而言之：这是一个用于训练基于DRL的RLHF（PPO）[1]、迭代SFT（拒绝采样微调）[2]以及迭代DPO[3]的奖励/偏好模型的仓库。

• 4块A40 48G显卡：我们可以使用Deepspeed Zero-3 + 梯度检查点，以max_length 4096训练Gemma-7B-it；
• 4块A100 80G显卡：我们可以使用梯度检查点训练Gemma-7B-it，max_length同样为4096；
• 训练得到的奖励模型在RewardBench排行榜上达到了开源RMs的最先进水平。
• 欢迎查看我们的博客文章！

安装说明

建议为布拉德利-特里奖励模型和成对偏好模型分别创建独立的环境。安装说明已在相应文件夹中提供。

数据集准备

数据集应按标准格式进行预处理，其中每个样本包含两个对话“选择”和“拒绝”，且它们共享相同的提示。以下是对比对中的拒绝样本示例。

[
{ "content": "请列出世界上最稀有的五种动物。", "role": "user" },
{ "content": "您是指真正稀有的动物，还是相对于人类人口数量而言稀有的动物呢？", "role": "assistant" },
{ "content": "是真正稀有的那些。", "role": "user" },
{ "content": "好的，这是我找到的：", "role": "assistant" }, 
]

我们将许多开源偏好数据集预处理为标准格式，并上传至Hugging Face Hub。您可以在这里找到这些数据集。此外，我们还搜索并发现以下一些混合偏好数据集非常有用。

• hendrydong/preference_700K
• RLHFlow/UltraFeedback-preference-standard，详细信息可在数据集卡片中查阅。

评估结果

您可以使用 benchmark 提供的数据集，通过以下命令对生成的奖励模型进行评估。

CUDA_VISIBLE_DEVICES=1 python ./useful_code/eval_reward_bench_bt.py --reward_name_or_path ./models/gemma_2b_mixture2_last_checkpoint --record_dir ./bench_mark_eval.txt

待办事项

• 布拉德利-特里奖励模型
• 偏好模型
• 多目标奖励模型
• LLM作为评判者

我们的模型和代码已应用于多项学术研究项目，例如：

1. Xu Zhangchen 等人：“Magpie：从零开始，仅通过提示对齐的LLM合成对齐数据。”
2. Chen, Lichang 等人：“OPTune：高效的在线偏好调优。”
3. Xie, Tengyang 等人：“探索性偏好优化：利用隐式Q*-近似实现样本高效的RLHF。” arXiv预印本 arXiv:2405.21046 (2024)。
4. Zhong, Han 等人：“DPO遇上PPO：用于RLHF的强化标记优化。” arXiv预印本 arXiv:2404.18922 (2024)。
5. Zheng, Chujie 等人：“弱到强的外推加速了对齐过程。” arXiv预印本 arXiv:2404.16792 (2024)。
6. Ye, Chenlu 等人：“在一般KL正则化偏好下，基于人类反馈的纳什学习的理论分析。” arXiv预印本 arXiv:2402.07314 (2024)。
7. Chen, Ruijun 等人：“用于策略优化的自进化微调”
8. Li Bolian 等人：“用于高效解码时对齐的级联奖励采样”
9. Zhang, Yuheng 等人：“迭代纳什策略优化：通过无悔学习将LLM与一般偏好对齐”
10. Lin Tzu-Han 等人：“DogeRM：通过模型融合为奖励模型注入领域知识”
11. Yang Rui 等人：“隐藏状态正则化使LLM能够学习通用奖励模型”
12. Junsoo Park 等人：“OffsetBias：利用去偏数据调优评估者”
13. Meng Yu 等人：“SimPO：无需参考奖励的简单偏好优化”
14. Song Yifan 等人：“善、恶与贪婪：LLM的评估不应忽视非确定性”
15. Wenxuan Zhou 等人：“WPO：通过加权偏好优化增强RLHF”
16. Han Xia 等人：“逆Q*：无需偏好数据即可对大型语言模型进行对齐的标记级强化学习”
17. Wang Haoyu 等人：“通过生成不安全解码路径探测大型语言模型的安全响应边界”
18. He Yifei 等人：“通过迭代自训练进行半监督奖励建模”
19. Tao leitian 等人：“你的弱LLM其实是对齐的强大教师”
20. Guijin Son 等人：“LLM作为评判者与奖励模型：它们能做什么，不能做什么”
21. Nicolai Dorka 等人：“在RLHF中使用分位数回归构建分布型奖励模型”
22. Zhaolin Gao 等人：“Rebel：通过回归相对奖励进行强化学习”

贡献者

感谢迄今为止的所有贡献者（由 contrib.rocks 制作）。

引用

如果您在工作中发现本仓库的内容有所帮助，请考虑引用：

@article{dong2024rlhf,
  title={RLHF工作流：从奖励建模到在线RLHF},
  author={Dong, Hanze and Xiong, Wei and Pang, Bo and Wang, Haoxiang and Zhao, Han and Zhou, Yingbo and Jiang, Nan and Sahoo, Doyen and Xiong, Caiming and Zhang, Tong},
  journal={arXiv预印本 arXiv:2405.07863},
  year={2024}
}

@inproceedings{ArmoRM,
      title={通过多目标奖励建模和专家混合实现可解释的偏好}, 
      author={Haoxiang Wang and Wei Xiong and Tengyang Xie and Han Zhao and Tong Zhang},
      booktitle={2024年自然语言处理经验方法会议},
      year={2024}
}

@article{xiong2024iterative,
      title={基于人类反馈的迭代偏好学习：在KL约束下弥合RLHF的理论与实践}, 
      author={Wei Xiong and Hanze Dong and Chenlu Ye and Ziqi Wang and Han Zhong and Heng Ji and Nan Jiang and Tong Zhang},
      year={2024},
      journal={ICML}
}

RLHF-Reward-Modeling 快速上手指南

本指南帮助开发者快速部署并使用 RLHF-Reward-Modeling 项目，用于训练基于 Bradley-Terry、成对偏好（Pairwise Preference）、多目标（ArmoRM）等架构的奖励模型。该仓库产出的模型在 RewardBench 榜单上表现优异，适用于 PPO、DPO 及迭代式 SFT 等对齐流程。

环境准备

系统要求

• 操作系统: Linux (推荐 Ubuntu 20.04+)
• GPU:
  • 训练 Gemma-7B (max_length 4096): 推荐 4x A100 80G 或 4x A40 48G。
  • 较小模型或推理：单卡 24G+ 显存即可尝试。
• 软件依赖:
  • Python 3.8+
  • CUDA 11.8+
  • PyTorch 2.0+
  • DeepSpeed (用于分布式训练)

前置依赖

确保已安装 git 和 conda (或 venv)。由于本项目包含多种不同架构的模型（如 BT, Pair-PM, ArmoRM），强烈建议为不同的子模块创建独立的虚拟环境，以避免依赖冲突。

安装步骤

本项目采用模块化结构，不同模型的训练代码位于不同子目录中。请根据你要训练的模型类型选择对应的安装方式。

1. 克隆仓库

git clone https://github.com/RLHFlow/RLHF-Reward-Modeling.git
cd RLHF-Reward-Modeling

2. 安装特定模块依赖

由于 README 指出各子文件夹包含具体的安装说明，以下是通用安装逻辑（以 Bradley-Terry 和 Pairwise 为例）：

方案 A: 训练经典 Bradley-Terry 奖励模型

# 创建独立环境
conda create -n bt-rm python=3.10 -y
conda activate bt-rm

# 进入对应目录并安装依赖 (具体 requirements 请参考子目录)
cd bradley-terry-rm
pip install -r requirements.txt
# 若无具体要求文件，通常需安装基础库：
# pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
# pip install transformers datasets accelerate deepspeed

方案 B: 训练成对偏好模型 (Pairwise Preference Model / Generative RM)

# 创建独立环境
conda create -n pair-pm python=3.10 -y
conda activate pair-pm

# 进入对应目录
cd ../pair-pm
pip install -r requirements.txt

方案 C: 训练 ArmoRM (多目标奖励模型)

conda create -n armo-rm python=3.10 -y
conda activate armo-rm
cd ../armo-rm
pip install -r requirements.txt

提示: 如果下载依赖较慢，可使用国内镜像源加速： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

1. 数据准备

模型训练需要标准格式的偏好数据集。每条样本包含一个 prompt 和两个回复（chosen 和 rejected）。

数据格式示例 (JSONL):

[
  {
    "prompt": [
      {"content": "Please identify the top 5 rarest animals in the world.", "role": "user"}
    ],
    "chosen": [
      {"content": "Here are the top 5...", "role": "assistant"}
    ],
    "rejected": [
      {"content": "Do you mean animals that are really rare...?", "role": "assistant"},
      {"content": "Alright, here's what I found:", "role": "assistant"}
    ]
  }
]

推荐数据集: 项目作者已预处理多个开源数据集并上传至 Hugging Face，可直接加载：

• RLHFlow 标准格式偏好数据集集合
• hendrydong/preference_700K
• RLHFlow/UltraFeedback-preference-standard

2. 启动训练

进入对应子目录后，参照该目录下的脚本启动训练。通常使用 deepspeed 进行多卡加速。

示例命令 (Bradley-Terry 模式):

# 假设在当前子目录下有 train.py 和 ds_config.json
deepspeed --num_gpus=4 train.py \
    --model_name_or_path meta-llama/Meta-Llama-3-8B \
    --dataset_path RLHFlow/UltraFeedback-preference-standard \
    --output_dir ./models/bt-llama3-8b \
    --per_device_train_batch_size 4 \
    --gradient_accumulation_steps 4 \
    --learning_rate 1e-5 \
    --num_train_epochs 1 \
    --deepspeed ds_config_zero3.json

(注：具体参数请以各子目录 README.md 或脚本帮助信息为准)

3. 模型评估

训练完成后，可使用 RewardBench 数据集进行评估。项目提供了评估脚本。

评估命令示例:

CUDA_VISIBLE_DEVICES=1 python ./useful_code/eval_reward_bench_bt.py \
    --reward_name_or_path ./models/gemma_2b_mixture2_last_checkpoint \
    --record_dir ./bench_mark_eval.txt

4. 直接使用预训练模型

如果无需重新训练，可直接通过 Hugging Face 加载官方提供的 SOTA 模型：

from transformers import AutoModelForSequenceClassification, AutoTokenizer

# 加载 ArmoRM (当前 8B 级别 Rank #1)
model_name = "RLHFlow/ArmoRM-Llama3-8B-v0.1"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(model_name, trust_remote_code=True)

# 推理逻辑需参考具体模型的 technical report 或 model card