在线 RLHF

TL;DR：这是一个使用在线迭代 RLHF对大型语言模型（LLMs）进行对齐的仓库。同时请查看我们的技术报告和Huggingface 仓库！

我们介绍了在线迭代人类反馈强化学习（RLHF）的工作流程，该方法在最近的 LLM 文献中被广泛报道为显著优于离线版本。然而，现有的开源 RLHF 项目大多仍局限于离线学习场景。在此仓库中，我们旨在填补这一空白，并提供一套易于复现的详细方案，用于实现在线迭代 RLHF。特别地，借助我们的方案，仅使用开源数据，我们就能达到与 LLaMA3-8B-instruct 相当甚至更好的效果。

模型发布

SFT 模型：更多 SFT 检查点请见这里，数据集请参阅RLHFlow/RLHFlow-SFT-Dataset-ver2。

• RLHFlow/LLaMA3-SFT：v1.0，训练 1 个 epoch
• RLHFlow/LLaMA3-SFT-v2：v2.0，训练 2 个 epoch
• RLHFlow/Llama3-SFT-v2.0-epoch1
• RLHFlow/Llama3-SFT-v2.0-epoch3

奖励模型：更多奖励模型请见这里。

• 奖励模型：布拉德利-特里模型
• RLHFlow/pair-preference-model-LLaMA3-8B：生成式成对偏好模型
• RLHFlow/ArmoRM-Llama3-8B-v0.1：多头奖励模型，采用专家混合聚合机制

RLHF 模型：

• RLHF 模型：基于 RLHFlow/LLaMA3-SFT 训练
• RLHF 模型 v2 iter1：基于 RLHFlow/LLaMA3-SFT-v2 训练
• RLHF 模型 v2 iter2：基于 RLHFlow/LLaMA3-SFT-v2 训练
• RLHF 模型 v2 iter3：基于 RLHFlow/LLaMA3-SFT-v2 训练

模型	LC AlpacaEval	MATH	GSM8K	HumanEval	HumanEval+	MMLU	ARC-c	Truthful QA
RLHFlow/LLaMA3-SFT	12.47 (1146 token)	30	76.9	0.634	0.561	0.6462	0.5862	0.5345
RLHFlow/LLaMA3-SFT-v2	12.66 (1175 token)	41.1	83.4	0.665	0.616	0.648	0.5998	0.5393
RLHFlow/LLaMA3-iterative-DPO-final (v1)	30.9	31.3	82.1	0.64	0.585	0.6545	0.628	0.6216
RLHFlow/Llama3-v2-iterative-DPO-iter1	-	43	85.3	0.634	0.585	0.6494	0.634	0.5955
RLHFlow/Llama3-v2-iterative-DPO-iter2	-	43.8	84.8	0.671	0.591	0.6477	0.651	0.6331
RLHFlow/Llama3-v2-iterative-DPO-iter3	31.31 (2157 token)	44.4	85.3	0.683	0.622	0.6466	0.6596	0.6473
meta-llama/Meta-Llama-3-8B-Instruct	22.9	26.3	70.2	0.64	0.567	0.6561	0.5819	0.5166
meta-llama/Llama-3.1-8B-Instruct	20.9	50	86.5	0.689	0.622	0.682	0.558	0.5408

安装说明

建议为推理和训练分别设置两个独立的环境。

请注意，numpy 版本应为 numpy<2.0。Numpy 2.0 会出现意外问题！！！

SFT 环境

conda create -n sft python=3.10.9
conda activate sft

## 获取 axolotl 以用于通用模型
git clone https://github.com/OpenAccess-AI-Collective/axolotl
cd axolotl
git checkout 55cc214c767741e83ee7b346e5e13e6c03b7b9fa
pip install -e .

# 测试的 CUDA 版本为 12.1、12.2。您可能需要根据自己的 CUDA 版本更新 PyTorch 版本……
# 您可能会遇到与 CUDA 和 flash-attn 相关的未定义符号错误，而 2.1.2 可以解决这个问题……
pip3 install torch==2.1.2 torchvision torchaudio
pip install flash-attn

# 修复 axolotl 的一个错误：ModuleNotFoundError: 没有名为 'pynvml.nvml' 的模块；'pynvml' 不是包
pip install nvidia-ml-py3
# 同时编辑 axolotl/src/axolotl/utils/bench.py（第 6 行）为：``from pynvml import NVMLError''

获取 FastChat

git clone https://github.com/lm-sys/FastChat.git cd FastChat pip install -e .

git clone https://github.com/WeiXiongUST/RLHF-Reward-Modeling.git pip install deepspeed

您还需要安装 wandb 来记录训练过程，并使用 HuggingFace 账号登录以访问 Gemma。

```shell
pip install wandb
wandb login

huggingface-cli login

推理环境

conda create -n vllm python=3.10.9
conda activate vllm
pip install datasets

# 以下代码已在 CUDA12.0-12.2 和 CUDA12.6 上测试过。
# 如果要开发 llama-3、mistral、gemma-1、1.1、2、deepseek，可以考虑使用以下 vllm 版本
pip install vllm==0.5.4

pip install accelerate==0.33.0
pip install deepspeed==0.14.5
pip install transformers==4.43.4
pip install numpy==1.26.4 #请注意，numpy 版本应为 `numpy<2.0`。`Numpy 2.0` 会遇到意外问题！！！

训练环境

conda create -n rlhflow python=3.10.9
conda activate rlhflow

git clone https://github.com/huggingface/alignment-handbook.git
cd ./alignment-handbook/
git checkout 27f7dbf00663dab66ad7334afb7a1311fa251f41
pip3 install torch==2.1.2 torchvision torchaudio
python -m pip install .
pip install flash-attn==2.6.3
pip install accelerate==0.33.0
pip install huggingface-hub==0.24.7

您还需要安装 wandb 来记录训练过程，并使用您的 HuggingFace 账号登录，以便访问 LLaMA3 模型。

pip install wandb==0.17.7

wandb login
huggingface-cli login

开始使用

本节将提供逐步指导。

第一步：监督微调

我们需要将 SFT 数据处理成标准格式。示例请参阅RLHFlow/RLHFlow-SFT-Dataset-ver2。

cd sft
torchrun --nproc_per_node 8 --master_port 20001 -m axolotl.cli.train llama3-8b-it.yaml

您也可以通过命令行或修改 llama3-8b-it.yaml 中的 ScriptArguments 来调整学习率、批量大小、输出路径等。如果遇到内存不足的问题，可以使用 Gemma-2b-it 并结合 deepspeed stage 3 和梯度检查点（在配置中设置）来运行代码。

torchrun --nproc_per_node 8 --master_port 20001 -m axolotl.cli.train llama3-8b-it.yaml --deepspeed ../configs/deepspeed_stage3.json

第2步 奖励建模

我们建议感兴趣的读者参考这个仓库，其中提供了训练当前最先进开源奖励/偏好模型的详细流程。我们已经训练了多个奖励模型，并将其发布在Hugging Face上，例如sfairXC/FsfairX-LLaMA3-RM-v0.1、RLHFlow/pair-preference-model-LLaMA3-8B、RLHFlow/ArmoRM-Llama3-8B-v0.1，这些都是截至目前（2024年5月）最先进的开源奖励模型。

第3.1步 数据生成

我们在Hugging Face上准备了一些提示词集合：

• UltraFeedback RLHFlow/ultrafeedback_iter1、RLHFlow/ultrafeedback_iter2、RLHFlow/ultrafeedback_iter3
• RLHFlow/iterative-prompt-v1-iter1-20K、RLHFlow/iterative-prompt-v1-iter2-20K、RLHFlow/iterative-prompt-v1-iter3-20K……

为了加速数据生成，我们使用VLLM。我们准备了两种使用VLLM进行推理的方式，以实现更稳健的部署，您可以尝试并选择最适合您环境的一种。这里以LLaMA3-8B为例。

您可以创建一个test_gen.sh文件，将以下内容复制到该文件中，然后运行bash test_gen.sh。

# 方法一：初始化4个VLLM进程，并将提示词集分配给这4个代理
# 生成的样本将存储在output_dir + local_index + ".jsonl"中

my_world_size=8 # 您使用的GPU数量
infer_model=RLHFlow/LLaMA3-SFT
prompt_dir=RLHFlow/test_generation_2k
mkdir data
output_dir=./data/gen_data

conda activate vllm
CUDA_VISIBLE_DEVICES=0 python ./generation/gen_hf2.py --model_name_or_path ${infer_model} --dataset_name_or_path ${prompt_dir} --output_dir ${output_dir} --K 4 --temperature 1.0 --local_index 0 --my_world_size ${my_world_size}  &
CUDA_VISIBLE_DEVICES=1 python ./generation/gen_hf2.py --model_name_or_path ${infer_model} --dataset_name_or_path ${prompt_dir} --output_dir ${output_dir} --K 4 --temperature 1.0 --local_index 1 --my_world_size ${my_world_size}  &
CUDA_VISIBLE_DEVICES=2 python ./generation/gen_hf2.py --model_name_or_path ${infer_model} --dataset_name_or_path ${prompt_dir} --output_dir ${output_dir} --K 4 --temperature 1.0 --local_index 2 --my_world_size ${my_world_size}  &
CUDA_VISIBLE_DEVICES=3 python ./generation/gen_hf2.py --model_name_or_path ${infer_model} --dataset_name_or_path ${prompt_dir} --output_dir ${output_dir} --K 4 --temperature 1.0 --local_index 3 --my_world_size ${my_world_size}  &
CUDA_VISIBLE_DEVICES=4 python ./generation/gen_hf2.py --model_name_or_path ${infer_model} --dataset_name_or_path ${prompt_dir} --output_dir ${output_dir} --K 4 --temperature 1.0 --local_index 4 --my_world_size ${my_world_size}  &
CUDA_VISIBLE_DEVICES=5 python ./generation/gen_hf2.py --model_name_or_path ${infer_model} --dataset_name_or_path ${prompt_dir} --output_dir ${output_dir} --K 4 --temperature 1.0 --local_index 5 --my_world_size ${my_world_size}  &
CUDA_VISIBLE_DEVICES=6 python ./generation/gen_hf2.py --model_name_or_path ${infer_model} --dataset_name_or_path ${prompt_dir} --output_dir ${output_dir} --K 4 --temperature 1.0 --local_index 6 --my_world_size ${my_world_size}  &
CUDA_VISIBLE_DEVICES=7 python ./generation/gen_hf2.py --model_name_or_path ${infer_model} --dataset_name_or_path ${prompt_dir} --output_dir ${output_dir} --K 4 --temperature 1.0 --local_index 7 --my_world_size ${my_world_size}  &

# 然后，我们将这8个数据集合并为一个。
wait
python ./generation/merge_data.py --base_path ${output_dir} --output_dir ./data/gen_data.json --num_datasets ${my_world_size}

我们也可以使用API服务器来生成新的响应。

mkdir data
conda activate vllm

# 注册API服务器
bash ./generation/register_server.sh RLHFlow/LLaMA3-SFT

# 开始生成
python ./generation/gen_hf.py --ports 8000 8001 8002 8003 8004 8005 8006 8007 --tokenizer RLHFlow/LLaMA3-SFT --dataset_name_or_path RLHFlow/test_generation_2k --output_dir ./data/gen_data.jsonl --K 4 --temperature 1.0

第3.2步 数据标注

接下来，我们调用第2步中训练好的奖励/偏好模型对生成的响应进行排序。

accelerate launch ./annotate_data/get_rewards.py --dataset_name_or_path ./data/gen_data.jsonl --output_dir ./data/data_with_rewards.jsonl --K 4

如果您遇到``TypeError: Got unsupported ScalarType BFloat16''错误，请考虑调整您的transformers版本。

第3.3步 训练

conda activate rlhflow
accelerate launch --config_file ./configs/zero2.yaml dpo_iteration/run_dpo.py ./configs/training.yaml

如果您遇到``RuntimeError: CUDA error: invalid device ordinal, CUDA kernel errors might be asynchronously reported at some other API call''错误，您需要根据自己的GPU数量调整配置文件中的num_of_process参数。

整体流程

我们将所有步骤整合在一起，以便迭代训练能够自动运行。请注意，我们设置了sleep 1m来等待API注册完成以便进行推理。您可能需要根据自己的环境调整这个参数。

bash run_loop2.sh

致谢

作者谨向优秀的开源社区表示感谢，包括Hugging Face TRL团队、Hugging Face H4团队、Allen Institute AI RewardBench团队、Meta LLaMA团队、evalplus团队以及Axolotl团队，感谢他们分享的模型、代码和训练数据集。

引用

如果您觉得本仓库的内容有用，请考虑按如下方式引用：

@misc{dong2024rlhf,
      title={RLHF工作流：从奖励建模到在线RLHF}, 
      author={Hanze Dong、Wei Xiong、Bo Pang、Haoxiang Wang、Han Zhao、Yingbo Zhou、Nan Jiang、Doyen Sahoo、Caiming Xiong、Tong Zhang},
      year={2024},
      eprint={2405.07863},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}
@inproceedings{xiong2023iterative,
  title={基于人类反馈的迭代偏好学习：在KL约束下弥合理论与实践的差距——关于RLHF的研究},
  author={Xiong, Wei、Dong, Hanze、Ye, Chenlu、Wang, Ziqi、Zhong, Han、Ji, Heng、Jiang, Nan、Zhang, Tong},
  booktitle={ICLR 2024基础模型的数学与经验理解研讨会}
}

Online-RLHF 快速上手指南

Online-RLHF 是一个用于通过**在线迭代强化学习人类反馈（Online Iterative RLHF）**来对齐大语言模型（LLM）的开源项目。该项目仅使用开源数据即可达到媲美甚至超越 LLaMA3-8B-Instruct 的效果。

1. 环境准备

系统要求

• 操作系统: Linux (推荐 Ubuntu)
• Python 版本: 3.10.9
• CUDA 版本: 推荐 12.1 - 12.2 (已测试兼容 12.0-12.6)
• GPU: 建议多卡环境以加速训练和推理

重要依赖警告

• NumPy 版本必须小于 2.0 (numpy<2.0)，否则会遇到未知错误。
• 需要注册并登录 Hugging Face 账号以访问 LLaMA3 等模型。
• 需要注册 Weights & Biases (wandb) 账号以记录训练日志。

---

2. 安装步骤

本项目建议为推理、SFT 训练和RLHF 训练分别创建独立的 Conda 环境。

2.1 SFT 环境 (监督微调)

conda create -n sft python=3.10.9
conda activate sft

# 安装 Axolotl (用于通用模型微调)
git clone https://github.com/OpenAccess-AI-Collective/axolotl
cd axolotl
git checkout 55cc214c767741e83ee7b346e5e13e6c03b7b9fa
pip install -e .

# 安装 PyTorch 和 Flash-Attention (根据 CUDA 版本调整 torch 版本)
pip3 install torch==2.1.2 torchvision torchaudio
pip install flash-attn

# 修复 Axolotl 依赖问题
pip install nvidia-ml-py3
# 注意：需手动编辑 axolotl/src/axolotl/utils/bench.py 第 6 行，改为: from pynvml import NVMLError

# 安装 FastChat 和 Reward Modeling 相关依赖
cd ..
git clone https://github.com/lm-sys/FastChat.git
cd FastChat
pip install -e .

cd ..
git clone https://github.com/WeiXiongUST/RLHF-Reward-Modeling.git
pip install deepspeed

# 登录 WandB 和 HuggingFace
pip install wandb
wandb login
huggingface-cli login

2.2 推理环境 (Data Generation)

conda create -n vllm python=3.10.9
conda activate vllm

pip install datasets

# 安装 vLLM 及相关依赖 (适配 LLaMA3, Mistral 等)
pip install vllm==0.5.4
pip install accelerate==0.33.0
pip install deepspeed==0.14.5
pip install transformers==4.43.4

# 【关键】锁定 NumPy 版本
pip install numpy==1.26.4

2.3 RLHF 训练环境

conda create -n rlhflow python=3.10.9
conda activate rlhflow

# 安装 Alignment Handbook
git clone https://github.com/huggingface/alignment-handbook.git
cd ./alignment-handbook/
git checkout 27f7dbf00663dab66ad7334afb7a1311fa251f41

pip3 install torch==2.1.2 torchvision torchaudio
python -m pip install .

# 安装其他关键依赖
pip install flash-attn==2.6.3
pip install accelerate==0.33.0
pip install huggingface-hub==0.24.7
pip install wandb==0.17.7

# 登录账号
wandb login
huggingface-cli login

---

3. 基本使用流程

以下是实现一次完整在线迭代 RLHF 的核心步骤。

第一步：监督微调 (SFT)

将数据处理为标准格式（参考 RLHFlow/RLHFlow-SFT-Dataset-ver2），然后启动训练。

cd sft
# 单卡或多卡训练示例
torchrun --nproc_per_node 8 --master_port 20001 -m axolotl.cli.train llama3-8b-it.yaml

注：若显存不足，可添加 --deepspeed ../configs/deepspeed_stage3.json 参数。

第二步：奖励模型 (Reward Modeling)

使用已有的开源奖励模型或对数据进行标注。项目提供了多个 SOTA 奖励模型（如 sfairXC/FsfairX-LLaMA3-RM-v0.1）。详细训练方法可参考 RLHF-Reward-Modeling。

第三步：数据生成与标注 (Data Generation & Annotation)

3.1 生成数据

使用 vLLM 加速生成回复。创建 test_gen.sh 并运行：

my_world_size=8 
infer_model=RLHFlow/LLaMA3-SFT
prompt_dir=RLHFlow/test_generation_2k
mkdir data
output_dir=./data/gen_data

conda activate vllm
# 并行启动多个生成进程
CUDA_VISIBLE_DEVICES=0 python ./generation/gen_hf2.py --model_name_or_path ${infer_model} --dataset_name_or_path ${prompt_dir} --output_dir ${output_dir} --K 4 --temperature 1.0 --local_index 0 --my_world_size ${my_world_size}  &
CUDA_VISIBLE_DEVICES=1 python ./generation/gen_hf2.py --model_name_or_path ${infer_model} --dataset_name_or_path ${prompt_dir} --output_dir ${output_dir} --K 4 --temperature 1.0 --local_index 1 --my_world_size ${my_world_size}  &
# ... (根据 GPU 数量继续启动其他进程，直至 my_world_size-1)

wait
# 合并生成的数据
python ./generation/merge_data.py --base_path ${output_dir} --output_dir ./data/gen_data.json --num_datasets ${my_world_size}

3.2 标注数据

使用奖励模型对生成的回复进行打分排序：

accelerate launch ./annotate_data/get_rewards.py --dataset_name_or_path ./data/gen_data.jsonl --output_dir ./data/data_with_rewards.jsonl --K 4

注：若遇到 BFloat16 类型错误，请检查并调整 transformers 版本。

第四步：迭代训练 (DPO Training)

切换到 rlhflow 环境开始 DPO 迭代训练：

conda activate rlhflow
accelerate launch --config_file ./configs/zero2.yaml dpo_iteration/run_dpo.py ./configs/training.yaml

注：若遇到 invalid device ordinal 错误，请根据实际 GPU 数量修改配置文件中的 num_of_process。

自动化全流程

项目支持将上述步骤整合为自动迭代脚本。使用时请注意调整脚本中的等待时间（如 sleep 1m），以确保 API 服务注册完成。