MOSS-RLHF

恭喜🎉🎉🎉 我们在 NIPS 2023 指令微调与指令遵循研讨会上荣获 最佳论文奖！

庆祝🎉🎉🎉, "大型语言模型中RLHF的奥秘 第一部分：PPO" 荣获 NIPS 2023 Workshop on Instruction Tuning and Instruction Following 最佳论文奖！！！

MOSS-RLHF 👉 [首页]

"大型语言模型中RLHF的奥秘 第一部分：PPO" 👉 [技术报告I]

"大型语言模型中RLHF的奥秘 第二部分：奖励建模" 👉 [技术报告II]

🌟🌟🌟 最新消息

👉 2024年1月15日，星期一。我们发布了训练奖励模型的代码以及标注了偏好强度的hh-rlhf数据集(hh-rlhf-strength-cleaned)！

👉 2024年1月12日，星期五。我们发布了第二篇论文 "大型语言模型中RLHF的奥秘 第二部分：奖励建模"！

🌟 新闻

👉 2023年7月12日，星期三。我们发布了基于OpenChineseLlama-7B的中文奖励模型！ moss-rlhf-reward-model-7B-zh <br>

👉 2023年7月13日，星期四。我们发布了基于Llama-7B的英文奖励模型和SFT模型！ moss-rlhf-reward-model-7B-en

moss-rlhf-sft-model-7B-en <br>

👉 等等！2023年7月14日，星期四。我们发布了经过RLHF对齐后的英文策略模型！ moss-rlhf-policy-model-7B-en <br>

🧾 开源列表

RL相关

• 大型语言模型中RL训练的开源代码。
• 基于openChineseLlama的7B中文奖励模型。
• 基于Llama-7B的7B英文奖励模型。
• 英文版的SFT模型。
• 经过RLHF对齐后的英文策略模型。

RM相关

• 大型语言模型中奖励模型训练的开源代码。
• 包含偏好强度标注的HH-RLHF数据集。
• 经GPT-4清理过的HH-RLHF验证集。
• ...

🌠 引言

由于奖励函数设计、环境交互以及智能体训练等方面的挑战，再加上大型语言模型需要付出巨大的试错成本，这使得AI研究人员在推动技术对齐和确保LLM安全落地方面面临巨大障碍。目前，RLHF的稳定训练仍然是一个难题。 在这份技术报告中，我们旨在帮助研究人员通过人类反馈更稳定地训练他们的模型。

我们的贡献总结如下：

1. 我们分别发布了具有竞争力的中文和英文奖励模型，这些模型具备良好的跨模型泛化能力，从而降低了重新标注人类偏好数据的成本；
2. 我们深入分析了PPO算法的工作原理，并提出了PPO-max算法以确保模型训练的稳定性；
3. 我们公开了完整的PPO-max代码，以确保当前处于SFT阶段的LLM能够更好地与人类需求保持一致。

🔩 需求与设置

本仓库适用于Python 3.8和PyTorch 1.13.1。

我们建议使用conda虚拟环境来运行代码。

步骤1：创建一个新的Python虚拟环境

conda update conda -n base -c defaults
conda create -n rlhf python=3.8
conda activate rlhf

步骤2：安装PyTorch和TensorBoard

conda install pytorch==1.13.1 pytorch-cuda=11.7 tensorboard -c pytorch -c nvidia

步骤3：安装剩余的依赖项

conda install datasets accelerate safetensors chardet cchardet -c huggingface -c conda-forge
pip3 install transformers sentencepiece einops triton==1.0.0 rouge jionlp==1.4.14 nltk sacrebleu cpm_kernels

apt install libaio-dev
DS_BUILD_OPS=1 pip install deepspeed

✨ 开始训练属于你的模型吧！

训练PPO模型

只需几个步骤即可运行代码。

步骤1：恢复奖励模型权重

由于协议限制，我们无法直接发布奖励模型的完整权重。 你可以将差分权重与原始Llama-7B合并，从而恢复我们所使用的奖励模型。

感谢tatsu-lab提供了差分模型，你可以按照以下步骤恢复奖励模型：

1) 将权重差分下载到本地。权重差分位于：
# 对于英文：
# SFT模型
https://huggingface.co/fnlp/moss-rlhf-sft-model-7B-en
# 奖励模型
https://huggingface.co/fnlp/moss-rlhf-reward-model-7B-en
# 策略模型
https://huggingface.co/fnlp/moss-rlhf-policy-model-7B-en

# 对于中文：
https://huggingface.co/Ablustrund/moss-rlhf-reward-model-7B-zh/tree/main

2) 将权重差分与原始Llama-7B合并：
# 对于英文：
# 奖励模型
python merge_weight_en.py recover --path_raw decapoda-research/llama-7b-hf --path_diff ./models/moss-rlhf-reward-model-7B-en/diff --path_tuned ./models/moss-rlhf-reward-model-7B-en/recover --model_type reward
# SFT模型
python merge_weight_en.py recover --path_raw decapoda-research/llama-7b-hf --path_diff ./models/moss-rlhf-sft-model-7B-en/diff --path_tuned ./models/moss-rlhf-sft-model-7B-en/recover --model_type sft
# 策略模型
python merge_weight_en.py recover --path_raw decapoda-research/llama-7b-hf --path_diff ./models/moss-rlhf-policy-model-7B-en/diff --path_tuned ./models/moss-rlhf-policy-model-7B-en/recover --model_type policy
# 对于中文：
python merge_weight_zh.py recover --path_raw decapoda-research/llama-7b-hf --path_diff ./models/moss-rlhf-reward-model-7B-zh/diff --path_tuned ./models/moss-rlhf-reward-model-7B-zh/recover

步骤2：选择你自己的SFT模型。

由于一些限制，我们暂时无法发布中文的SFT模型。 你可以使用自己的SFT模型，或者用一个强大的基础模型来替代我们的SFT模型。

步骤3：开始训练

运行下面的命令。

# 对于中文：

# 目前你需要使用自己的 SFT 模型。
bash train_ppo_zh.sh

# 英文版：
# 我们已将 SFT 模型和奖励模型上传至 Hugging Face。
bash train_ppo_en.sh

训练奖励模型

要训练奖励模型，你需要指定奖励模型的初始模型（--hf_model_name_or_path，例如 meta-llama/Llama-2-7b-hf）以及偏好数据集（--data_path，如 hh-rlhf；你也可以使用我们提供的 标注过的 hh-rlhf，其格式与训练代码一致），然后运行以下命令。

# 标注数据集：https://huggingface.co/datasets/fnlp/hh-rlhf-strength-cleaned
# 假设你已经指定了 --hf_model_name_or_path 和 --data_path 参数。
bash train_rm.sh

引用

@article{zheng2023secrets,
      title={大型语言模型中 RLHF 的秘密 第一部分：PPO}, 
      author={Rui Zheng、Shihan Dou、Songyang Gao、Wei Shen、Binghai Wang、Yan Liu、Senjie Jin、Qin Liu、Limao Xiong、Lu Chen、Zhiheng Xi、Yuhao Zhou、Nuo Xu、Wenbin Lai、Minghao Zhu、Rongxiang Weng、Wensen Cheng、Cheng Chang、Zhangyue Yin、Yuan Hua、Haoran Huang、Tianxiang Sun、Hang Yan、Tao Gui、Qi Zhang、Xipeng Qiu、Xuanjing Huang},
      year={2023},
      eprint={2307.04964},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

@misc{wang2024secrets,
      title={大型语言模型中 RLHF 的秘密 第二部分：奖励建模}, 
      author={Binghai Wang、Rui Zheng、Lu Chen、Yan Liu、Shihan Dou、Caishuang Huang、Wei Shen、Senjie Jin、Enyu Zhou、Chenyu Shi、Songyang Gao、Nuo Xu、Yuhao Zhou、Xiaoran Fan、Zhiheng Xi、Jun Zhao、Xiao Wang、Tao Ji、Hang Yan、Lixing Shen、Zhan Chen、Tao Gui、Qi Zhang、Xipeng Qiu、Xuanjing Huang、Zuxuan Wu、Yu-Gang Jiang},
      year={2024},
      eprint={2401.06080},
      archivePrefix={arXiv},
      primaryClass={cs.AI}
}

MOSS-RLHF 快速上手指南

MOSS-RLHF 是一个专注于大语言模型（LLM）人类反馈强化学习（RLHF）的开源项目，提供了稳定的 PPO 训练代码、奖励模型（Reward Model）训练方案以及中英文预训练模型权重。本项目荣获 NIPS 2023 Workshop 最佳论文奖，旨在降低 RLHF 的技术门槛，帮助研究者稳定地训练对齐人类的模型。

环境准备

本项目基于 Python 3.8 和 PyTorch 1.13.1 开发。推荐使用 conda 创建独立的虚拟环境以避免依赖冲突。

系统要求：

• 操作系统：Linux (推荐)
• Python 版本：3.8
• PyTorch 版本：1.13.1 (需匹配 CUDA 11.7)
• 硬件：支持 CUDA 的 NVIDIA GPU

安装步骤

请按照以下顺序执行命令来配置运行环境。

1. 创建并激活虚拟环境

conda update conda -n base -c defaults
conda create -n rlhf python=3.8
conda activate rlhf

2. 安装 PyTorch 和 TensorBoard

建议使用官方源安装指定版本的 PyTorch：

conda install pytorch==1.13.1 pytorch-cuda=11.7 tensorboard -c pytorch -c nvidia

3. 安装其他依赖

安装 HuggingFace 生态及相关工具库，并编译 DeepSpeed 算子：

conda install datasets accelerate safetensors chardet cchardet -c huggingface -c conda-forge
pip3 install transformers sentencepiece einops triton==1.0.0 rouge jionlp==1.4.14 nltk sacrebleu cpm_kernels

# 安装系统级依赖
apt install libaio-dev

# 编译并安装 DeepSpeed
DS_BUILD_OPS=1 pip install deepspeed

基本使用

使用前需先恢复模型权重（由于协议限制，官方发布的是权重差值 diff weights），然后选择策略进行训练。

第一步：恢复模型权重

你需要下载官方的 diff 权重，并将其与原始的 Llama-7B 模型合并以恢复完整的 Reward Model、SFT Model 或 Policy Model。

下载权重地址：

• 英文模型:
  • SFT: fnlp/moss-rlhf-sft-model-7B-en
  • Reward: fnlp/moss-rlhf-reward-model-7B-en
  • Policy: fnlp/moss-rlhf-policy-model-7B-en
• 中文模型:
  • Reward: Ablustrund/moss-rlhf-reward-model-7B-zh

合并权重命令：

# --- 英文模型恢复 ---

# 恢复 Reward Model
python merge_weight_en.py recover --path_raw decapoda-research/llama-7b-hf --path_diff ./models/moss-rlhf-reward-model-7B-en/diff --path_tuned ./models/moss-rlhf-reward-model-7B-en/recover --model_type reward

# 恢复 SFT Model
python merge_weight_en.py recover --path_raw decapoda-research/llama-7b-hf --path_diff ./models/moss-rlhf-sft-model-7B-en/diff --path_tuned ./models/moss-rlhf-sft-model-7B-en/recover --model_type sft

# 恢复 Policy Model
python merge_weight_en.py recover --path_raw decapoda-research/llama-7b-hf --path_diff ./models/moss-rlhf-policy-model-7B-en/diff --path_tuned ./models/moss-rlhf-policy-model-7B-en/recover --model_type policy

# --- 中文模型恢复 ---
# 注意：目前未公开中文 SFT 模型，此处仅演示恢复中文 Reward Model
python merge_weight_zh.py recover --path_raw decapoda-research/llama-7b-hf --path_diff ./models/moss-rlhf-reward-model-7B-zh/diff --path_tuned ./models/moss-rlhf-reward-model-7B-zh/recover

第二步：开始训练

场景 A：训练 PPO 模型 (对齐阶段)

• 英文环境：可直接使用官方提供的 SFT 和 Reward 模型路径（需在脚本中确认路径配置）。
• 中文环境：由于暂未开源中文 SFT 模型，请使用你自己训练的 SFT 模型替换脚本中的路径。

# 启动中文 PPO 训练 (需自行准备 SFT 模型)
bash train_ppo_zh.sh

# 启动英文 PPO 训练
bash train_ppo_en.sh

场景 B：训练奖励模型 (Reward Modeling)

你可以使用原始的 Llama 系列模型作为基座，配合偏好数据集（如 HH-RLHF 或官方清洗过的带强度标注的数据集 fnlp/hh-rlhf-strength-cleaned）进行训练。

# 示例：训练奖励模型
# 请确保在 train_rm.sh 中指定了 --hf_model_name_or_path (基座模型) 和 --data_path (数据集路径)
bash train_rm.sh