状态: 归档（代码按原样提供，预计不会更新）

状态: 由于我们已从 GCP 迁移到 Azure，所有对 gs://lm-human-preferences/ 的引用均已更新为 https://openaipublic.blob.core.windows.net/lm-human-preferences。按原样提供的代码可能已无法正常运行。欢迎提交 Pull 请求。

lm-human-preferences

此仓库包含论文《从人类偏好中微调语言模型》（arXiv:1909.08593）的代码。另请参阅我们的 博客文章。

我们提供了以下代码：

• 从人类标注数据训练奖励模型
• 使用这些奖励模型对语言模型进行微调

本仓库不包含用于生成标注数据的代码。不过，我们已在 gs://lm-human-preferences/labels 上公开了为实验收集的人类标注数据。对于感兴趣的研究者，问题和标注的格式非常简单，并在 label_types.py 中进行了说明。

该代码仅在最小的 GPT-2 模型（1.24亿参数）上进行了测试。

使用说明

此代码仅在 Python 3.7.3 环境下经过测试。训练已在配备 8 块 V100 显卡、运行 Ubuntu 16.04 的 GCE 机器上完成测试，但开发工作也可以在 Mac OS X 上进行。

安装

• 安装 pipenv。

• 安装 TensorFlow GPU 版本：首先安装 CUDA 10.0 和 cuDNN 7.6.2，然后运行 pipenv install tensorflow-gpu==1.13.1。虽然代码理论上可以在 CPU 上运行 TensorFlow，但速度会非常慢。

• 安装 gsutil。

• 克隆本仓库，然后执行：

  pipenv install
  

• （推荐）安装 horovod，以加速代码运行；或者在 core.py 的 mpi_allreduce_sum 函数中替换为其他高效的实现。请务必使用 pipenv 进行安装，例如 pipenv install horovod==0.18.1。

运行

以下示例假设我们旨在训练一个能够以物理描述方式继续文本的模型。您可以通过阅读 launch.py 了解如何定义“描述性”等实验。

请注意，我们提供了预训练模型，因此您可以直接跳到强化学习微调阶段，甚至直接从训练好的策略中采样，视需求而定。

训练奖励模型

要训练奖励模型，可以使用如下命令：

experiment=descriptiveness
reward_experiment_name=testdesc-$(date +%y%m%d%H%M)
pipenv run ./launch.py train_reward $experiment $reward_experiment_name

这会将输出文件（包括 TensorBoard 事件文件）保存到 /tmp/save/train_reward/$reward_experiment_name 目录下。可通过 --save_dir 参数更改保存目录。

微调语言模型

在训练好奖励模型后，您可以基于该模型进行微调。

首先设置：

trained_reward_model=/tmp/save/train_reward/$reward_experiment_name

或者，如果您使用我们的预训练模型：

trained_reward_model=gs://lm-human-preferences/runs/descriptiveness/reward_model

然后运行：

experiment=descriptiveness
policy_experiment_name=testdesc-$(date +%y%m%d%H%M)
pipenv run ./launch.py train_policy $experiment $policy_experiment_name --rewards.trained_model $trained_reward_model --rewards.train_new_model 'off'

这会将输出文件（包括 TensorBoard 事件文件）保存到 /tmp/save/train_policy/$policy_experiment_name 目录下。可通过 --save_dir 参数更改保存目录。

同时完成两步

您也可以通过一条命令同时训练奖励模型并基于其进行微调：

experiment=descriptiveness
experiment_name=testdesc-$(date +%y%m%d%H%M)
pipenv run ./launch.py train_policy $experiment $experiment_name

在这种情况下，输出将保存到 /tmp/save/train_policy/$policy_experiment_name 目录，奖励模型则会保存到子目录 reward_model 中。可通过 --save_dir 参数更改保存目录。

从训练好的策略中采样

指定要加载的策略的保存路径：

save_dir=/tmp/save/train_policy/$policy_experiment_name

或者，如果您使用我们的预训练模型：

save_dir=gs://lm-human-preferences/runs/descriptiveness

然后运行：

pipenv run ./sample.py sample --save_dir $save_dir --savescope policy

请注意，此脚本可以在少于 8 张 GPU 上运行。例如，如果您只有一张 GPU，可以添加 --mpi 1 参数。

许可证

MIT

引用

请使用以下 BibTeX 条目引用该论文：

@article{ziegler2019finetuning,
  title={Fine-Tuning Language Models from Human Preferences},
  author={Ziegler, Daniel M. and Stiennon, Nisan and Wu, Jeffrey and Brown, Tom B. and Radford, Alec and Amodei, Dario and Christiano, Paul and Irving, Geoffrey},
  journal={arXiv preprint arXiv:1909.08593},
  url={https://arxiv.org/abs/1909.08593},
  year={2019}
}

lm-human-preferences 快速上手指南

注意：本项目目前处于归档状态（Archive），代码按原样提供，不再更新。部分依赖谷歌云存储（GCP）的路径已迁移至 Azure，原始代码可能无法直接运行，需自行调整存储路径。

环境准备

• 操作系统：推荐 Ubuntu 16.04（训练环境），开发可在 Mac OS X 上进行。
• Python 版本：仅测试通过 Python 3.7.3。
• 硬件要求：训练建议在配备 8 张 V100 GPU 的机器上进行；采样可单卡运行。
• 核心依赖：
  • CUDA 10.0
  • cuDNN 7.6.2
  • TensorFlow GPU 1.13.1
  • pipenv
  • gsutil（用于访问数据集，若使用本地数据可忽略）
  • Horovod（可选，用于多卡加速）

💡 国内加速建议：由于 TensorFlow 旧版本及谷歌资源在国内访问困难，建议配置国内镜像源（如清华、阿里镜像）安装依赖，或手动下载 CUDA/cuDNN 及 TensorFlow whl 包进行离线安装。

安装步骤

1. 安装 pipenv：

   pip install pipenv
   

2. 安装 CUDA 10.0 和 cuDNN 7.6.2（请根据 NVIDIA 官方文档或国内镜像源安装）。

3. 克隆仓库并安装 Python 依赖：

   git clone https://github.com/openai/lm-human-preferences.git
   cd lm-human-preferences
   pipenv install tensorflow-gpu==1.13.1
   pipenv install
   

4. （可选）安装 Horovod 以加速训练：

   pipenv install horovod==0.18.1
   

   若不使用 Horovod，需修改 lm_human_preferences/utils/core.py 中的 mpi_allreduce_sum 函数。

基本使用

以下示例演示如何训练一个奖励模型（Reward Model）并基于该模型微调语言模型（Policy），以实现“更具物理描述性”的文本生成。

1. 训练奖励模型

experiment=descriptiveness
reward_experiment_name=testdesc-$(date +%y%m%d%H%M)
pipenv run ./launch.py train_reward $experiment $reward_experiment_name

输出默认保存至 /tmp/save/train_reward/$reward_experiment_name。

2. 微调语言模型

使用上一步训练的奖励模型进行微调：

trained_reward_model=/tmp/save/train_reward/$reward_experiment_name
experiment=descriptiveness
policy_experiment_name=testdesc-$(date +%y%m%d%H%M)
pipenv run ./launch.py train_policy $experiment $policy_experiment_name --rewards.trained_model $trained_reward_model --rewards.train_new_model 'off'

3. 一键执行（训练奖励模型 + 微调）

也可通过一条命令完成全流程：

experiment=descriptiveness
experiment_name=testdesc-$(date +%y%m%d%H%M)
pipenv run ./launch.py train_policy $experiment $experiment_name

奖励模型将保存在输出目录的 reward_model 子文件夹中。

4. 从训练好的策略中采样文本

save_dir=/tmp/save/train_policy/$policy_experiment_name
pipenv run ./sample.py sample --save_dir $save_dir --savescope policy

若仅有一张 GPU，可添加 --mpi 1 参数运行。