RLHF 书籍

一份关于人类反馈强化学习的全面指南（以及对后训练语言模型的广泛介绍）。

在线阅读 | 预订纸质版

这本书是我尝试将自己在后 ChatGPT 时代语言模型爆发式发展背景下、于开源模型前沿工作所积累的所有知识开源出来的成果。刚开始时，许多成熟的方法，比如拒绝采样，并没有公认的参考文献。另一方面，为了让模型更具个性化——俗称“角色训练”——的相关行业实践也缺乏公开的研究资料。我清楚地意识到，系统性地记录这些内容、掌握基础知识、精心整理参考资料（尤其是在当前充斥着大量低质量 AI 内容的时代），并将这一切整合起来，将会为感兴趣的人们提供一个绝佳的起点。

如今，我正在添加代码，并将其视为希望学习相关知识的人们的起点。你可以借助编程助手来提出问题；也建议购买实体书，因为现实世界的经验同样重要；同时，不妨阅读那些专为你量身定制的 AI 输出内容。

未来，我还计划在此基础上构建更多教育资源，例如开源的幻灯片库以及其他学习方式。然而，鉴于人类偏好本身难以准确衡量，RLHF 终究不会成为一个被完全解决的问题。

感谢你的阅读，也感谢你提供的任何反馈或参与社区交流。 —— 纳森·兰伯特，@natolambert

仓库结构

rlhf-book/
├── book/                   # 书籍源文件及构建文件
│   ├── chapters/           # Markdown 源文件（01-introduction.md 等）
│   ├── images/             # 各章节中引用的图表
│   ├── assets/             # 品牌资产（封面、Logo 等）
│   ├── templates/          # Pandoc 模板（HTML、PDF、EPUB）
│   ├── scripts/            # 构建工具脚本
│   └── data/               # 图书馆数据
├── code/                   # 参考实现
│   ├── policy_gradients/   # PPO、REINFORCE、GRPO、RLOO 等
│   ├── reward_models/      # 偏好 RM、ORM、PRM 训练
│   └── direct_alignment/   # DPO 及其变体
├── diagrams/               # 图表源文件
│   ├── scripts/            # Python 生成脚本
│   ├── tikz/               # LaTeX/TikZ 源文件
│   └── specs/              # YAML 规范文件
├── build/                  # 生成的输出文件（已忽略在 Git 中）
└── Makefile                # 构建系统

代码库

code/ 目录下提供了 RLHF 算法的参考实现：

• 策略梯度方法（PPO、REINFORCE、GRPO、RLOO 等）
• 奖励模型训练（偏好 RM、ORM、PRM）
• 直接对齐方法

请参阅 code/README.md 以获取设置和使用说明。

书籍源文件

书籍的源文件位于 book/ 目录中。你可以在本地进行构建：

make html   # 构建 HTML 网站
make pdf    # 构建 PDF（需要 LaTeX）

详细构建步骤请参阅 book/README.md。

图表

diagrams/ 目录包含书中使用的图表源文件。这些图表设计为可重复使用，适用于演示文稿、博客文章或你自己的学习材料。你可以通过以下命令生成它们：

cd diagrams && make all

引用

若需引用本书，请使用以下格式：

@book{rlhf2026lambert,
  author       = {Nathan Lambert},
  title        = {Reinforcement Learning from Human Feedback},
  year         = {2026},
  publisher    = {Online},
  url          = {https://rlhfbook.com},
}

许可证

• 代码：MIT
• 章节：CC-BY-NC-SA-4.0

贡献者

虽然我作为该项目的唯一“作者”和创建者获得了所有荣誉，但我也非常幸运地得到了早期读者的诸多贡献。他们的帮助极大地加速了编辑进度，并为本书增添了大量有价值的内容。我很乐意向做出实质性贡献的伙伴们赠送免费的书籍副本，相信互联网上的善意终会以意想不到的方式回馈他们。

查看所有 贡献者。

RLHF Book 快速上手指南

RLHF Book 是一本关于“人类反馈强化学习”（RLHF）及大模型后训练技术的综合开源指南，包含完整的书籍源码、算法参考实现及可复用的图表资源。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux 或 macOS（Windows 用户建议使用 WSL2）。
• Python：版本 3.8 或更高。
• 构建工具：
  • make：用于执行构建命令。
  • pandoc：用于文档格式转换。
  • LaTeX (可选)：仅当您需要构建 PDF 版本书籍时必需（如 texlive-full）。
• 依赖库：项目代码依赖常见的深度学习框架（如 PyTorch, Transformers, TRL 等），建议在虚拟环境中安装。

提示：国内开发者可使用清华源或阿里源加速 Python 包的安装。

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆仓库 获取项目源代码：

   git clone https://github.com/natolambert/rlhf-book.git
   cd rlhf-book
   

2. 安装 Python 依赖 进入代码目录并安装算法实现所需的依赖包：

   cd code
   pip install -r requirements.txt
   

   (注：如果根目录有统一的 requirements.txt，请优先安装根目录下的依赖)

3. 安装文档构建依赖（可选） 如果您需要本地编译书籍或图表，请确保已安装 pandoc 和 make。若需生成 PDF，请安装 LaTeX 发行版。

基本使用

本项目主要包含三个核心部分：算法代码、书籍源码和图表资源。以下是常用的操作示例：

1. 运行参考算法代码

code/ 目录提供了 PPO、DPO、Reward Model 等关键算法的参考实现。

• 查看可用示例：

  ls code/policy_gradients
  ls code/direct_alignment
  

• 运行示例脚本（以 DPO 为例，具体文件名请参考 code/README.md）：

  python code/direct_alignment/run_dpo.py --config configs/dpo_example.yaml
  

2. 本地构建书籍

您可以将 Markdown 源码编译为 HTML 网站或 PDF 文档。

• 构建 HTML 版本：

  make html
  

  构建完成后，通常在 build/ 目录下生成静态网页文件。

• 构建 PDF 版本（需预先安装 LaTeX）：

  make pdf
  

3. 生成图表资源

diagrams/ 目录包含书中插图的源码，可用于演示文稿或二次创作。

• 生成所有图表：

  cd diagrams && make all
  

  生成的图片文件将保存在相应输出目录中。

---

更多详细用法、参数配置及理论讲解，请参阅生成的书籍内容或访问在线版：https://rlhfbook.com