🤗 模型与数据集 | 📃 技术报告

对齐手册

用于继续预训练以及将语言模型与人类和AI偏好对齐的稳健方法。

这是什么？

就在一年前，聊天机器人还不流行，大多数人甚至从未听说过通过人类反馈强化学习（RLHF）等技术来使语言模型与人类偏好对齐的方法。随后，OpenAI凭借ChatGPT引爆了互联网，Meta也紧随其后发布了Llama系列语言模型，这使得机器学习社区能够构建属于自己的强大聊天机器人。由此催生了一个丰富的数据集和模型生态系统，这些资源大多专注于通过监督微调（SFT）来教会语言模型遵循指令。

然而，从InstructGPT和Llama2这两篇论文中我们可以了解到，通过结合人类（或AI）偏好来增强SFT，可以在帮助性和安全性方面取得显著提升。与此同时，将语言模型与一组偏好对齐仍是一个相对较新的概念，目前公开可用的关于如何训练这些模型、收集哪些数据以及使用何种指标来衡量下游性能的最佳实践资源仍然十分有限。

《对齐手册》旨在填补这一空白，为社区提供一系列覆盖整个流程的稳健训练方案。

新闻 🗞️

• 2025年7月24日：我们发布了SmolLM3-3B背后的完整后训练配方，这是一种最先进的混合推理模型 💭
• 2024年11月21日：我们发布了微调SmolLM2-Instruct的配方。
• 2024年8月18日：我们发布了SmolLM-Instruct v0.2，并附带了微调小型LLM的配方 💻
• 2024年4月12日：我们与Argilla和Kaist AI合作发布了Zephyr 141B (A35B)，并附带了使用ORPO微调Mixtral 8x22B的配方 🪁
• 2024年3月12日：我们发布了StarChat2 15B，并附带了训练高效编码助手的配方 🌟
• 2024年3月1日：我们发布了Zephyr 7B Gemma，这是一个全新的配方，用于将Gemma 7B与RLAIF对齐 🔥
• 2024年2月1日：我们发布了一种将开源LLM与宪章式AI对齐的配方 📜！详情请参阅配方和博客文章。
• 2024年1月18日：我们发布了一系列DPO、KTO和IPO的评估结果，详情请参阅配方和博客文章。
• 2023年11月10日：我们发布了所有用于复现Zephyr-7b-β的训练代码 🪁！同时，我们还发布了No Robots，这是一个全新的数据集，包含1万条由熟练的人类标注者完全手工编写的指令和演示。

链接 🔗

• Zephyr 7B模型、数据集和演示

如何浏览该项目 🧭

本项目设计简洁，主要由以下部分组成：

• scripts：用于训练和评估模型的脚本。包括四个步骤：继续预训练、面向对话的监督微调（SFT）、使用DPO进行偏好对齐，以及结合偏好对齐的ORPO监督微调。每个脚本都支持使用DeepSpeed ZeRO-3进行全模型权重的分布式训练，或者使用LoRA/QLoRA进行参数高效的微调。
• recipes：用于复现Zephyr 7B等模型的配方。每个配方以YAML文件的形式呈现，包含了单次训练运行的所有参数。此外，还提供了一个gpt2-nl配方，用以说明如何利用本手册进行语言或领域适应，例如在不同语言上继续预训练，然后进行SFT和DPO调优。

我们还在编写一系列指南，解释诸如直接偏好优化（DPO）等方法的工作原理，以及在实际收集人类偏好过程中所获得的经验教训。要开始使用，我们建议您按照以下步骤操作：

1. 按照安装说明设置您的环境等。
2. 按照配方说明复现Zephyr-7b-β。

如果您希望使用自己的数据集来训练聊天模型，我们建议您参考此处的数据集格式化说明。

目录

手册的初始版本将重点介绍以下技术：

• 继续预训练：使语言模型适应新的语言或领域，或者仅仅通过在新数据集上进行因果语言建模的继续预训练来提升模型性能。
• 监督微调：教导语言模型遵循指令，并提供有关如何收集和整理训练数据集的技巧。
• 奖励建模：教会语言模型根据人类或AI偏好来区分不同的模型响应。
• 拒绝采样：一种简单但强大的技术，可显著提升SFT模型的性能。
• 直接偏好优化（DPO）：一种强大且前景广阔的PPO替代方案。
• 几率比偏好优化（ORPO）：一种结合SFT和DPO于一体的技术，用于以人类偏好为目标对语言模型进行微调。

安装说明

要运行本项目中的代码，首先使用例如 uv 创建一个 Python 虚拟环境：

uv venv handbook --python 3.11 && source handbook/bin/activate && uv pip install --upgrade pip

[!TIP] 若要安装 uv，请按照 UV 安装指南 进行操作。

接下来，安装 PyTorch v2.6.0：

uv pip install torch==2.6.0 --index-url https://download.pytorch.org/whl/cu126

请注意，精确的版本号对于实验的可重复性非常重要！由于这与硬件相关，我们还建议您参考 PyTorch 安装页面。

然后，您可以按如下方式安装其余的包依赖项：

uv pip install .

此外，您还需要安装 Flash Attention 2，可以通过以下命令完成：

uv pip install "flash-attn==2.7.4.post1" --no-build-isolation

接下来，请按照以下步骤登录您的 Hugging Face 账户：

huggingface-cli login

最后，安装 Git LFS，以便将模型推送到 Hugging Face Hub：

sudo apt-get install git-lfs

现在，您可以查看 scripts 和 recipes 目录，了解如何训练一些模型的说明 🪁！

项目结构

├── LICENSE
├── Makefile                    <- 包含诸如 `make style` 等命令的 Makefile
├── README.md                   <- 面向开发者的顶级 README 文件
├── recipes                     <- 配置文件、加速配置和 Slurm 脚本
├── scripts                     <- 用于训练和评估聊天模型的脚本
├── setup.cfg                   <- 安装配置（主要用于配置代码质量和测试）
├── setup.py                    <- 使项目可通过 pip 安装（pip install -e .），从而可以导入 `alignment`
├── src                         <- 本项目中使用的源代码
└── tests                       <- 单元测试

引用

如果您在工作中觉得本仓库的内容有所帮助，请通过 \usepackage{biblatex} 按照以下格式引用：

@software{Tunstall_The_Alignment_Handbook,
  author = {Tunstall, Lewis and Beeching, Edward and Lambert, Nathan and Rajani, Nazneen and Huang, Shengyi and Rasul, Kashif and Bartolome, Alvaro, and M. Patiño, Carlos and M. Rush, Alexander and Wolf, Thomas},
  license = {Apache-2.0},
  title = {{The Alignment Handbook}},
  url = {https://github.com/huggingface/alignment-handbook},
  version = {0.4.0.dev0}
}

Alignment Handbook 快速上手指南

Alignment Handbook 是由 Hugging Face 提供的一套稳健的训练配方，旨在帮助开发者对语言模型进行持续预训练、监督微调（SFT）以及基于人类或 AI 偏好的对齐（如 DPO、ORPO）。本指南将协助你快速搭建环境并运行首个模型训练任务。

环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统: Linux (推荐) 或 macOS。Windows 用户建议使用 WSL2。
• Python 版本: 3.11 (官方推荐以保证复现性)。
• GPU: 支持 CUDA 的 NVIDIA 显卡（用于加速训练）。
• 存储: 足够的磁盘空间以存放模型权重、数据集及检查点。
• 账号: 已注册 Hugging Face 账号，并拥有访问相关模型和数据集的权限。
• 工具: 已安装 git 和 git-lfs。

安装步骤

本项目推荐使用 uv 进行包管理，以获得更快的安装速度和更好的依赖解析体验。

1. 安装 uv (如未安装)

如果尚未安装 uv，请参考官方指南：UV Installation Guide。

2. 创建虚拟环境并激活

uv venv handbook --python 3.11 && source handbook/bin/activate && uv pip install --upgrade pip

3. 安装 PyTorch

请根据你的硬件环境安装指定版本的 PyTorch。以下为 CUDA 12.6 环境的安装命令（注意：版本号对复现性至关重要）：

uv pip install torch==2.6.0 --index-url https://download.pytorch.org/whl/cu126

提示：如果你的 CUDA 版本不同，请访问 PyTorch 官网 获取对应的安装命令。国内用户若遇到下载慢的问题，可尝试使用清华源或阿里源替代 --index-url。

4. 安装项目依赖

uv pip install .

5. 安装 Flash Attention 2

为了获得最佳训练性能，必须安装 Flash Attention 2：

uv pip install "flash-attn==2.7.4.post1" --no-build-isolation

6. 登录 Hugging Face 并配置 Git LFS

huggingface-cli login
sudo apt-get install git-lfs

基本使用

本项目通过 recipes（配方）和 scripts（脚本）来组织训练流程。每个配方是一个 YAML 文件，包含了单次训练所需的所有参数。

最简单的使用示例：复现 Zephyr-7b-β

以下是复现经典的 Zephyr-7b-β 模型的最简流程：

1. 查看配方配置 进入 recipes/zephyr-7b-beta/ 目录，你会看到包含 SFT 和 DPO 阶段的 YAML 配置文件。

2. 执行训练脚本 假设你要进行监督微调（SFT），可以使用 accelerate 启动训练。以下是一个典型的启动命令示例（具体参数需参考对应 recipe 的 README）：

   accelerate launch --config_file recipes/accelerate_configs/deepspeed_zero3.yaml \
     scripts/run_sft.py \
     recipes/zephyr-7b-beta/sft_config.yaml
   

   • --config_file: 指定分布式训练配置（如 DeepSpeed ZeRO-3）。
   • scripts/run_sft.py: 调用监督微调脚本。
   • recipes/.../sft_config.yaml: 加载具体的超参数和数据集路径。

3. 自定义数据集训练 如果你想用自己的数据集训练聊天模型，请按照 scripts/README.md 中的说明格式化你的数据集（通常为 JSONL 格式，包含 messages 字段），然后在 YAML 配置文件中修改 dataset_name 指向你的本地路径或 Hugging Face 数据集 ID。

核心训练阶段说明

该手册覆盖了完整的对齐流水线，你可以根据需求选择运行不同的脚本：

• 持续预训练 (Continued Pretraining): 适应新语言或领域。
• 监督微调 (SFT): 教会模型遵循指令。
• 偏好对齐 (DPO/ORPO): 基于人类或 AI 反馈优化模型回答质量。

更多详细的配方（如 SmolLM3, StarChat2 等）请参阅 recipes/ 目录下的具体说明文档。