TRL - 变压器强化学习

---

用于基础模型后训练的全面库

🎉 新功能

TRL v1: 我们发布了 TRL v1 — 这是一个重要的里程碑，标志着 TRL 的真正转变。请阅读 博客文章 以了解更多信息。

概述

TRL 是一个尖端库，旨在使用监督微调 (SFT)、组相对策略优化 (GRPO) 和直接偏好优化 (DPO) 等先进技术对基础模型进行后训练。TRL 构建在 🤗 Transformers 生态系统之上，支持多种模型架构和模态，并且可以在各种硬件配置上进行扩展。

亮点

• 训练器: 各种微调方法可通过诸如 SFTTrainer、GRPOTrainer、DPOTrainer、RewardTrainer 等训练器轻松访问。

• 高效且可扩展:

  • 利用 🤗 Accelerate 通过 DDP 和 DeepSpeed 等方法从单 GPU 扩展到多节点集群。
  • 与 🤗 PEFT 完全集成，可通过量化和 LoRA/QLoRA 在中等硬件上训练大型模型。
  • 集成 🦥 Unsloth，利用优化内核加速训练。

• 命令行界面 (CLI): 简单的界面使您无需编写代码即可对模型进行微调。

安装

Python 包

使用 pip 安装库：

pip install trl

从源码安装

如果您想在正式发布之前使用最新功能，可以从源码安装 TRL：

pip install git+https://github.com/huggingface/trl.git

仓库

如果您想使用示例，可以使用以下命令克隆仓库：

git clone https://github.com/huggingface/trl.git

快速入门

为了在训练中获得更大的灵活性和控制力，TRL 提供了专门的训练器类，用于在自定义数据集上对语言模型或 PEFT 适配器进行后训练。TRL 中的每个训练器都是 🤗 Transformers 训练器的轻量级封装，并原生支持分布式训练方法，如 DDP、DeepSpeed ZeRO 和 FSDP。

SFTTrainer

以下是使用 SFTTrainer 的基本示例：

from trl import SFTTrainer
from datasets import load_dataset

dataset = load_dataset("trl-lib/Capybara", split="train")

trainer = SFTTrainer(
    model="Qwen/Qwen2.5-0.5B",
    train_dataset=dataset,
)
trainer.train()

GRPOTrainer

GRPOTrainer 实现了 组相对策略优化 (GRPO) 算法，该算法比 PPO 更节省内存，并被用于训练 Deepseek AI 的 R1。

from datasets import load_dataset
from trl import GRPOTrainer
from trl.rewards import accuracy_reward

dataset = load_dataset("trl-lib/DeepMath-103K", split="train")

trainer = GRPOTrainer(
    model="Qwen/Qwen2.5-0.5B-Instruct",
    reward_funcs=accuracy_reward,
    train_dataset=dataset,
)
trainer.train()

[!NOTE] 对于推理模型，请使用 reasoning_accuracy_reward() 函数以获得更好的效果。

DPOTrainer

DPOTrainer 实现了流行的 直接偏好优化 (DPO) 算法，该算法曾用于对 Llama 3 和许多其他模型进行后训练。以下是使用 DPOTrainer 的基本示例：

from datasets import load_dataset
from trl import DPOTrainer

dataset = load_dataset("trl-lib/ultrafeedback_binarized", split="train")

trainer = DPOTrainer(
    model="Qwen3/Qwen-0.6B",
    train_dataset=dataset,
)
trainer.train()

RewardTrainer

以下是使用 RewardTrainer 的基本示例：

from trl import RewardTrainer
from datasets import load_dataset

dataset = load_dataset("trl-lib/ultrafeedback_binarized", split="train")

trainer = RewardTrainer(
    model="Qwen/Qwen2.5-0.5B-Instruct",
    train_dataset=dataset,
)
trainer.train()

命令行界面 (CLI)

您可以使用 TRL 命令行界面 (CLI) 快速开始使用监督微调 (SFT) 或直接偏好优化 (DPO) 等后训练方法：

SFT:

trl sft --model_name_or_path Qwen/Qwen2.5-0.5B \
    --dataset_name trl-lib/Capybara \
    --output_dir Qwen2.5-0.5B-SFT

DPO:

trl dpo --model_name_or_path Qwen/Qwen2.5-0.5B-Instruct \
    --dataset_name argilla/Capybara-Preferences \
    --output_dir Qwen2.5-0.5B-DPO 

有关 CLI 的更多信息，请参阅 相关文档部分，或使用 --help 获取更多详细信息。

开发

如果您想为 trl 做出贡献或根据您的需求对其进行定制，请务必阅读 贡献指南，并确保进行开发安装：

git clone https://github.com/huggingface/trl.git
cd trl/
pip install -e .[dev]

实验性

在 trl.experimental 下提供了一个最小的实验性区域，用于存放不稳定的或快速发展的功能。该区域中的任何内容都可能在任何版本中未经通知地发生变化或被移除。

示例：

from trl.experimental.new_trainer import NewTrainer

更多信息请参阅实验性文档。

引用

@software{vonwerra2020trl,
  title   = {{TRL: 变换器强化学习}},
  author  = {冯·韦拉，莱昂德罗；贝尔卡达，尤内斯；坦斯托尔，刘易斯；比钦，爱德华；瑟什，特里斯坦；兰伯特，内森；黄圣毅；拉苏尔，卡希夫；加卢埃德克，昆汀},
  license = {Apache-2.0},
  url     = {https://github.com/huggingface/trl},
  year    = {2020}
}

许可证

本仓库的源代码根据Apache-2.0 许可证开放。

TRL 快速上手指南

TRL (Transformers Reinforcement Learning) 是一个用于基础模型后训练的综合库，支持监督微调 (SFT)、组相对策略优化 (GRPO) 和直接偏好优化 (DPO) 等先进技术。它与 🤗 Transformers 生态深度集成，支持分布式训练和高效显存优化。

环境准备

• 系统要求：Linux 或 macOS 系统（Windows 需通过 WSL2 运行）。
• Python 版本：建议 Python 3.9 及以上。
• 前置依赖：
  • PyTorch (建议 2.0+)
  • 🤗 Transformers
  • 🤗 Accelerate
  • 🤗 Datasets
• 硬件建议：推荐使用 NVIDIA GPU。若显存有限，可配合 🤗 PEFT (LoRA/QLoRA) 或 Unsloth 使用。

国内加速提示： 在中国大陆地区，建议配置 pip 国内镜像源以加快安装速度：

export PIP_INDEX_URL=https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

方式一：通过 PyPI 安装（推荐）

安装稳定版本：

pip install trl

方式二：从源码安装（获取最新特性）

如需使用尚未发布的最新功能（如 TRL v1 新特性）：

pip install git+https://github.com/huggingface/trl.git

方式三：克隆仓库（用于运行示例）

如果需要运行官方提供的示例脚本：

git clone https://github.com/huggingface/trl.git
cd trl

基本使用

TRL 提供了多种 Trainer 类，只需几行代码即可启动训练。以下是最常用的三种场景示例。

1. 监督微调 (SFT)

使用 SFTTrainer 对模型进行指令微调。

from trl import SFTTrainer
from datasets import load_dataset

# 加载数据集
dataset = load_dataset("trl-lib/Capybara", split="train")

# 初始化训练器
trainer = SFTTrainer(
    model="Qwen/Qwen2.5-0.5B",
    train_dataset=dataset,
)

# 开始训练
trainer.train()

2. 直接偏好优化 (DPO)

使用 DPOTrainer 基于人类偏好数据对齐模型。

from datasets import load_dataset
from trl import DPOTrainer

# 加载二值化偏好数据集
dataset = load_dataset("trl-lib/ultrafeedback_binarized", split="train")

# 初始化训练器
trainer = DPOTrainer(
    model="Qwen3/Qwen-0.6B",
    train_dataset=dataset,
)

# 开始训练
trainer.train()

3. 组相对策略优化 (GRPO)

使用 GRPOTrainer 进行更高效的强化学习训练（适用于推理模型）。

from datasets import load_dataset
from trl import GRPOTrainer
from trl.rewards import accuracy_reward

# 加载数据集
dataset = load_dataset("trl-lib/DeepMath-103K", split="train")

# 初始化训练器
trainer = GRPOTrainer(
    model="Qwen/Qwen2.5-0.5B-Instruct",
    reward_funcs=accuracy_reward,
    train_dataset=dataset,
)

# 开始训练
trainer.train()

命令行快速启动 (CLI)

如果不希望编写代码，可以直接使用 CLI 命令启动训练。

SFT 示例：

trl sft --model_name_or_path Qwen/Qwen2.5-0.5B \
    --dataset_name trl-lib/Capybara \
    --output_dir Qwen2.5-0.5B-SFT

DPO 示例：

trl dpo --model_name_or_path Qwen/Qwen2.5-0.5B-Instruct \
    --dataset_name argilla/Capybara-Preferences \
    --output_dir Qwen2.5-0.5B-DPO