rLLM是一个开源框架，用于通过强化学习训练AI智能体。只需替换为受跟踪的客户端，定义奖励函数，剩下的就交给强化学习来处理——无论你使用哪种智能体框架。

核心特性

• 兼容任何智能体框架 — LangGraph、SmolAgent、Strands、OpenAI Agents SDK、Google ADK，或普通的openai.OpenAI。只需更换客户端即可。🔌
• 几乎无需修改代码 — 在你的智能体代码上添加@rllm.rollout装饰器，rLLM会自动追踪每一次LLM调用。🪄
• 以命令行为主的工作流 — 通过命令行进行评估和训练，内置50多种基准测试。rllm eval gsm8k直接可用。⚡
• 经过实战验证的效果 — rLLM训练的智能体在性能上超越了比其大50倍的模型（4B在金融任务上表现优于235B，1.5B在数学任务上超越O1-Preview）。📈
• 多种强化学习算法 — GRPO、REINFORCE、RLOO、拒绝采样等。🧠
• 两种训练后端 — verl用于分布式多GPU训练，tinker用于单机/CPU环境。无论哪种后端，API都相同。🔧

更多内容请访问我们的文档网站。

安装

rLLM需要Python >= 3.10（如果使用tinker则需要3.11）。你可以直接通过pip安装，也可以从源码构建。

uv pip install "rllm @ git+https://github.com/rllm-org/rllm.git"

这将安装运行rLLM CLI所需的依赖，该CLI使用Tinker作为训练后端。

若要使用verl作为训练后端（需要GPU机器），请通过以下命令安装：

# 用于分布式GPU训练（verl + vLLM/SGLang）
uv pip install rllm[verl] @ git+https://github.com/rllm-org/rllm.git

关于从源码或Docker构建，请参阅安装指南。

快速入门

选项A：命令行（无需编写代码）

# 1. 配置你的模型提供商
rllm model setup

# 2. 在基准上进行评估
rllm eval gsm8k

# 3. 使用强化学习进行训练
rllm train gsm8k

选项B：Python API

定义一个回放（你的智能体）和一个评估者（你的奖励函数），然后将它们交给训练器：

# my_flow.py
from openai import OpenAI
import rllm
from rllm.experimental.eval.types import AgentConfig, Task
from rllm.types import Episode, Trajectory

@rllm.rollout
def solve(task: Task, config: AgentConfig) -> Episode:
    client = OpenAI(base_url=config.base_url, api_key="EMPTY")
    response = client.chat.completions.create(
        model=config.model,
        messages=[{"role": "user", "content": task.data["question"]}],
    )
    answer = response.choices[0].message.content or ""
    return Episode(
        trajectories=[Trajectory(name="solver", steps=[])],
        artifacts={"answer": answer},
    )

# my_evaluator.py
import rllm
from rllm.experimental.eval.types import EvalOutput, Signal, _extract_agent_answer
from rllm.types import Episode

@rllm.evaluator
def score(task: dict, episode: Episode) -> EvalOutput:
    answer = _extract_agent_answer(episode)
    is_correct = answer.strip() == task["ground_truth"].strip()
    reward = 1.0 if is_correct else 0.0
    return EvalOutput(reward=reward, is_correct=is_correct,
                      signals=[Signal(name="accuracy", value=reward)])

# train.py
from rllm.experimental.unified_trainer import AgentTrainer

trainer = AgentTrainer(
    backend="tinker",
    agent_flow=solve,
    evaluator=score,
    config=config,
    train_dataset=dataset,
)
trainer.train()

在训练过程中，config.base_url指向一个网关，该网关会透明地捕获token ID和logits——你的智能体代码在评估和训练时保持不变。

完整的可运行示例（单轮VLM求解器、多智能体求解器-评判器等）请参阅教程。

架构

rLLM遵循一个简单的流程：运行你的智能体 → 收集轨迹 → 计算奖励 → 更新模型。

┌──────────────┐    ┌──────────────┐    ┌──────────────┐    ┌──────────────┐
│  Your Agent  │───▶│    Traces     │───▶│   Rewards    │───▶│  RL Update   │
│  (any code)  │    │  (auto-logged)│    │ (your logic) │    │  (GRPO etc.) │
└──────────────┘    └──────────────┘    └──────────────┘    └──────────────┘

你的智能体可以按原样运行——rLLM的SDK会拦截LLM调用，并将其结构化为包含多个轨迹（一次智能体运行）的剧集（一个任务），而每个轨迹又由多个步骤（一次LLM调用）组成。奖励函数会对结果进行评分，强化学习算法则会更新模型权重。同一份智能体代码既可用于评估，也可用于训练。

底层实现：

• 工作流引擎并行运行N个智能体实例以收集回放数据
• LiteLLM代理负责路由请求并捕获token ID和logits
• 转换管道将轨迹分组以便计算优势
• 训练后端（verl或tinker）负责策略更新

社区项目

• Tongyi DeepResearch — 阿里巴巴NLP开源的AI研究工具
• Terminal-Bench-RL — 使用强化学习训练长 horizon 终端智能体
• PettingLLMs — 基于on-policy训练的多智能体强化学习框架
• SETA — 用于终端智能体的可扩展环境
• LLM-in-Sandbox — 在沙盒中运行大语言模型以构建通用智能体
• Vision-DeepResearch — 首个长 horizon 多模态深度研究MLLM
• Cogito, Ergo Ludo — 通过推理和规划学习玩游戏的智能体
• Cut the Bill, Keep the Turns — 经济高效的多轮搜索强化学习
• Experiential Reinforcement Learning — 针对稀疏奖励的强化学习中的经验—反思—巩固循环
• V1: 统一生成与自我验证 — 并行测试时缩放的成对自我验证方法

文章与博客

• rLLM UI: 智能体训练与评估的实时可观测性工具 — 2026年3月
• rLLM On-Policy Distillation: 从强教师模型中训练更小的学生模型 — 2026年3月
• 更快更好：采用全异步训练的开源深度研究智能体配方 — 2026年2月
• rLLM-FinQA: 4B模型如何在金融分析任务上超越235B模型并媲美Gemini 2.5 Pro — 2026年2月
• rLLM SDK: 无需修改代码即可训练任何智能体程序 — 2025年12月
• rLLM v0.2: 通用智能体程序的强化学习训练 — 2025年10月
• DeepSWE: 通过强化学习开源的软件工程智能体 — 2025年7月
• DeepCoder: O3-mini级别的14B编码智能体 — 2025年4月
• DeepScaleR: 1.5B模型超越O1-preview — 2025年2月

致谢

我们的工作是在伯克利天空计算实验室的支持下完成的。rLLM团队得到了来自Laude研究所、AWS、Hyperbolic、Fireworks AI以及Modal的慷慨资助。我们特别感谢Together AI提供的研究合作与算力支持。

引用

@misc{rllm2025,
  title={rLLM: 一种后训练语言智能体框架},
  author={Sijun Tan、Michael Luo、Colin Cai、Tarun Venkat、Kyle Montgomery、Aaron Hao、Tianhao Wu、Arnav Balyan、Manan Roongta、Chenguang Wang、Li Erran Li、Raluca Ada Popa、Ion Stoica},
  year={2025},
  howpublished={\url{https://pretty-radio-b75.notion.site/rLLM-A-Framework-for-Post-Training-Language-Agents-21b81902c146819db63cd98a54ba5f31}},
  note={Notion博客},
}

您也可以引用我们之前的工作DeepScaleR、DeepCoder以及DeepSWE。

rLLM 快速上手指南

rLLM 是一个开源框架，旨在通过强化学习（RL）训练 AI 智能体。它支持任意智能体框架（如 LangGraph、OpenAI Agents SDK 等），只需极少的代码改动即可实现从评估到 RL 训练的无缝切换。

环境准备

在开始之前，请确保满足以下系统要求：

• 操作系统：Linux 或 macOS（Windows 用户建议使用 WSL2 或 Docker）。
• Python 版本：
  • 基础使用：Python >= 3.10
  • 若使用 tinker 后端（单机/CPU 训练）：必须使用 Python 3.11
• 硬件要求：
  • CLI 模式 / Tinker 后端：普通 CPU 机器即可运行。
  • Verl 后端：需要配备 NVIDIA GPU 的机器，用于分布式多卡训练。
• 包管理工具：推荐使用 uv 进行依赖管理（安装命令：curl -LsSf https://astral.sh/uv/install.sh | sh）。

国内加速提示：由于源地址位于海外，建议配置国内镜像源以加快下载速度。

export UV_INDEX_URL="https://pypi.tuna.tsinghua.edu.cn/simple"
# 或者在使用 pip 时添加：-i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

你可以根据需求选择安装方式。以下命令默认使用 uv 安装，若使用 pip 请将 uv pip install 替换为 pip install。

1. 基础安装（推荐新手）

此版本包含运行 CLI 和 tinker 后端所需的依赖，适合单机调试和轻量级训练。

uv pip install "rllm @ git+https://github.com/rllm-org/rllm.git"

2. 分布式 GPU 训练安装

若需在多卡 GPU 集群上使用 verl 后端进行高性能训练，请安装额外依赖：

uv pip install rllm[verl] @ git+https://github.com/rllm-org/rllm.git

注：如需从源码构建或使用 Docker，请参考官方文档的安装指南部分。

基本使用

rLLM 提供两种使用模式：命令行界面 (CLI) 和 Python API。

模式 A：命令行快速启动（无需写代码）

适合直接对现有模型进行基准测试和强化学习训练。

1. 配置模型提供商 设置你的模型 API 端点和密钥。

   rllm model setup
   

2. 执行基准评估 在标准数据集（如 GSM8K 数学题）上评估当前模型表现。

   rllm eval gsm8k
   

3. 开始 RL 训练 基于评估结果，直接使用强化学习算法优化模型。

   rllm train gsm8k
   

模式 B：Python API 自定义开发

适合需要自定义智能体逻辑、奖励函数或集成特定框架的场景。

第一步：定义智能体流程 (my_flow.py) 使用 @rllm.rollout 装饰器包裹你的 Agent 代码。rLLM 会自动追踪所有 LLM 调用。

# my_flow.py
from openai import OpenAI
import rllm
from rllm.experimental.eval.types import AgentConfig, Task
from rllm.types import Episode, Trajectory

@rllm.rollout
def solve(task: Task, config: AgentConfig) -> Episode:
    # 初始化客户端，base_url 将由 rLLM 自动注入以捕获 token 和 logprobs
    client = OpenAI(base_url=config.base_url, api_key="EMPTY")
    response = client.chat.completions.create(
        model=config.model,
        messages=[{"role": "user", "content": task.data["question"]}],
    )
    answer = response.choices[0].message.content or ""
    return Episode(
        trajectories=[Trajectory(name="solver", steps=[])],
        artifacts={"answer": answer},
    )

第二步：定义奖励函数 (my_evaluator.py) 编写逻辑来判断智能体输出的正确性并返回奖励值。

# my_evaluator.py
import rllm
from rllm.experimental.eval.types import EvalOutput, Signal, _extract_agent_answer
from rllm.types import Episode

@rllm.evaluator
def score(task: dict, episode: Episode) -> EvalOutput:
    answer = _extract_agent_answer(episode)
    # 简单示例：完全匹配则奖励 1.0，否则 0.0
    is_correct = answer.strip() == task["ground_truth"].strip()
    reward = 1.0 if is_correct else 0.0
    return EvalOutput(reward=reward, is_correct=is_correct,
                      signals=[Signal(name="accuracy", value=reward)])

第三步：启动训练 (train.py) 整合上述模块并启动训练器。

# train.py
from rllm.experimental.unified_trainer import AgentTrainer

# 配置训练参数 (config 和 dataset 需根据实际数据初始化)
# config = ... 
# dataset = ...

trainer = AgentTrainer(
    backend="tinker",       # 单机使用 "tinker"，多卡集群使用 "verl"
    agent_flow=solve,       # 传入定义的智能体
    evaluator=score,        # 传入定义的评估器
    config=config,
    train_dataset=dataset,
)

trainer.train()

核心优势：在训练过程中，config.base_url 会指向一个透明网关，自动捕获 Token ID 和概率分布，而你的智能体代码无需任何修改即可同时用于评估和训练。