---

RLFactory 是一个简单且高效的用于智能体学习的强化学习后训练框架。

RL-Factory 将环境与强化学习后训练解耦，只需工具配置和奖励函数即可进行训练，同时支持异步工具调用，使强化学习后训练速度提升至2倍。

当前版本原生支持一键式DeepSearch训练，并具备多轮工具调用、模型评判奖励以及对包括Qwen3在内的多种模型的训练功能。未来还将陆续加入更多简单高效的智能体学习模块。

发布日志

我们将保持快速的发布节奏，以迅速推出并完善即将上线的功能。

• 版本 0.1
  • 环境解耦：轻松定义你的工具使用环境（工具设置和奖励函数定义）
  • Qwen3 模型支持：使用 Qwen3 快速训练你的智能体（在工具调用方面远优于 Qwen2.5）
  • 高效训练：相比现有框架，训练速度提升至2倍，实现快速的模型迭代（主要通过异步工具调用）
• 版本 0.2 我们期待更多人共同参与开发与建设，打造一个优秀的智能体训练社区。欢迎随时联系我们。
  • WebUI：构建用于数据处理、工具与环境定义、训练配置及项目管理的 WebUI #2
  • 更高效的训练：支持 AsyncLLMEngine，以实现更高效的 rollout #4
  • 更多模型：测试更多模型（如 Deepseek、Llama 等），并添加相应的支持配置 #5
  • 过程奖励：利用过程奖励更好地引导模型的工具调用行为 #6
  • 更多应用：帮助创建更多演示项目（如 TravelPlanner），以适配更多基准测试
  • 多模态智能体学习：在功能上支持多模态（图像）智能体训练 #66
  • Android 环境：新增 Android OS 环境支持 #38
  • 工具缓存：缓存工具调用结果，以提升后处理效率 #57
  • 便捷评估：新增 main_eval.sh 用于评估工具 #36
  • 升级至 VeRL-0.5：通过最大程度的组件解耦，升级至 VeRL-0.5 update/verl_0_5
  • 将 MS-SWIFT-3.7 加入 RL-Factory：增加了对 MS-SWIFT-3.7 的支持，使个人开发者使用起来更加方便 #95

我们的框架设计

我们的目标是让用户能够专注于奖励逻辑和工具设置，以最少的代码实现快速的智能体学习；而核心开发者则可以专注于提升训练效率和模型性能。

为了实现易用性，我们通过以下几点优势将环境与基于强化学习的后训练解耦：

• 易于设计的奖励函数：可通过规则、模型评判，甚至工具来计算奖励，满足你对奖励函数的所有需求。
• 无缝工具设置：只需提供你的MCP 工具和自定义工具的配置文件，即可将其集成到强化学习中。
• 多智能体扩展：将你的智能体转换为 MCP 格式，以便于多智能体交互。未来还将加入 LLM 对话模拟功能，以提升多轮对话能力。

为了实现高效学习，我们在强化学习后训练框架中开发了若干关键模块，使训练速度提升至2倍。

• 高效工具调用：通过批量处理和异步并行工具调用，提升在线强化学习训练效率。
• 高效奖励计算：以分布式方式部署 LRM（如 QwQ-32B）进行高效的模型评判，并利用异步并行技术加快奖励计算速度。

对于未来的进展，我们将继续优先考虑**“简单”和“高效”**：

• 更简单：使用 WebUI 处理数据、定义工具与环境、调整训练配置并管理项目。（WebUI 正在快速开发中。）
• 更高效：持续迭代和改进训练框架（如 AsyncLLMEngine）以及强化学习训练算法。

用户使用说明

• 依赖项（关键）

  Cuda: >=12.0（推荐：12.4）
  Python: >=3.10（推荐：3.10）
  # 用于支持Qwen3模型
  vllm: >=0.8.3（推荐：0.8.5）
  

• 安装要求

  pip3 install accelerate bitsandbytes datasets deepspeed==0.16.4 einops flash-attn==2.7.0.post2 isort jsonlines loralib optimum packaging peft pynvml>=12.0.0 ray[default]==2.46.0 tensorboard torch==2.6.0 torchmetrics tqdm transformers==4.51.3 transformers_stream_generator wandb wheel
  pip3 install vllm==0.8.5      # 主要用于支持Qwen3模型
  pip3 install "qwen-agent[code_interpreter]"
  pip3 install llama_index bs4 pymilvus infinity_client codetiming tensordict==0.6 omegaconf torchdata==0.10.0 hydra-core easydict dill python-multipart mcp==1.9.3
  pip3 install -e . --no-deps
  pip3 install faiss-gpu-cu12   # 可选，用于rag_server端到端检索模型训练时需要
  pip3 install nvidia-cublas-cu12==12.4.5.8  # 可选，训练过程中遇到ray worker死亡问题时需要
  

  注：目前仅对Qwen系列模型进行了测试。
• 您需要提供什么？
  • 一个环境就足够了！请参阅docs/rl_factory/main_tutorial.md中的最小化教程。
• 训练命令

  # 运行前，请根据需要修改MODEL_PATH、REWARD_MODEL_PATH以及若干actor_rollout_ref.env参数
  bash main_grpo.sh
  

• 评估或推理命令

  # 运行前，请根据需要修改MODEL_PATH、REWARD_MODEL_PATH以及若干数据和trainer参数
  bash main_eval.sh
  

DeepSearch训练中的演示

• 在docs/rl_factory/main_tutorial.md中，我们提供了基于Search-R1的RLFactory复现示例。我们使用Qwen3-4B和Qwen3-8B作为RL训练的基础模型。

• 简单：从Qwen3和MCP工具开始，快速训练属于您自己的DeepSearch智能体。

  • 您只需提供一种工具配置和一种奖励函数即可开始训练！
  • Qwen3在智能体学习方面表现出显著优势。即使没有经过SFT微调，它也能准确地调用工具，并且还支持MCP协议。

• 高效：享受异步并行工具调用带来的高效训练体验。

  • 与基于原始verl的Search-R1相比，所需的训练时间缩短了1.5至2倍，如果加入模型评判者，效率提升会更加明显。
  • 经过100步训练（约5小时，8*A100），Qwen3-4B得分达到0.458，Qwen3-8B得分达到0.463。以下表格展示了我们在相同计算资源、软件和verl版本下的训练结果：
  • RLFactory的训练时间约为Search-R1的一半，展现出极高的效率。
  • 以Qwen3为基础模型的表现优于Qwen2.5，能够在无需SFT的情况下通过RL后训练实现领域特定的工具调用。

模型名称	测试分数（NQ）	总训练时间（100步）	每步耗时	训练资源
Search-R1-Qwen2.5-3B-Instruct-GRPO	0.356	7.39 h	266 s	A100 × 8
Search-R1-Qwen2.5-7B-Instruct-GRPO	0.451	9.25 h	333 s	A100 × 8
Search-R1-Qwen3-4B-GRPO	0.420	7.95 h	286 s	A100 × 8
RLFactory-Qwen3-4B-GRPO	0.458	5.30 h	190 s	A100 × 8
RLFactory-Qwen3-8B-GRPO	0.463	5.76 h	207 s	A100 × 8

如何贡献？

我们欢迎所有用户和开发者为RLFactory贡献代码。如果您有任何疑问、遇到bug，或者希望参与开发合作，请随时联系我们！

1. 直接在GitHub上提交issue。
2. 通过电子邮件chaijiajun@meituan.com或gjyin@outlook.com与我们联系。
3. 加入我们的微信群（首选），成为智能体训练领域的先锋！

致谢

本仓库受益于verl、Search-R1、Qwen-Agent。感谢他们的杰出工作。未来我们还将引入TRL，以进一步扩展我们框架的应用范围。

📚 引用

我们的技术报告可在这里找到。如果您认为我们的工作有用，请考虑引用：

@misc{chai2025rlfactoryplugandplayreinforcementlearning,
      title={RLFactory: 一种适用于大语言模型多轮工具使用的即插即用强化学习后训练框架}, 
      author={Jiajun Chai、Guojun Yin、Zekun Xu、Chuhuai Yue、Yi Jia、Siyu Xia、Xiaohan Wang、Jiwen Jiang、Xiaoguang Li、Chengqi Dong、Hang He、Wei Lin},
      year={2025},
      eprint={2509.06980},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/2509.06980}, 
}

如果您为本项目做出了贡献，并希望被纳入我们的技术报告，请尽快与我联系（gjyin@outlook.com）。

星级历史

RL-Factory 快速上手指南

RL-Factory 是一个简单且高效的强化学习（RL）后训练框架，专为智能体学习（Agentic Learning）设计。它通过将环境与 RL 训练解耦，仅需配置文件和奖励函数即可启动训练，并支持异步工具调用，使训练速度提升约 2 倍。目前原生支持基于 Qwen3 模型的 DeepSearch 任务及 MCP 工具协议。

1. 环境准备

在开始之前，请确保您的开发环境满足以下系统要求和依赖版本。

系统要求

• CUDA: >= 12.0 (推荐 12.4)
• Python: >= 3.10 (推荐 3.10)

核心依赖

• vllm: >= 0.8.3 (推荐 0.8.5，主要用于支持 Qwen3 模型)
• 注意: 目前主要测试了 Qwen 系列模型。

2. 安装步骤

请按照以下顺序执行命令安装所需依赖。建议在使用前配置好国内 pip 镜像源（如清华源或阿里源）以加速下载。

# 1. 安装基础深度学习及 RL 相关依赖
pip3 install accelerate bitsandbytes datasets deepspeed==0.16.4 einops flash-attn==2.7.0.post2 isort jsonlines loralib optimum packaging peft pynvml>=12.0.0 ray[default]==2.46.0 tensorboard torch==2.6.0 torchmetrics tqdm transformers==4.51.3 transformers_stream_generator wandb wheel

# 2. 安装 vllm (Qwen3 模型支持关键组件)
pip3 install vllm==0.8.5

# 3. 安装智能体及工具链相关依赖
pip3 install "qwen-agent[code_interpreter]"
pip3 install llama_index bs4 pymilvus infinity_client codetiming tensordict==0.6 omegaconf torchdata==0.10.0 hydra-core easydict dill python-multipart mcp==1.9.3

# 4. 安装 RL-Factory 本体
pip3 install -e . --no-deps

# 5. (可选) 若需进行端到端搜索模型训练 (RAG)，安装 faiss-gpu
pip3 install faiss-gpu-cu12

# 6. (可选) 若训练中遇到 ray worker died 问题，安装特定版本的 cublas
pip3 install nvidia-cublas-cu12==12.4.5.8

3. 基本使用

RL-Factory 的设计理念是“开箱即用”。您只需要定义一个环境（包含工具配置和奖励函数），即可开始训练。

第一步：准备环境配置

参考官方最小化教程 docs/rl_factory/main_tutorial.md，您需要准备：

1. 工具配置文件：定义您的 MCP 工具或自定义工具。
2. 奖励函数：可以通过规则、模型评判（Model Judge）或工具调用来计算奖励。

提示：框架已内置 DeepSearch 示例，可直接复用其配置结构快速上手。

第二步：启动训练

修改脚本 main_grpo.sh 中的关键参数（如 MODEL_PATH, REWARD_MODEL_PATH 以及 actor_rollout_ref.env 相关配置），然后运行：

bash main_grpo.sh

第三步：评估与推理

训练完成后，修改 main_eval.sh 中的模型路径和数据参数，运行评估脚本：

bash main_eval.sh

性能参考

在 8 张 A100 显卡环境下，使用 RL-Factory 训练 Qwen3-8B 模型（100 steps）仅需约 5.76 小时，相比传统框架效率提升显著，且无需 SFT 即可实现精准的工具调用能力。