AgentGym-RL：通过多轮强化学习训练长 horizon 决策的 LLM 代理

📃 论文 • 🌐 项目页面 • 🤗 AgentGym-RL-Data-ID

AgentGym-RL 是一个全新的框架，用于通过强化学习训练能够进行 多轮 交互式决策的 LLM 代理。它涵盖了多种 现实场景，并支持主流的强化学习算法。大量实验表明，我们的框架和方法可以显著提升开源的 7B 规模模型，在不同环境下的 27 项任务 上达到 媲美或超越商业模型 的水平。

🔔 新闻

• 🏆[2026-02-06] 我们的论文已被 ICLR 2026 接受，并将作为口头报告发表！
• 🎉[2025-09-10] 您现在可以为 AgentGym 开发自定义环境并进行强化学习！教程请见 这里。
• 🥳[2025-09-10] 我们的论文已在 arXiv 上发布：AgentGym-RL：通过多轮强化学习训练长 horizon 决策的 LLM 代理
• 🍺[2025-09-10] 我们的强化学习数据集和基准测试已在 Hugging Face 上发布：AgentGym-RL-Data-ID

🌟 概述

开发能够做出一系列智能决策以解决复杂现实任务的自主 LLM 代理，是当前快速发展的前沿领域。仅仅依赖人类示范进行行为克隆，虽然可以让代理胜任某些任务，但很少能带来真正的突破。正如理查德·萨顿所强调的那样，真正推动代理进步的是通过探索与环境互动所获得的知识、技能和经验。因此，一种很有前景的方法是使用强化学习来训练这些代理。

然而，现有的大多数研究仍然局限于数学和编程等单轮任务。最近尝试将强化学习扩展到具备多轮能力的 LLM 代理时，却面临一些显著挑战：

• 任务复杂度和环境多样性的限制。 在强化学习时代，环境的重要性日益凸显。那些只在玩具环境中表现良好的代理，很难迁移到真实场景中；而环境的多样性则是代理实现泛化能力的前提。
• 难以实现稳定高效的优化。 多轮交互会极大地扩大搜索空间，并增加训练信号的方差，从而使得在探索与利用之间取得平衡变得非常困难。

为应对这些挑战，我们提出了 AgentGym-RL，这是一个全新的框架，用于通过强化学习训练能够进行 多轮 交互式决策的 LLM 代理。它涵盖了广泛的 现实场景，并支持主流的强化学习算法，为 体验驱动的时代 的研究与实践奠定了基础。

此外，为了更好地处理探索与利用之间的权衡，并提高代理强化学习训练中的优化稳定性，我们提出了 ScalingInter-RL 方法，该方法在训练过程中逐步扩展代理与环境的交互范围。不同环境下的实验结果表明，结合 AgentGym-RL 框架与 ScalingInter-RL 算法，能够带来稳定、持续且显著的行为改进。

同时，为了便于对数据和模型行为进行深入分析，我们还提供了一个 可视化交互式用户界面，允许回放和检查完整的交互轨迹，从而简化了迭代开发中的实证分析过程。

📖 目录

• AgentGym-RL：通过多轮强化学习训练长 horizon 决策的 LLM 代理
  • 🔔 新闻
  • 🌟 概述
  • 特性
    • AgentGym-RL 的模块化系统设计
    • 环境
    • 训练后策略
    • ScalingInter-RL：面向代理强化学习的渐进式交互扩展
    • 扩展 VerL
  • 性能
  • 运行教程
    • 环境设置
    • 训练
    • 评估
    • 可视化用户界面
  • 致谢
  • 联系方式
  • 引用

特性

AgentGym-RL 的模块化系统设计

我们采用模块化和解耦的设计来实现 AgentGym-RL，将其划分为三个主要组件：

• 环境模块：通过标准化的服务器–客户端架构，使用统一的 HTTP 协议和并行请求，提供多样化的场景。
• 代理模块：封装代理在多轮交互中的推理和决策过程，支持长 horizon 计划和自我反思等高级机制。
• 训练模块：实现强化学习流水线及其他训练方法，以优化代理策略。

环境

• 网页导航：我们包含了 WebArena，这是一个真实且可重复的网页环境，包含互联网上常见的四个不同领域：在线购物、讨论论坛、协作开发和内容管理。
• 深度搜索：基于 Search-R1，我们引入了一个基于 RAG 的环境，使 LLM 能够与搜索引擎交互，解决多轮检索和推理任务。
• 数字游戏：我们包含了 TextCraft，这是一个基于文本的工艺制作游戏环境，代理可以通过自然语言交互和任务规划完成各种任务。
• 具身任务：我们加入了 BabyAI，它提供一个可控的网格世界，配有文本指令，用于在模拟环境中进行具身推理。
• 科学任务：我们提供了 SciWorld，这是一个科学探索模拟器，代理可以通过文本驱动的推理循环来进行科学实验。

训练后策略

AgentGym-RL 支持一系列主流的在线强化学习算法：PPO、GRPO、RLOO、REINFORCE++。

除了在线强化学习之外，AgentGym-RL 还支持广泛的补充训练范式：SFT、DPO、AgentEvol。

ScalingInter-RL：面向智能体强化学习的渐进式交互规模扩展

ScalingInter-RL 是一种训练方法，旨在平衡探索与利用，同时确保优化过程的稳定性。其核心是一种渐进式的时域规模扩展策略，能够自适应地调整强化学习中的交互轮次数量。

我们从较小的时域开始训练，使智能体能够高效地利用现有策略，在简单任务上快速掌握技能。这为后续更深层次、长时域的推理奠定了基础。随着训练的推进，我们会逐步延长时域长度，让智能体有机会探索更长的决策路径，从而促进更高阶认知行为的涌现。

Verl 的扩展

为了开发 AgentGym-RL，我们对 Verl 进行了以下改进：

1. 基于 vLLM 引擎的回放：为支持多轮回放及与环境的高效交互，我们引入了：

   • RolloutHandler 用于处理轨迹。该组件负责正确计算每一轮中环境观测和助手动作的注意力掩码、损失掩码、位置 ID 及序列 ID，并管理历史消息、状态和奖励。
   • EnvClient 用于处理环境交互。EnvClient 提供了多种方法来简化回放过程中的环境交互，例如 observation() 用于获取当前环境观测、available_actions() 获取当前可用动作、step() 执行动作以及 reset() 重置环境。为提升效率，我们的框架会并行初始化环境并收集轨迹。

2. 优势函数计算：我们修订了 Verl 中 REINFORCE++ 和 GAE 的优势函数实现，以确保在单轮和多轮场景下均能正确计算。

3. 训练过程中的交互规模扩展：为实现 ScalingInter-RL，我们引入了 RoundScheduler 来控制训练过程中交互轮次的规模。其中，FixedRoundsScheduler 固定最大交互轮次；而 StepRoundsScheduler 则以阶梯式方式逐步增加交互时域长度，从而实现训练过程中的渐进式规模扩展。

性能表现

我们主要使用 Qwen2.5-3B 和 Qwen2.5-7B 作为基础模型。在 AgentGym-RL 和 ScalingInter-RL 的评估中，我们覆盖了五个场景，并与多个闭源及开源模型进行了对比。以下是 WebArena 基准测试的结果；其他基准测试的结果则可在我们的论文中查阅（arXiv:2509.08755）。

• ScalingInter-7B 模型显著超越了 GPT-4o 等顶级专有模型，并且性能与 DeepSeek-R1-0528、Gemini-2.5-Pro 等更大规模模型相当。此外，在 Shopping 和 CMS 场景中，其得分已达到同类模型中的最佳水平。
• AgentGym-RL-7B 的综合得分则与 GPT-4o 相当。

此外，如图所示，ScalingInter-RL 在强化学习优化过程中展现出更为稳定且高效的训练动态。

• 较长的交互时域初始阶段能通过更丰富的探索获得更高的奖励，但随后会迅速回落；而较短的时域虽然学习过程更稳定，但探索性不足，最终导致性能停滞。
• 我们的 ScalingInter-RL 方法通过逐步增加交互时域长度，最终实现了更高且更高效的长期性能。

运行教程

环境搭建

建议使用 CUDA 12.4、PyTorch 2.4 和 Python 3.10。首先，请通过以下命令安装所需依赖：

echo "Preparing environment for agentgym-rl..."
conda create -n agentgym-rl python==3.10 -y
conda activate agentgym-rl
pip3 install torch==2.4.0 --index-url https://download.pytorch.org/whl/cu124
# 安装 FlashAttention
FLASH_ATTENTION_URL="https://github.com/Dao-AILab/flash-attention/releases/download/v2.7.3/flash_attn-2.7.3+cu12torch2.4cxx11abiFALSE-cp310-cp310-linux_x86_64.whl"
FLASH_ATTENTION_NAME="flash_attn-2.7.3+cu12torch2.4cxx11abiFALSE-cp310-cp310-linux_x86_64.whl"
wget -q $FLASH_ATTENTION_URL -O $FLASH_ATTENTION_NAME
pip3 install $FLASH_ATTENTION_NAME
rm -f $FLASH_ATTENTION_NAME
# 安装 RL 相关依赖
cd AgentGym-RL
pip3 install -e .
# 安装 AgentGym 环境相关依赖
echo "Preparing environment for agentenv..."
cd AgentGym/agentenv
pip3 install -e .
pip3 install transformers==4.51.3

训练

对于 SFT、DPO 和 AgentEvol，请参考 AgentGym 的 README.md。

对于 RL 训练：

1. 环境设置

请确保已搭建好所需的环境（参见上文的环境设置部分）。

2. 数据准备

从 Huggingface 下载 AgentGym-RL-Data-ID 数据集。

3. 启动环境服务器

请参照 AgentGym 的 README.md 启动环境服务器。

4. 训练

您可以在 AgentGym-RL 和 ScalingInter-RL 的 examples/train 中找到各个任务的训练示例脚本，同时也可以参考这些脚本中配置的训练参数。

bash webarena_train.sh

大多数参数的解释都可以在 verl 的文档中找到。其他关键参数如下：

• data.max_prompt_length: 第一轮中通用任务描述提示的最大长度。
• data.max_response_length: 交互轨迹的最大总 token 长度（不包括任务提示）。
• actor_rollout_ref.agentgym.task_name: AgentGym 的训练任务名称。
• actor_rollout_ref.agentgym.env_addr: AgentGym 环境服务器的 URL。
• actor_rollout_ref.rollout.max_tokens: 每轮单次回复的最大 token 长度。
• actor_rollout_ref.rollout.rollout_log_dir: 存储 rollout 轨迹的目录。
• algorithm.rounds_ctrl.type: 控制最大交互轮数的策略。选项：
  • fixed: 固定轮数。
  • scaling_inter_stepwise: 轮数按固定步长递增。
• algorithm.rounds_ctrl.rounds: 允许的最大交互轮数。
• algorithm.rounds_ctrl.steps_scaling_inter: 使用 scaling_inter_stepwise 时，增加最大轮数的频率（以训练步数为单位）。

更多详细信息请参阅 AgentGym-RL/verl/agent_trainer/config/ppo_trainer.yaml。

要启动 AgentGym-RL 训练，请设置：

algorithm.rounds_ctrl.type=fixed \
algorithm.rounds_ctrl.rounds=15 \

您可以参考 examples/train/AgentGym-RL/webarena_train.sh 作为示例。

要启动 ScalingInter-RL 训练，请设置：

algorithm.rounds_ctrl.type=scaling_inter_stepwise\
algorithm.rounds_ctrl.steps_scaling_inter=100 \
algorithm.rounds_ctrl.rounds=[10,20,30] \

您可以参考 examples/train/ScalingInter-RL/webarena_train.sh 作为示例。

评估

1. 环境设置

请确保已搭建好所需的环境（参见上文的环境设置部分）。

2. 数据准备

从 Huggingface 下载 AgentGym-RL-Data-ID 数据集。

3. 启动环境服务器

请参照 AgentGym 的 README.md 启动环境服务器。

4. 评估

您可以在 examples/eval 中找到各个任务的评估示例脚本，同时也可以参考这些脚本中配置的评估参数。

要运行评估，可以参考 examples/eval/webarena_eval.sh 作为示例。

bash webarena_eval.sh

大多数参数的解释都可以在 verl 的文档中找到。更多细节请参阅 AgentGym-RL/verl/agent_trainer/config/generation.yaml。

可视化用户界面

设置说明请查看 这里。

致谢

AgentGym-RL 的训练模块基于 Verl，环境模块则基于 AgentGym。我们感谢它们提供的基础设施支持。此外，我们还要感谢 TextCraft、BabyAI、SciWorld、WebArena、Search-R1 等开源项目。

联系方式

• zhxi22@m.fudan.edu.cn

引用

如果您觉得 AgentGym-RL 对您有所帮助，请引用以下论文！

@misc{xi2025agentgymrltrainingllmagents,
      title={AgentGym-RL: Training LLM Agents for Long-Horizon Decision Making through Multi-Turn Reinforcement Learning}, 
      author={Zhiheng Xi and Jixuan Huang and Chenyang Liao and Baodai Huang and Honglin Guo and Jiaqi Liu and Rui Zheng and Junjie Ye and Jiazheng Zhang and Wenxiang Chen and Wei He and Yiwen Ding and Guanyu Li and Zehui Chen and Zhengyin Du and Xuesong Yao and Yufei Xu and Jiecao Chen and Tao Gui and Zuxuan Wu and Qi Zhang and Xuanjing Huang and Yu-Gang Jiang},
      year={2025},
      eprint={2509.08755},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/2509.08755}, 
}

@misc{xi2024agentgymevolvinglargelanguage,
      title={AgentGym: Evolving Large Language Model-based Agents across Diverse Environments}, 
      author={Zhiheng Xi and Yiwen Ding and Wenxiang Chen and Boyang Hong and Honglin Guo and Junzhe Wang and Dingwen Yang and Chenyang Liao and Xin Guo and Wei He and Songyang Gao and Lu Chen and Rui Zheng and Yicheng Zou and Tao Gui and Qi Zhang and Xipeng Qiu and Xuanjing Huang and Zuxuan Wu and Yu-Gang Jiang},
      year={2024},
      eprint={2406.04151},
      archivePrefix={arXiv},
      primaryClass={cs.AI},
      url={https://arxiv.org/abs/2406.04151}, 
}

AgentGym-RL 快速上手指南

AgentGym-RL 是一个通过多轮强化学习（RL）训练大语言模型（LLM）智能体进行长程决策的框架。它支持多种真实场景（如网页导航、深度搜索、数字游戏等），并引入了 ScalingInter-RL 算法以平衡探索与利用，显著提升开源模型在复杂任务中的表现。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐)
• GPU: 支持 CUDA 的 NVIDIA 显卡
• CUDA 版本: 12.4
• Python 版本: 3.10
• PyTorch 版本: 2.4.0

安装步骤

建议使用 conda 创建独立的虚拟环境。以下是完整的安装命令流程：

# 1. 创建并激活 conda 环境
echo "Preparing environment for agentgym-rl..."
conda create -n agentgym-rl python==3.10 -y
conda activate agentgym-rl

# 2. 安装 PyTorch (指定 CUDA 12.4 版本)
pip3 install torch==2.4.0 --index-url https://download.pytorch.org/whl/cu124

# 3. 安装 Flash Attention (预编译包，加速注意力计算)
FLASH_ATTENTION_URL="https://github.com/Dao-AILab/flash-attention/releases/download/v2.7.3/flash_attn-2.7.3+cu12torch2.4cxx11abiFALSE-cp310-cp310-linux_x86_64.whl"
FLASH_ATTENTION_NAME="flash_attn-2.7.3+cu12torch2.4cxx11abiFALSE-cp310-cp310-linux_x86_64.whl"
wget -q $FLASH_ATTENTION_URL -O $FLASH_ATTENTION_NAME
pip3 install $FLASH_ATTENTION_NAME
rm -f $FLASH_ATTENTION_NAME

# 4. 安装 AgentGym-RL 核心库
cd AgentGym-RL
pip3 install -e .

# 5. 安装 AgentGym 环境依赖
echo "Preparing environment for agentenv..."
cd ../AgentGym/agentenv
pip3 install -e .
pip3 install transformers==4.51.3

注意：如果下载 flash_attn 或 torch 速度较慢，可尝试配置国内镜像源（如清华源或阿里源），但需确保源中包含对应 CUDA 版本的 wheel 包。

基本使用

1. 数据准备

从 Hugging Face 下载必要的训练数据集：

• 数据集名称：AgentGym/AgentGym-RL-Data-ID

2. 启动环境服务器

在进行 RL 训练前，需要先启动环境服务器。具体启动方式请参考 AgentGym 主仓库 README。

3. 开始训练

AgentGym-RL 支持多种训练策略。对于强化学习（RL）训练，框架内置了 PPO, GRPO, RLOO, REINFORCE++ 等主流算法，以及特有的 ScalingInter-RL 渐进式交互策略。

假设您已配置好配置文件（config），运行训练脚本的典型命令如下（具体脚本路径视项目结构而定）：

# 示例：启动带有 ScalingInter-RL 策略的 RL 训练
python train.py --algorithm scaling_inter_rl --model Qwen2.5-7B --data_path <path_to_dataset>

• SFT/DPO/AgentEvol: 若需进行监督微调或其他后训练策略，请参阅 AgentGym 仓库 的相关文档。
• 可视化分析: 训练完成后，可使用框架提供的可视化用户界面回放和检查完整的交互轨迹，以便分析智能体行为。

核心特性提示

• 模块化设计: 环境、智能体和训练模块解耦，便于自定义扩展。
• 渐进式交互 (ScalingInter-RL): 训练初期使用较短的交互轮次建立基础能力，随后逐渐增加轮次以探索长程决策，有效避免训练崩溃并提升最终性能。
• 多场景支持: 内置 WebArena (网页导航), Search-R1 (深度搜索), TextCraft (数字游戏), BabyAI (具身任务), SciWorld (科学实验) 等多种环境。