ROLL 是一款专为大型语言模型（LLMs）设计的高效、易用的强化学习库，充分利用大规模 GPU 资源。它显著提升了 LLM 在关键领域的性能，包括人类偏好对齐、复杂推理以及多轮智能体交互场景。

ROLL 基于 Ray 的多角色分布式架构，实现灵活的资源分配与异构任务调度，并融合 Megatron-Core、SGLang 和 vLLM 等前沿技术，加速模型训练与推理过程。

---

📢 最新动态

📣 更新内容
[2026年3月6日] 🎉 我们支持Qwen3.5 密集型和MoE型系列模型，以及[在线策略蒸馏](docs_roll/i18n/zh-Hans/docusaurus-plugin-content-docs/current/User Guides/Pipeline/on_policy_distill_pipeline_start.md)。欢迎使用！
[2026年2月3日] 🎉 我们发布了FSDP2策略、带LoRA的Megatron、GPU部分重叠、Qwen3-Omni支持等新功能。更多详情，请参阅发布说明。欢迎使用！
[2026年1月1日] 🎉 我们的让其流动：摇滚乐中的智能体创作报告发布！介绍ALE生态系统和ROME，一种采用新颖IPA算法的开源智能体模型。
[2025年11月8日] 🎉 我们的ROCK：强化开放构建套件发布，探索全新能力！
[2025年10月23日] 🎉 我们的论文发布，详见非对称近端策略优化：迷你批评家助力大模型推理和注意力照亮大模型推理：预计划与锚定节奏实现精细策略优化。
[2025年10月14日] 🎉 我们的论文发布，详见第二部分：ROLL Flash——利用异步加速RLVR与智能体训练。
[2025年9月28日] 🎉 支持昇腾NPU——请参阅使用指南。
[2025年9月25日] 🎉 我们的论文发布，详见RollPacker：缓解长尾回滚以实现快速同步的强化学习训练后处理
[2025年9月24日] 🎉 支持Wan2_2奖励FL流水线。探索全新能力！
[2025年9月23日] 🎉 ROLL与GEM环境定义对齐，提供智能体工具使用训练能力，工具使用文档。
[2025年9月16日] 🎉 支持Qwen3-Next模型训练，请参考配置文件。
[2025年9月4日] 🎉 ROLL支持vLLM动态FP8回滚及remove_padding以加速。
[2025年8月28日] 🎉 ROLL支持SFT流水线，请参考配置文件。
[2025年8月13日] 🎉 ROLL支持AMD GPU，提供开箱即用的镜像docker与Dockerfile，并在examples/目录下提供特定yaml文件。请参阅安装指南。
[2025年8月11日] 🎉 我们的论文发布，详见第一部分：技巧还是陷阱？深入探究用于大模型推理的强化学习。
[2025年8月10日] 🎉 智能体强化学习支持逐步学习，如GigPO；蒸馏支持VLM。探索全新能力！
[2025年8月6日] 🎉 ROLL PPT现已发布，幻灯片。
[2025年7月31日] 🎉 重构智能体强化学习设计。支持智能体强化学习异步训练。探索全新能力！
[2025年7月31日] 🎉 支持DistillPipeline/DpoPipeline。支持loRa。支持GSPO
[2025年6月25日] 🎉 支持线程环境用于环境扩展，并支持qwen2.5 VL智能体流水线。
[2025年6月13日] 🎉 支持Qwen2.5 VL rlvr流水线并升级mcore至0.12版本。
[2025年6月9日] 🎉 ROLL技术报告现已发布！点击这里获取报告。
[2025年6月8日] 🎉 支持Qwen3（8B/14B/32B）、Qwen3-MoE（[30A3](examples/qwen3-30BA3B-rlvr_megatron/rlvr_config.yaml）/235A22）、Qwen2.5（7B/14B/32B/72B）大模型。
[2025年5月30日] 🎉 使用ROLL训练RLVR和智能体强化学习现已可用！探索全新能力。

---

🚀 快速入门

文档

快速开始

安装
配置系统说明
调试指南
追踪器与指标
检查点保存与恢复指南
将MCoreAdapter模型转换为Hugging Face格式
快速开始：单节点部署指南
快速开始：多节点部署指南
快速开始：使用阿里云函数计算DevPod进行快速开发 常见问题

用户指南

管道逐步详解

RLVR管道
代理式管道
代理式综合指南
蒸馏管道

算法

Reinforce++
TOPR
GiGPO
PPO
Lite PPO
GRPO
GSPO
RAFT++
StarPO
RewardFL

后端

DeepSeed
Megatron
vLLM
SGLang

高级功能

异步并行Rollout
异步训练功能

性能优化与资源管理

资源配置
GPU时间分割复用控制

ROLL x Ascend

Ascend使用指南

---

✨ 核心特性

• 多任务强化学习训练（RLVR）： 涵盖数学、编码、通用推理、开放式问答、指令跟随等。
  • 灵活的domain_batch_size分布控制。
  • 样本级异步并行Rollout，异步奖励计算与动态采样。
  • 实施中的异步训练。
• 代理式强化学习： 游戏、多轮对话、工具使用等多轮交互能力。
  • 环境级异步并行Rollout。
  • 支持异步训练。
  • 多轮交互Rollout支持本地调试，提升多轮交互业务开发效率。
  • 支持**轨迹式（StartPO）和步骤式（GiGPO）**训练范式。
• 算法友好： 默认提供灵活丰富的强化学习策略配置。
  • 超过20种丰富的强化学习策略选项，如奖励归一化、奖励裁剪、多种优势估计方法等。
  • 开箱即用支持强化学习算法，如PPO、GRPO、Reinforce++、TOPR、RAFT++、GSPO等。
• 丰富的训练与推理引擎： 基于Ray的多角色分布式架构；策略抽象统一各类后端，实现从单机到数千GPU集群的轻松操作。
  • 推理/生成支持vLLM、SGLang。
  • 训练支持DeepSpeed（ZeRO）、Megatron-LM 5D并行（mcore-adapter、dp/tp/pp/cp/ep）、FSDP实施中。
  • 极致的卸载/重载能力。
  • 支持LoRA训练。
  • 支持FP8 Rollout（LLM作为判别器的FP8推理，FP8 Rollout与BF16训练研发中）。
• AutoDeviceMapping： 支持不同角色的自定义设备映射，灵活管理共置与分离部署。
• 可观测性： 集成SwanLab / WandB / TensorBoard，跟踪各领域与奖励类型的性能。
• 丰富的训练后技术支持：
  • 代理式强化学习LLM与VLM
  • RLVR LLM与VLM
  • 蒸馏管道LLM与VLM
  • DPO管道
  • SFT管道研发中

---

🏆 基于ROLL的杰出工作

• ComplementaryRL：互补强化学习是一种学习框架，它通过在强化学习优化循环中无缝协同进化经验提取器与策略执行器，使智能体能够从经验中高效学习。
• RLix：RLix是一款强化学习作业管理器，通过在不同作业间共享GPU资源，让更多的强化学习任务能够并行运行而减少等待时间，同时保持每个流水线的训练行为并提升GPU利用率。
• TurningPoint-GRPO：一种用于文本到图像生成中流匹配模型的GRPO框架，通过建模逐级增量奖励并显式捕捉转折点检测带来的长期效应，缓解了逐级奖励稀疏的问题，为每次去噪动作提供密集的学习信号。
• STAgent：一款专门针对时空理解及复杂任务（如受限POI发现和行程规划）的代理式大语言模型，采用1:10,000的过滤比例进行分层数据筛选，并实施级联训练（种子SFT + 难度感知SFT + 强化学习），在TravelBench上表现强劲，同时保留通用能力。
• IPRO：一种新颖的视频扩散框架，利用强化学习增强以人为中心的I2V生成中的身份保护，通过人脸身份评分器和KL散度正则化优化扩散模型。
• TaoSR-SHE：淘宝搜索相关性逐步混合检查强化学习框架，包含SRPO（混合奖励模型+离线验证器）、多样化数据过滤以及多阶段课程学习。
• EARL：面向大语言模型的高效代理式强化学习系统，引入动态并行度选择器和布局感知数据调度器，以提升吞吐量、降低内存和数据移动瓶颈，实现稳定的大规模代理式强化学习而无需硬性上下文长度限制。
• LiveThinking：通过拒绝采样微调将670B教师大语言模型蒸馏至30B MoE（3B激活），再用GRPO压缩推理，为AI驱动的直播提供实时推理能力；延迟低至秒级，计算量减少约30倍，且在响应正确率（3.3%）、有用性（21.8%）以及淘宝直播GMV方面均有显著提升。
• TaoSR-AGRL：基于大语言模型的电商相关性自适应引导强化学习，引入规则感知奖励塑造和自适应引导回放，以提升淘宝搜索中的长程推理、规则遵从性和训练稳定性；已部署于主搜索，服务数亿用户。
• RecGPT：新一代大语言模型驱动的框架，将用户意图置于推荐系统的核心，促进更可持续且互利共赢的生态系统。
• TaoSR1：一种全新的大语言模型框架，直接部署思维链（CoT）推理用于电商查询-商品相关性预测，克服了部署难题，实现了卓越性能。
• AIGB-Pearl：一种新颖的自动出价方法，融合生成式规划与策略优化，利用大语言模型增强的轨迹评估器迭代优化出价策略，实现顶尖广告效果。

---

🙏 致谢与引用

ROLL的设计灵感来源于OpenRLHF、VeRL、Nemo-Aligner和RAGEN。 该项目由阿里巴巴淘宝天猫集团与阿里巴巴集团共同开发。代码采用Apache License（版本2.0）授权发布。本产品包含多种其他开源许可下的第三方组件，请参阅NOTICE文件获取更多信息。

以下仓库在ROLL中被使用，或以其原始形式，或作为灵感来源：

• NVIDIA/Megatron-LM
• microsoft/DeepSpeed
• sgl-project/sglang
• vllm-project/vllm
• modelscope/DiffSynth-Studio

如果您在研究或项目中使用ROLL，请考虑引用我们：

@article{wang2025reinforcement,
  title={大规模学习的强化学习优化：一种高效且易用的扩展库},
  author={王伟迅、熊少攀、陈耿儒、高伟、郭升、何延成、黄菊、刘嘉恒、李振东、李晓阳等},
  journal={arXiv预印本 arXiv:2506.06122},
  year={2025}
}

---

🤝 关于[ROCK & ROLL团队]

ROLL是由淘天未来生活实验室与阿里巴巴AI引擎团队联合开发的项目，专注于探索强化学习（RL）的未来发展方向。我们的使命是通过先进的强化学习技术，探索并塑造未来生活的创新形态。如果你对强化学习的未来充满热情，希望参与这一领域的变革，我们热烈欢迎你的加入！👇

---

我们正在招聘！

• 训练基础设施研发工程师 职位链接
• 大模型训练专家：
  • （社招）职位链接
  • （校招）职位链接
• 基础设施研究实习生 职位链接

---

ROLL 快速上手指南

环境准备

• 系统要求：Linux（推荐 Ubuntu 20.04/22.04），NVIDIA GPU（A100/H100 推荐），CUDA 12.1+
• 前置依赖：
  • Python 3.10+
  • PyTorch 2.3+（推荐使用 清华源 安装）
  • NVIDIA 驱动 ≥ 535
  • Docker（可选，推荐使用官方镜像加速）

推荐使用阿里云容器镜像服务加速：registry.cn-hangzhou.aliyuncs.com/alibaba/roll

安装步骤

1. 克隆仓库：

   git clone https://github.com/alibaba/ROLL.git
   cd ROLL
   

2. 安装依赖（推荐使用清华源）：

   pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt
   

3. （可选）使用 Docker 快速启动：

   docker pull registry.cn-hangzhou.aliyuncs.com/alibaba/roll:latest
   docker run --gpus all -it --rm -v $(pwd):/workspace registry.cn-hangzhou.aliyuncs.com/alibaba/roll:latest
   

基本使用

使用 ROLL 训练 Qwen2.5-7B 的 RLVR 模型最简示例：

1. 准备配置文件：

   cp examples/qwen2.5-7B-rlvr_megatron/rlvr_config.yaml ./config.yaml
   

2. 运行训练：

   python train.py --config ./config.yaml
   

3. 查看训练日志与指标：

   • 默认输出至 logs/ 目录
   • 支持 TensorBoard / W&B，配置见 Tracker & Metrics 文档

更多模型支持（Qwen3、MoE、VL 等）请参考 examples/ 目录下对应 YAML 配置文件。