AReaL：一个大规模异步强化学习系统

| 论文 | 文档 | 中文文档 | Ask DeepWiki | 🤗 模型与数据 | WeChat (微信) 群 |

AReaL 是一个开源的完全异步强化学习训练系统，专为大型推理和智能体模型设计，由清华大学 IIIS 的成员以及蚂蚁集团 AReaL 团队共同开发。基于开源项目 ReaLHF，我们完全遵循开源原则，提供复现结果所需的训练细节、数据和基础设施，同时开放模型本身。AReaL 致力于帮助每个人以简单且经济的方式构建自己的 AI 智能体。我们的团队热爱奶茶，因为它美味、可定制且价格实惠——我们也希望您会像喜欢真正的奶茶一样喜欢我们的项目。干杯！

AReaL 亮点

• ⚡ 灵活性：通过简单替换 base_url，即可无缝定制用于智能体强化学习和在线强化学习训练。
• 📈 可扩展性：稳定的全异步强化学习训练，具备业界领先的速度。
• ✨ 前沿性能：最先进的数学、编程、搜索和客服智能体。

📰 新闻

[2026/03/02] 我们提供了一个完整的示例(examples/openclaw/)，只需将 base_url 和 api_key 替换为 AReaL 的 RL 服务，即可训练属于您自己的 🦞 OpenClaw 智能体——无需复杂的依赖项，无需修改代码，适用于任何智能体运行时！

[2026/02/06] 我们很高兴推出AReaL-SEA，一款自我进化的数据合成引擎。结合 AReaL 上的强化学习训练，这款 235B 参数的 MoE 模型超越了 GPT-5，并在 $\tau^2$ 基准测试上达到了与 Gemini 3.0 Pro 相当的性能！请查看论文、模型、数据以及代码。

[2026/01/15] 恭喜我们的朋友 CAMEL-AI 开源了他们的终端智能体强化学习项目 SETA，该项目正是使用 AReaL 训练的！请查看他们的训练流程以及X 平台上的公告。

📋 往期发布

[2026/01/01] 新年快乐！感谢 @HwVanICI 的杰出贡献，我们很高兴正式宣布对Ascend NPU 设备的 AReaL 训练提供稳定支持！相关代码正在积极维护并在 ascend 分支中持续更新。请参阅我们的文档开始使用，如有任何问题欢迎随时反馈！

[2025/08/30] 推出 ASearcher，一款基于 AReaL 全链路异步强化学习训练打造的最先进搜索智能体。请查看论文和开源仓库！

[2025/07/31] (AReaL-lite) 我们推出了 AReaL-lite，这是一个专为 AI 研究人员和快速原型设计打造的轻量级版本。AReaL-lite 采用算法优先的 API 设计，注重易用性和算法开发，同时原生支持全异步智能体强化学习。尽管代码量减少了 80%，AReaL-lite 仍保持了 AReaL 90% 的性能和核心功能。请查阅我们的 AReaL-lite 设计文档和快速入门指南，开启您的 AReaL-lite 之旅！

[2025/06/03] (v0.3, boba²) 我们发布了 boba²（双珍珠），用于全异步强化学习训练，相比同步系统，它实现了2.77 倍的加速，同时提供相当或更优的训练性能。此外，异步强化学习显著简化了多轮智能体强化学习的设置！请查看我们的 v0.3 概览博客和研究论文。

[2025/03/31] (v0.2, boba) 我们推出了里程碑式的发布——boba！请称之为 A-ReaL-boba！此版本支持 SGLang，训练速度大幅提升，并提供了最先进的 7B 和 32B 模型，用于数学推理。请查看我们的v0.2 技术博客。

[2025/02/24] (v0.1) 我们的首次发布包含了 1.5B 和 7B 大型推理模型（LRMs）的可复现结果。请查看我们的v0.1 技术博客。

🚀 快速入门

首先，安装软件包：

git clone https://github.com/inclusionAI/AReaL
cd AReaL
pip install uv
# 首先安装 flash-attn 预编译的 wheel 包，避免从源码编译
# （选择与您的 Python 版本匹配的 wheel；详见 https://github.com/mjun0812/flash-attention-prebuild-wheels/releases）
uv pip install "https://github.com/mjun0812/flash-attention-prebuild-wheels/releases/download/v0.7.16/flash_attn-2.8.3+cu128torch2.9-cp312-cp312-linux_x86_64.whl"
uv sync --extra cuda  # 安装训练所需包 + SGLang（默认推理后端）

我们的训练脚本会自动下载所需的数据集（openai/gsm8k）和模型（Qwen/Qwen2-1.5B-Instruct）。要在单节点上运行：

python3 examples/math/gsm8k_rl.py --config examples/math/gsm8k_grpo.yaml scheduler.type=local

要在包含 2 个节点、每节点 8 张 GPU 的 Ray 集群上运行（请记得更新 YAML 文件中的路径，指向您的共享存储）：

python3 examples/math/gsm8k_rl.py --config examples/math/gsm8k_grpo.yaml \
  cluster.n_nodes=2 cluster.n_gpus_per_node=8 \
  scheduler.type=ray

有关完整的设置说明，请参阅我们的快速入门指南。

📚 示例

数学与推理

任务	描述	性能
数学	使用 GRPO、PPO、DAPO、REINFORCE、RLOO、LitePPO、DR-GRPO、GSPO 等方法进行 GSM8K 数学推理	-
多轮数学	具有多轮奖励折扣的多轮数学智能体	训练曲线
LoRA 数学	使用 LoRA 进行参数高效的数学训练（SGLang/vLLM 后端）	-
倒计时	带有自定义奖励的倒计时数字游戏	训练曲线

智能体强化学习

任务	描述	性能
通用智能体	使用任何智能体框架进行通用智能体训练	指南
Tau2 客服	Tau2-Bench 上的客服智能体（零售、航空、电信）	论文
搜索智能体	使用 Tongyi-DeepResearch 工作流的端到端搜索智能体	训练曲线
工具集成推理	推理过程中多轮调用工具（Python 执行器、计算器）	训练曲线
OpenAI 智能体集成	与 OpenAI 智能体 SDK 集成以实现智能体工作流	-
CAMEL-AI 集成	与 CAMEL-AI 框架集成以进行智能体强化学习	-

视觉-语言模型

任务	描述	性能
VLM	使用 GRPO 进行 Geometry3K 和 CLEVR Count 70K 的视觉推理	-
NPU 上的 VLM	在华为 NPU 硬件上进行 VLM 训练	基准测试结果

对齐与基础设施

任务	描述	性能
RLHF 奖励建模	在 Anthropic HH-RLHF 上进行 Bradley-Terry 奖励建模	训练曲线
SkyPilot 部署	使用 SkyPilot 进行云部署（GCP、AWS、Kubernetes）	截图

🔧 支持矩阵

🧠 算法

所有强化学习算法都通过设置 max_head_offpolicyness=0 来支持异步和同步版本。详情请参阅 异步强化学习指南。

算法	文档	论文	配置
GRPO	📖 文档	📄 论文	🔗 GSM8K 示例
GSPO	📖 文档	📄 论文	🔗 GSM8K 示例
PPO	📖 文档	📄 论文	🔗 GSM8K 示例
DAPO	📖 文档	📄 论文	🔗 GSM8K 示例
LitePPO	📖 文档	📄 论文	🔗 GSM8K 示例
Dr.GRPO	📖 文档	📄 论文	🔗 GSM8K 示例
REINFORCE++	-	📄 论文	🔗 GSM8K 示例
RLOO	📖 文档	📄 论文	🔗 GSM8K 示例
SAPO	📖 文档	📄 论文	🔗 GSM8K 示例
M2PO	📖 文档	📄 论文	🔗 GSM8K 示例
RLHF 奖励建模	-	-	🔗 RLHF 示例
SFT	-	-	🔗 GSM8K 示例
蒸馏	📖 文档	📄 论文	🔗 GSM8K 示例

模型

模型家族	Megatron	PyTorch FSDP	PyTorch Archon	备注
Qwen2/3	✅	✅	✅	-
Qwen3-MoE	✅	✅	✅	-
Qwen2.5-VL	❌	✅	❌	视觉语言模型
Qwen3-VL	❌	✅	❌	视觉语言模型
Gemma 3	❌	✅	❌	视觉语言模型
其他 Hugging Face LLM	❌	✅	❌	兼容性取决于 transformers 的版本

有关如何将新模型集成到 AReaL 中，请参阅 AI 编码助手指南 和 Archon 参考文档。

训练后端

后端	DP	张量并行	TP 内的序列并行	上下文并行	流水线并行	专家并行	1D 序列打包	LoRA
Megatron	✅ (ZeRO-1)	✅	✅	✅	✅	✅	✅	✅ (与 vLLM 推理后端结合)
PyTorch FSDP	✅ (FSDP2)	✅	✅	✅	❌	❌	✅	✅
PyTorch Archon	✅ (FSDP2)	✅	✅	✅	✅	✅	✅	❌

推理后端

后端	张量并行	上下文并行	流水线并行	数据并行注意力	专家并行
vLLM	✅	❓	✅	❓	❓
SGLang	✅	❌	❌	✅	✅

📖 资源

教程

• 安装
• 快速入门
• 代理式强化学习
• 评估
• 使用 Megatron 运行大型 MoE
• 使用 PyTorch Archon 运行大型 MoE

代码讲解

• 在 GSM8K 数据集上运行 GRPO

最佳实践

• 提升算法性能
• 代理工作流最佳实践
• 调试
• 处理 OOM 问题
• 性能剖析

自定义

• 自定义数据集
• 自定义代理/RVLR 回放工作流

算法

• 异步强化学习详解
• PPO、GRPO 及相关算法
• M2PO

参考

• CLI 配置
• LoRA RL
• 检查点机制
• 指标跟踪
• 分配模式
• Rollout 工作流
• Agent 工作流
• AI 辅助开发

🤝 贡献

我们热烈欢迎社区的贡献！无论您是修复 bug、添加新功能、改进文档，还是帮助他人，您的贡献都备受珍视。请查看我们的 贡献指南 以获取详细信息。

# 分支并克隆仓库
git clone https://github.com/YOUR-USERNAME/AReaL
cd AReaL

# 安装 uv 并同步依赖
pip install uv
# 安装 flash-attn 预编译轮子，避免从源码编译
uv pip install "https://github.com/mjun0812/flash-attention-prebuild-wheels/releases/download/v0.7.16/flash_attn-2.8.3+cu128torch2.9-cp312-cp312-linux_x86_64.whl"
# 在带有 CUDA 的 Linux 上使用 `--extra cuda`（安装训练相关包 + SGLang）
uv sync --extra cuda --group dev
# 如果使用 vLLM（注意：需使用 torch2.10 版本的 flash-attn 轮子）：
# uv sync --extra cuda-vllm --group dev
# 或者不支持 CUDA 的情况：
# uv sync --group dev

# 设置 pre-commit 钩子（格式化、静态检查、提交信息检查）
pre-commit install --install-hooks

# 进行更改
git checkout -b feat/gpt-o5
git add .
# `git commit` 会自动检查文件和提交信息
git commit -m "feat: implement gpt-o5 training loop"
git push

🗺️ 未来路线图

• 完整路线图
• 2025 年第四季度路线图

AReaL 目前正处于积极开发中，计划每周发布小版本，每月发布大版本。我们热忱欢迎社区参与和贡献。同时，我们也 正在招聘实习生和全职员工，在美国和中国均有职位空缺。

🙏 致谢

我们衷心感谢主要贡献者来自清华大学交叉信息研究院（IIIS）和蚂蚁集团的 AReaL 团队。

此外，我们还得到了以下机构和个人的宝贵帮助（按字母顺序排列）：

• 蚂蚁研究院数据智能实验室提供的数据支持

• @HwVanICI 在 vLLM、LoRA、NPU 集成等方面的支持

• 香港科技大学的 Relaxed System Lab 团队，在众多系统相关方面的无缝协作

• SGLang 团队 对自定义权重更新功能的支持，以及在 AReaL-lite 开发期间的贡献

• 蚂蚁集团超算技术团队（SCT）在大规模集群运维方面的专业经验

• 特别感谢 @Lyken17 在整个 API 设计过程中提供的宝贵建议

我们同样深深感激社区的所有开创性工作，尤其是 OpenPsi Inc. 的 ReaLHF 项目，以及其他杰出项目，包括但不限于 DeepScaleR、Open-Reasoner-Zero、OpenRLHF、VeRL、SGLang、QwQ、Light-R1，以及 DAPO 等。

📄 引用

@inproceedings{mei2025real,
  author       = {Mei, Zhiyu and Fu, Wei and Li, Kaiwei and Wang, Guangju and Zhang, Huanchen and Wu, Yi},
  title        = {ReaL: Efficient RLHF Training of Large Language Models with Parameter Reallocation},
  booktitle    = {Proceedings of the Eighth Conference on Machine Learning and Systems,
                  MLSys 2025, Santa Clara, CA, USA, May 12-15, 2025},
  publisher    = {mlsys.org},
  year         = {2025},
}

@misc{fu2025areal,
      title={AReaL: A Large-Scale Asynchronous Reinforcement Learning System for Language Reasoning},
      author={Wei Fu and Jiaxuan Gao and Xujie Shen and Chen Zhu and Zhiyu Mei and Chuyi He and Shusheng Xu and Guo Wei and Jun Mei and Jiashu Wang and Tongkai Yang and Binhang Yuan and Yi Wu},
      year={2025},
      eprint={2505.24298},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/2505.24298},
}

AReaL 快速上手指南

AReaL 是一个由清华大学 IIIS 研究所和蚂蚁集团 AReaL 团队联合开源的大规模全异步强化学习（RL）训练系统，专为大型推理模型和智能体（Agent）设计。本指南将帮助您快速搭建环境并运行第一个训练任务。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+)
• Python: 3.10 - 3.12 (示例中使用了 Python 3.12)
• GPU: NVIDIA GPU (支持 CUDA)，显存建议 16GB+；或华为 Ascend NPU（需切换至 ascend 分支）。
• 工具: git, pip (推荐使用 uv 进行依赖管理以提升速度)。
• 网络: 能够访问 Hugging Face 和 GitHub（若下载模型/数据受阻，建议配置国内镜像或代理）。

注意：AReaL 默认使用 SGLang 作为推理后端，对 CUDA 版本有特定要求。

2. 安装步骤

推荐使用 uv 工具进行快速安装，它能有效避免源码编译带来的耗时问题。

第一步：克隆代码库

git clone https://github.com/inclusionAI/AReaL
cd AReaL

第二步：安装 uv 包管理器

pip install uv

第三步：预安装 flash-attn

为了避免从源码编译 flash-attn（耗时且易出错），请直接安装预编译好的 wheel 包。 请根据您的实际 Python 版本和 CUDA 版本选择对应的链接，以下为 Python 3.12 + CUDA 12.8 的示例：

uv pip install "https://github.com/mjun0812/flash-attention-prebuild-wheels/releases/download/v0.7.16/flash_attn-2.8.3+cu128torch2.9-cp312-cp312-linux_x86_64.whl"

第四步：同步安装项目依赖

安装训练所需的核心包及默认的 SGLang 推理后端：

uv sync --extra cuda

提示：如果您使用的是华为昇腾（Ascend）NPU，请切换到 ascend 分支并参考官方文档中的 NPU 安装指南。

3. 基本使用

安装完成后，您可以直接运行示例脚本。AReaL 会自动下载所需的演示数据集（如 openai/gsm8k）和基础模型（如 Qwen/Qwen2-1.5B-Instruct）。

场景一：单机单卡/多卡运行

在本地单节点上启动数学推理（GSM8K）的 GRPO 训练：

python3 examples/math/gsm8k_rl.py --config examples/math/gsm8k_grpo.yaml scheduler.type=local

场景二：分布式集群运行 (Ray)

若在 Ray 集群上运行（例如 2 个节点，每节点 8 张 GPU），请确保 YAML 配置中的路径指向共享存储，并使用以下命令：

python3 examples/math/gsm8k_rl.py --config examples/math/gsm8k_grpo.yaml \
  cluster.n_nodes=2 cluster.n_gpus_per_node=8 \
  scheduler.type=ray

自定义智能体训练

AReaL 支持通过简单替换 base_url 来适配不同的智能体运行时。例如，训练自定义的 OpenClaw 智能体：

# 修改配置文件中的 base_url 和 api_key 指向您的 RL 服务即可，无需修改核心代码
python3 examples/openclaw/train.py --config your_config.yaml

---

下一步建议：

• 查看 中文文档 获取详细的算法配置说明。
• 探索 examples/ 目录下的更多案例，涵盖多轮对话、搜索智能体、视觉语言模型（VLM）等场景。