slime

英文版

slime 是一个用于强化学习扩展的大型语言模型后训练框架，提供两大核心功能：

1. 高性能训练：通过将 Megatron 与 SGLang 连接，支持多种模式下的高效训练；
2. 灵活的数据生成：通过自定义数据生成接口和基于服务器的引擎，实现任意的训练数据生成工作流。

slime 是 GLM-5、GLM-4.7、GLM-4.6、GLM-4.5 背后的强化学习框架。除了 Z.ai 的模型外，我们还支持以下模型：

• Qwen3 系列（Qwen3Next、Qwen3MoE、Qwen3）、Qwen2.5 系列；
• DeepSeek V3 系列（DeepSeek V3、V3.1、DeepSeek R1）；
• Llama 3。

博文

• 我们的愿景：slime：一个原生支持 SGLang 的强化学习扩展后训练框架。
• 我们关于智能体训练的理念：面向智能体的设计：一种异步且解耦的智能体强化学习框架
• v0.1.0 发布说明：v0.1.0：重新定义高性能强化学习训练框架

目录

• 架构概述
• 快速入门
• 基于 slime 构建的项目
• 参数详解
• 开发者指南
• 常见问题与致谢

架构概述

模块说明：

• training (Megatron)：负责主训练流程，从数据缓冲区读取数据，并在训练完成后将参数同步到 rollout 模块。
• rollout (SGLang + 路由器)：生成新数据（包括奖励/验证器输出），并将其存储在数据缓冲区。
• data buffer：一个桥梁模块，管理提示初始化、自定义数据以及 rollout 生成方法。

快速入门

有关环境搭建、数据准备、训练启动及关键代码分析的全面快速入门指南，请参阅：

• 快速入门指南

我们还提供了一些快速入门指南未涵盖的用例示例；请查看 examples。

基于 slime 构建的项目

slime 已经支持了多个新颖的研究项目和生产系统。以下是一些值得注意的例子：

🦞 OpenClaw-RL：只需与其对话即可训练个性化抓取机器人

OpenClaw-RL 是一个用于个性化 OpenClaw 智能体的强化学习服务器。它托管 OpenClaw 模型，并通过跨部署的后续对话不断改进模型，而 slime 的异步强化学习基础设施则防止训练干扰 API 服务。该系统支持两种自动优化方法：基于后续状态推断出的二元反馈的 GRPO，以及从后续反馈中提取回溯性提示以优化当前策略的策略内蒸馏。

⚛️ P1：用强化学习掌握物理奥林匹克竞赛

P1 是一系列完全通过强化学习训练的开源物理推理模型。P1 将 slime 用作强化学习后训练框架，并引入了一种多阶段强化学习训练算法，通过自适应的学习能力调整和稳定机制逐步提升推理能力。在这一训练范式的驱动下，P1 在开源物理推理领域取得了突破性成果。

📈RLVE：利用可验证环境扩展语言模型的强化学习

RLVE 提出了使用可验证环境的方法，这些环境可以程序化生成问题，并提供算法可验证的奖励，从而扩展语言模型（LMs）的强化学习规模。通过在 400 个可验证环境中进行联合训练，RLVE 使每个环境能够根据策略模型的能力，在训练过程中动态调整问题难度分布。

⚡ TritonForge：用于内核生成的智能体强化学习训练框架

TritonForge 利用 slime 的 SFT 和 RL 能力，训练能够自动生成优化 GPU 内核的大型语言模型。通过两阶段训练方法——监督微调，随后进行多轮编译反馈的强化学习——TritonForge 在将 PyTorch 操作转换为高性能 Triton 内核方面取得了显著成果。

🚀 APRIL：通过主动部分 rollout 加速强化学习训练

APRIL 引入了一项系统级优化，可无缝集成到 slime 中，以加速强化学习训练中的 rollout 生成阶段。通过智能地超额预分配请求并主动管理部分完成情况，APRIL 解决了通常会占用强化学习训练时间 90% 以上的长尾生成瓶颈问题。

🏟️ qqr：借助 ArenaRL 和 MCP 扩展开放式智能体

qqr（又名 hilichurl）是 slime 的一个轻量级扩展，旨在进化开放式智能体。它实现了 ArenaRL 算法，通过锦标赛式的相对排名（例如种子单淘汰赛、循环赛）来应对判别崩溃问题，并无缝集成了 模型上下文协议（MCP）。qqr 利用 slime 的高吞吐量训练能力，能够在标准化、解耦的工具环境中实现智能体的可扩展、分布式进化。

这些项目展示了 slime 的多功能性——从训练代码生成模型到优化强化学习训练系统——使其成为研究和生产部署的强大基础。

参数详解

slime 中的参数分为三类：

1. Megatron 参数：slime 会读取 Megatron 中的所有参数。您可以通过传递类似 --tensor-model-parallel-size 2 的参数来配置 Megatron。
2. SGLang 参数：所有已安装 SGLang 的参数均受支持。这些参数必须以 --sglang- 为前缀。例如，--mem-fraction-static 应作为 --sglang-mem-fraction-static 传递。
3. slime 特定参数：请参阅：slime/utils/arguments.py

有关完整使用说明，请参阅 使用文档。

开发者指南

• 欢迎贡献! 如果您对新功能、性能优化或用户体验有任何建议或反馈，请随时提交 Issue 或 PR 😊

• 使用 pre-commit 来确保代码风格的一致性：

apt install pre-commit -y
pre-commit install

# 运行 pre-commit 以确保代码风格一致
pre-commit run --all-files --show-diff-on-failure --color=always

• 如需调试技巧，请参阅调试指南。

常见问题与致谢

• 关于常见问题，请查看问答。
• 特别感谢以下项目和社区：SGLang、Megatron‑LM、mbridge、OpenRLHF、veRL、Pai-Megatron-Patch 等。
• 如需引用 slime，请使用以下 BibTeX 格式：

@misc{slime_github,
  author       = {Zilin Zhu 和 Chengxing Xie 和 Xin Lv 和 slime 贡献者},
  title        = {slime：用于强化学习扩展的 LLM 后训练框架},
  year         = {2025},
  howpublished = {\url{https://github.com/THUDM/slime}},
  note         = {GitHub 仓库。通讯作者：Xin Lv},
  urldate      = {2025-06-19}
}

Slime 快速上手指南

Slime 是一个专为 RL（强化学习）扩展设计的大语言模型后训练框架，核心优势在于高性能训练（连接 Megatron 与 SGLang）和灵活的数据生成。它是 GLM-5、GLM-4 系列等模型背后的 RL 训练框架，同时也支持 Qwen3、DeepSeek V3、Llama 3 等主流开源模型。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04/22.04)
• GPU: NVIDIA GPU (建议多卡环境以发挥分布式训练优势)
• Python: 3.9 或更高版本
• CUDA: 根据显卡驱动安装对应的 CUDA 版本 (通常建议 12.1+)
• 前置依赖:
  • Megatron-LM: 用于核心训练流程。
  • SGLang: 用于高效推理和数据生成 (Rollout)。
  • PyTorch: 与上述框架版本兼容。

提示: 由于 Slime 强依赖特定版本的 Megatron 和 SGLang，建议优先参考官方文档中的版本兼容性列表，或使用官方提供的 Docker 镜像（如有）以避免环境冲突。

2. 安装步骤

克隆代码库

git clone https://github.com/THUDM/slime.git
cd slime

安装依赖

推荐使用虚拟环境进行隔离。Slime 的核心依赖包括 Megatron 和 SGLang，请确保按顺序安装。

# 创建虚拟环境
python -m venv slime_env
source slime_env/bin/activate

# 升级 pip
pip install --upgrade pip

# 安装基础依赖 (具体版本请参考 requirements.txt 或官方文档最新指引)
pip install -r requirements.txt

# 安装 SGLang (需指定与 Slime 兼容的版本)
# 注意：如果国内网络访问 GitHub 或 PyPI 较慢，可配置清华源或阿里源加速
pip install sglang -i https://pypi.tuna.tsinghua.edu.cn/simple

# 安装 Megatron-LM (Slime 通常需要特定 fork 版本或补丁版)
# 此处以通用安装为例，具体请参考 docs/en/get_started/quick_start.md 中的详细指引
pip install git+https://github.com/NVIDIA/Megatron-LM.git

代码风格检查工具 (可选但推荐)

为了保持贡献代码的一致性，建议安装 pre-commit：

apt install pre-commit -y
pre-commit install

3. 基本使用

Slime 的启动逻辑分为三个主要部分：Training (Megatron)、Rollout (SGLang) 和 Data Buffer。参数传递遵循以下规则：

• Megatron 参数: 直接传递，如 --tensor-model-parallel-size 2。
• SGLang 参数: 需添加 --sglang- 前缀，如 --sglang-mem-fraction-static。
• Slime 特有参数: 定义在 slime/utils/arguments.py 中。

最简单的训练示例

以下是一个基于命令行启动的基本训练示例（假设已准备好数据集和模型权重）：

python main.py \
    --tensor-model-parallel-size 2 \
    --pipeline-model-parallel-size 2 \
    --num-layers 24 \
    --hidden-size 2048 \
    --num-attention-heads 16 \
    --seq-length 2048 \
    --max-position-embeddings 2048 \
    --train-iters 100 \
    --save ./checkpoints \
    --load ./checkpoints \
    --data-path ./data/my_dataset \
    --vocab-file ./vocab.json \
    --merge-file ./merges.txt \
    --optimizer adam \
    --adam-beta1 0.9 \
    --adam-beta2 0.95 \
    --adam-eps 1e-8 \
    --lr 1e-5 \
    --min-lr 1e-6 \
    --lr-decay-style cosine \
    --weight-decay 1e-2 \
    --clip-grad 1.0 \
    --lr-warmup-fraction 0.01 \
    --micro-batch-size 4 \
    --global-batch-size 32 \
    --fp16 \
    --use-distributed-optimizer \
    --overlap-grad-reduce \
    --overlap-param-gather \
    --enable-flash-attn \
    --recompute-activations \
    --recompute-granularity full \
    --rollout-engine sglang \
    --sglang-tensor-parallel-size 2 \
    --sglang-mem-fraction-static 0.8 \
    --sglang-port 30000 \
    --reward-server-url http://localhost:8000/reward \
    --generation-limit 1024

关键参数说明

• --rollout-engine sglang: 指定使用 SGLang 作为推理后端。
• --sglang-*: 所有带此前缀的参数将透传给 SGLang 服务。
• --reward-server-url: 指定奖励模型或验证器的服务地址，用于 RL 反馈。

更多示例

对于更复杂的场景（如自定义数据生成工作流、多阶段训练等），请参考项目根目录下的 examples/ 文件夹。

---

注：本指南基于 Slime 核心功能整理，详细的高级配置、调试技巧及架构深度解析请参阅官方文档 Quick Start Guide。