更新

• 2025年7月18日：我们很荣幸地获得了ICML 2025数学人工智能研讨会的最佳论文荣誉提名奖！
• 2025年3月21日：🎉 我们发布了论文、模型和代码库。我们的R1-Zero训练是基于🌾 OAT 实现的，这是一个高度模块化、研究友好且高效的LLM强化学习框架。

链接

• 理解R1-Zero式训练：一个批判性视角

  • 📄 论文
  • 🤗 模型
  • 🚀 发布推文

• R1-Zero式训练中可能不存在“顿悟时刻”——一项试点研究

  • 📄 博客
  • 💻 代码
  • 🚀 发布推文

• OAT：用于LLM在线对齐的研究友好型框架

  • 💻 代码库

TL;DR

为了理解R1-Zero式训练，我们从两个核心方面进行了批判性分析：基础模型和强化学习。以下是我们的主要发现。

关于基础模型：

1. DeepSeek-V3-Base已经表现出“顿悟时刻”。

2. 作为R1-Zero式训练的热门选择，Qwen2.5基础模型即使不使用提示模板，也展现出强大的推理能力：平均基准分数提高了约60%（相比传统的四次提示方式）！

关于强化学习：

3. GRPO会导致有偏见的优化！我们提出了一种简单的改进方法，可以在保持推理性能的同时提高token效率，称为Dr. GRPO（GRPO Done Right）。

4. 在R1-Zero式训练中，模板和问题集共同作用，影响强化学习的动力学：
   • （左图）对于Qwen2.5-Math-1.5B，不匹配的模板（如R1模板）实际上会在RL重构之前破坏其推理能力。这使得表面上的改进显得非常显著。
   • （中图）然而，如果模板没有偏离预训练分布太远，即使是小规模且完全o.o.d.的问题集（如GSM8K），也能通过强化正确的推理行为而非注入新知识来同样有效地诱导推理能力。

5. 除了Qwen之外，Llama也可以从基础模型进行强化学习调优。在这种情况下，领域特定的预训练将提升强化学习的上限。
   • （右图）GRPO甚至可以通过增加输出长度使具有数学知识的Llama产生“顿悟”效果；然而，这很可能是由于其长度偏差所致，而这种偏差可以通过Dr. GRPO消除。

我们的极简R1-Zero配方：

我们的分析表明，R1-Zero式训练可以采用一种极简配方：

我们使用（无偏见的）Dr. GRPO算法，在MATH等级3-5的问题上，结合Qwen-Math模板，对Qwen2.5-Math-7B进行强化学习调优，仅需8张A100 GPU上的27小时计算时间，便能达到最先进的性能。

如果您想了解更多细节，请查看我们的论文！

使用方法

安装

我们建议使用干净的python==3.10环境进行开发。

# 安装vllm和oat，这是我们用于R1-Zero训练的LLM强化学习框架。
pip install vllm==0.8.4 && pip install oat-llm==0.1.3.post1

# 在本地安装本包以使用数学评分器。
git clone git@github.com:sail-sg/understand-r1-zero.git && cd understand-r1-zero
pip install -e .

训练

我们通过扩展Oat的Learner和Actor组件来实现R1-Zero训练。请参阅train_zero_math.py以获取分步指南。

# 修改LD_LIBRARY_PATH以避免依赖错误：
export LD_LIBRARY_PATH=$(python -c "import sysconfig; print(sysconfig.get_config_var('LIBDIR'))"):$LD_LIBRARY_PATH

# 运行实验（已在8 x A100-40G上测试）并使用Dr. GRPO：

# （运行 GRPO 时请改为 `--critic_type grpo`）
python train_zero_math.py \
    --critic_type drgrpo \
    --gpus 8 \
    --enable_prefix_caching \
    --collocate \
    --vllm_sleep \
    --vllm_gpu_ratio 0.35 \
    --gradient-checkpointing \
    --flash-attn \
    --bf16 \
    --rnd-seed \
    --learning_rate 0.000001 \
    --lr_scheduler constant \
    --num_ppo_epochs 1 \
    --beta 0 \
    --oracle_type reward \
    --oracle math \
    --pretrain Qwen/Qwen2.5-Math-1.5B \
    --prompt_template r1 \
    --zero-stage 2 \
    --ref_offload \
    --prompt_data ./datasets/train/math_12k \
    --train_split train \
    --input_key problem \
    --output_key answer \
    --max-train 9999999 \
    --num_prompt_epoch 20 \
    --prompt_max_length 1024 \
    --num_samples 8 \
    --temperature 1 \
    --top_p 1 \
    --generate_max_length 3000 \
    --save_steps -1 \
    --train_batch_size 128 \
    --train_batch_size_per_device 1 \
    --rollout_batch_size 128 \
    --rollout_batch_size_per_device 16 \
    --pi_buffer_maxlen_per_device 128 \
    --eval_batch_size 200 \
    --eval_steps 16 \
    --eval_temperature 0 \
    --eval_generate_max_length 3000 \
    --eval_data ./datasets/evaluation_suite \
    --eval_input_key input \
    --use-wb \
    --wb-run-name qwen2.5-Math-1.5b-r1-zero \
    --wb_project oat-zero

更多示例脚本请参见 这里。

评估

# 评估我们的模型：
python evaluate_model.py --model_name sail/Qwen2.5-Math-7B-Oat-Zero
python evaluate_model.py --model_name sail/Qwen2.5-Math-1.5B-Oat-Zero
python evaluate_model.py --model_name sail/Llama-3.2-3B-Oat-Zero --template r1

# 评估基线模型：
python evaluate_model.py --model_name Qwen/Qwen2.5-Math-1.5B
python evaluate_model.py --model_name Qwen/Qwen2.5-Math-7B
python evaluate_model.py --model_name hkust-nlp/Qwen-2.5-Math-7B-SimpleRL-Zero
python evaluate_model.py --model_name PRIME-RL/Eurus-2-7B-PRIME-Zero
python evaluate_model.py --model_name Open-Reasoner-Zero/Open-Reasoner-Zero-7B

提供 DeepSeek 模型服务

我们提供了一个脚本，用于在 k8s 集群上部署和运行 DeepSeek-V3-Base 和 DeepSeek-R1-Zero。

# 先决条件：
# 1. 下载模型权重
# 2. 使用 sglang 的 docker 镜像 "lmsysorg/sglang:v0.4.3.post2-cu125" 启动一个 k8s 任务

# 启动服务器：
bash deploy_dpsk/serving.sh <model_name> <num_nodes>

API 调用示例：

from openai import OpenAI

# MASTER_ADDR 是由 k8s 任务设置的环境变量
api_base = "http://{MASTER_ADDR}:30000/v1"
api_key = "EMPTY"

client = OpenAI(
    api_key=api_key,
    base_url=api_base,
)

# 向服务器发送请求 ...

注意事项：

• 您的 k8s 容器应设置环境变量 MASTER_ADDR 和 MASTER_PORT。
• 硬件要求：使用 FP8 时需要 2 x 8 x H100/800/20，使用 BF16 时需要 4 x 8 x A100/A800。
• 更多详情请参考 sglang 的 官方教程。

引用

如果您觉得我们的工作对您的研究有帮助，请考虑引用以下内容：

• 本文：

  @inproceedings{liu2025understanding,
    title={Understanding r1-zero-like training: A critical perspective},
    author={Liu, Zichen and Chen, Changyu and Li, Wenjun and Qi, Penghui and Pang, Tianyu and Du, Chao and Lee, Wee Sun and Lin, Min},
    booktitle={Conference on Language Modeling (COLM)},
    year={2025}
  }
  

• 我们首次探讨“顿悟时刻”的博客：

  @misc{liu2025there,
    title={There May Not be Aha Moment in R1-Zero-like Training — A Pilot Study},
    author={Liu, Zichen and Chen, Changyu and Li, Wenjun and Pang, Tianyu and Du, Chao and Lin, Min},
    year={2025},
    howpublished={\url{https://oatllm.notion.site/oat-zero}},
    note={Notion Blog},
  }
  

• 训练框架：

  @misc{liu2024oat,
    title={OAT: A research-friendly framework for LLM online alignment},
    author={Liu, Zichen and Chen, Changyu and Wan, Xinyi and Du, Chao and Lee, Wee Sun and Lin, Min},
    year={2024},
    howpublished={\url{https://github.com/sail-sg/oat}},
  }
  

致谢

• 本研究得到了 Sea AI Lab 的计算资源支持。
• 训练代码基于 Oat 构建，该框架使用了 vLLM、DeepSpeed 和 launchpad。我们使用 SGLang 来部署 DeepSeek 模型。
• 基础模型来自 Qwen2.5-Math、Llama 和 DeepSeek。
• 我们感谢 Qingfeng Lan 花时间对我们代码进行了详尽的审查。

understand-r1-zero 快速上手指南

本指南旨在帮助开发者快速复现 R1-Zero 类训练实验，基于 OAT 框架对 Qwen2.5-Math 等基座模型进行强化学习微调。

环境准备

• 操作系统: Linux (推荐 Ubuntu 20.04+)
• Python 版本: 严格推荐 Python 3.10
• 硬件要求:
  • 训练示例基于 8× A100-40G GPU 测试。
  • 若部署 DeepSeek 模型服务，FP8 精度需 2×8×H100/A800/H800，BF16 精度需 4×8×A100/A800。
• 前置依赖:
  • CUDA 工具包（与 PyTorch/vLLM 版本匹配）
  • Git

安装步骤

建议在一个干净的虚拟环境中进行安装。

1. 创建并激活环境 (以 conda 为例):

   conda create -n r1-zero python=3.10 -y
   conda activate r1-zero
   

2. 安装核心框架 (vLLM & OAT):

   pip install vllm==0.8.4 && pip install oat-llm==0.1.3.post1
   

   提示: 国内用户若下载缓慢，可添加清华或阿里镜像源，例如：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple ...

3. 克隆项目并安装本地包:

   git clone git@github.com:sail-sg/understand-r1-zero.git
   cd understand-r1-zero
   pip install -e .
   

基本使用

1. 启动训练 (Training)

本项目通过扩展 OAT 框架的 Learner 和 Actor 组件实现 R1-Zero 训练。以下命令展示了如何使用改进后的 Dr. GRPO 算法在 8 卡环境下微调 Qwen2.5-Math-1.5B 模型。

注意: 运行前需设置 LD_LIBRARY_PATH 以避免依赖错误。

# 设置环境变量
export LD_LIBRARY_PATH=$(python -c "import sysconfig; print(sysconfig.get_config_var('LIBDIR'))"):$LD_LIBRARY_PATH

# 执行训练脚本
python train_zero_math.py \
    --critic_type drgrpo \
    --gpus 8 \
    --enable_prefix_caching \
    --collocate \
    --vllm_sleep \
    --vllm_gpu_ratio 0.35 \
    --gradient-checkpointing \
    --flash-attn \
    --bf16 \
    --rnd-seed \
    --learning_rate 0.000001 \
    --lr_scheduler constant \
    --num_ppo_epochs 1 \
    --beta 0 \
    --oracle_type reward \
    --oracle math \
    --pretrain Qwen/Qwen2.5-Math-1.5B \
    --prompt_template r1 \
    --zero-stage 2 \
    --ref_offload \
    --prompt_data ./datasets/train/math_12k \
    --train_split train \
    --input_key problem \
    --output_key answer \
    --max-train 9999999 \
    --num_prompt_epoch 20 \
    --prompt_max_length 1024 \
    --num_samples 8 \
    --temperature 1 \
    --top_p 1 \
    --generate_max_length 3000 \
    --save_steps -1 \
    --train_batch_size 128 \
    --train_batch_size_per_device 1 \
    --rollout_batch_size 128 \
    --rollout_batch_size_per_device 16 \
    --pi_buffer_maxlen_per_device 128 \
    --eval_batch_size 200 \
    --eval_steps 16 \
    --eval_temperature 0 \
    --eval_generate_max_length 3000 \
    --eval_data ./datasets/evaluation_suite \
    --eval_input_key input \
    --use-wb \
    --wb-run-name qwen2.5-Math-1.5b-r1-zero \
    --wb_project oat-zero

• 若要使用原始 GRPO 算法，请将 --critic_type 改为 grpo。
• 更多示例脚本请参考 ./examples/ 目录。

2. 模型评估 (Evaluation)

训练完成后，可使用提供的脚本评估模型性能。

评估本项目训练的模型:

python evaluate_model.py --model_name sail/Qwen2.5-Math-7B-Oat-Zero
python evaluate_model.py --model_name sail/Qwen2.5-Math-1.5B-Oat-Zero
python evaluate_model.py --model_name sail/Llama-3.2-3B-Oat-Zero --template r1

评估基线模型:

python evaluate_model.py --model_name Qwen/Qwen2.5-Math-1.5B
python evaluate_model.py --model_name Qwen/Qwen2.5-Math-7B
python evaluate_model.py --model_name hkust-nlp/Qwen-2.5-Math-7B-SimpleRL-Zero
python evaluate_model.py --model_name PRIME-RL/Eurus-2-7B-PRIME-Zero
python evaluate_model.py --model_name Open-Reasoner-Zero/Open-Reasoner-Zero-7B

3. 模型服务 (Serving)

若需在 Kubernetes 集群上部署 DeepSeek-V3-Base 或 DeepSeek-R1-Zero 模型，可使用提供的 Shell 脚本。

前提条件:

1. 已下载模型权重。
2. 启动一个使用 lmsysorg/sglang:v0.4.3.post2-cu125 镜像的 K8s Job。

启动服务:

bash deploy_dpsk/serving.sh <model_name> <num_nodes>

API 调用示例:

from openai import OpenAI

# MASTER_ADDR 由 K8s Job 自动设置
api_base = "http://{MASTER_ADDR}:30000/v1"
api_key = "EMPTY"

client = OpenAI(
    api_key=api_key,
    base_url=api_base,
)

# 发送请求到服务器...
# response = client.chat.completions.create(...)