[!IMPORTANT] 🔥 新闻!!!

• [2025/05] 我们更新了完整DAPO的WandB训练记录以及在AIME 2024中取得50%以上成绩的检查点。我们还提供了在AIME 2024上进行评估的说明。
• [2025/03] 我们发布了DAPO早期版本（不含Token-level PG Loss和动态采样）的训练记录，在AIME 2024中取得了44%的成绩，相关记录可在WandB上查看。

我们发布了一个完全开源的大规模LLM强化学习系统，包含算法、代码框架和数据集。该系统实现了当前最先进的大规模LLM强化学习性能。我们提出了Decoupled Clip and Dynamic sAmpling Policy Optimization（DAPO）算法。 通过开源，我们为更广泛的研究社区和社会提供了可扩展强化学习的实用途径，使所有人都能受益于这些技术进步。我们的系统基于优秀的verl框架。感谢他们的杰出工作！

欢迎讨论

🤗 如果您对我们的论文有任何疑问，欢迎在Issue中提出，我们将一起探讨。谢谢！

关键结果

AIME 2024表现

🚀 DAPO 基于Qwen2.5-32B基础模型，在AIME 2024中取得了50分的成绩，优于此前的SoTA DeepSeek-R1-Zero-Qwen-32B，且仅使用了其50%的训练步数。

训练过程中的指标监控

1. 长度稳定性与增长：响应长度的稳步增加有助于更大程度的探索，促进模型学习更复杂的推理行为，最终提升训练的稳定性和性能。

2. 奖励分数稳定性：奖励信号的平稳上升表明模型正在成功拟合训练分布，确保学习过程稳健一致，不会出现大幅波动。

3. 熵与平均概率趋势：在初始下降后，熵的适度上升保证了探索与利用之间的健康平衡，避免过拟合或过度随机性的问题，从而持续提升模型性能。

模型使用

我们提供了基于DAPO算法、以Qwen2.5-32B为基础训练的[DAPO-Qwen-32B]模型权重，地址为这里。

环境搭建

我们建议使用conda来搭建环境：

conda create -n dapo python=3.10
conda activate dapo
pip3 install -r requirements.txt

推理

我们在此提供模型推理代码：

import torch
from transformers import AutoTokenizer
from vllm import SamplingParams, LLM

examples = [
    {
        "question": "请逐步解答以下数学问题。你的回答最后一行应为“Answer: $Answer”（不带引号），其中$Answer是问题的答案。\n\n求复数$z$满足$|z|=4$时，\\[(75+117i)z+\\frac{96+144i}{z}\\]的最大可能实部。\n\n请务必在“Answer:”之后单独一行写出答案。",
        "answer": "540"
    },
    {
        "question": "请逐步解答以下数学问题。你的回答最后一行应为“Answer: $Answer”（不带引号），其中$Answer是问题的答案。\n\n每天早上，Aya会步行9公里，随后去咖啡店休息。当她以每小时$s$公里的速度行走时，整个行程包括在咖啡店停留的$t$分钟，共需4小时。而当她以每小时$s+2$公里的速度行走时，整个行程包括在咖啡店停留的$t$分钟，只需2小时24分钟。假设Aya以每小时$s+\\frac{1}{2}$公里的速度行走，求她这次行程总共需要多少分钟，包括在咖啡店停留的$t$分钟。\n\n请务必在“Answer:”之后单独一行写出答案。",
        "answer": "204"
    },
    {
        "question": "请逐步解答以下数学问题。你的回答最后一行应为“Answer: $Answer”（不带引号），其中$Answer是问题的答案。\n\n设$\\mathcal{B}$为所有表面积为54、体积为23的长方体组成的集合。记$r$为能够容纳$\\mathcal{B}$中每个长方体的最小球体半径。$r^2$可以表示为$\\frac{p}{q}$的形式，其中$p$和$q$是互质的正整数。求$p+q$。\n\n请务必在“Answer:”之后单独一行写出答案。",
        "answer": "721"
    }
]


def main():
    model = "BytedTsinghua-SIA/DAPO-Qwen-32B"

    tokenizer = AutoTokenizer.from_pretrained(model)

    llm = LLM(
        model=model,
        dtype=torch.bfloat16,
        tensor_parallel_size=8,
        gpu_memory_utilization=0.95
    )

    sampling_params = SamplingParams(
        temperature=1.0,
        top_p=0.7,
        max_tokens=20480
    )

    for example in examples:
        question = example["question"]
        answer = example["answer"]
        output = llm.generate(
                    prompts=tokenizer.apply_chat_template(conversation=[{"content": question, "role": "user"}],
                                                          add_generation_prompt=True,
                                                          tokenize=False),
                    sampling_params=sampling_params
                )
        print(f"***QUESTION***:\n{question}\n***GROUND TRUTH***:\n{answer}\n***MODEL OUTPUT***:\n{output[0].outputs[0].text}\n")
        print("-"*100)

if __name__ == "__main__":
    main()

AIME 2024 评估

为了在 AIME 2024 上评估模型，我们使用 Ray Serve 和 vLLM 部署了 DAPO-Qwen-32B。

从 Huggingface 加载模型：

serve run eval.llm:build_app model=BytedTsinghua-SIA/DAPO-Qwen-32B tensor-parallel-size=8

# 打开另一个终端
python eval/eval_aime24.py --temperature 1.0 --top_p 0.7 --max_tokens 20480 --model BytedTsinghua-SIA/DAPO-Qwen-32B --test_file eval/aime-2024.parquet

从本地路径加载模型：

serve run eval.llm:build_app model=aaa/bbb/ccc tensor-parallel-size=8

# 打开另一个终端
python eval/eval_aime24.py --temperature 1.0 --top_p 0.7 --max_tokens 20480 --model ccc --test_file eval/aime-2024.parquet

可复现性

为了造福更广泛的研究社区，我们完全开源了我们的强化学习训练流程，包括算法细节、数据集和基础设施。

数据集

我们提供了用于 DAPO 训练的训练集和验证集。

训练集：DAPO-Math-17k，一个经过精心整理和处理的数学数据集。 验证集：AIME 2024。

训练

我们提供了 开箱即用 的脚本，用于复现 DAPO 训练。快速入门和核心代码已在 README 中提及。这些脚本用于：

• 数据集准备
• 无 token 级 PG 损失与动态采样——AIME 44
• 完整 DAPO——AIME 50

注意：

• 无 token 级 PG 损失与动态采样——AIME 44 脚本已在当前版本的 verl 上验证通过，并在 AIME 2024 中取得了 44 分的成绩，其训练记录可在 wandb 上查看。
• 完整 DAPO——AIME 50 脚本也已在最新版 verl 上验证通过，它在 AIME 2024 中获得了 50 分。您可以在 wandb 上查看相应的训练记录。

致谢

我们感谢 verl 提供了出色的开源强化学习基础设施。

我们的开源实验是在火山引擎机器学习平台上进行的。我们将在火山引擎平台上稍后提供完整的复现指南，以帮助用户复现我们的实验。

DAPO 快速上手指南

DAPO 是由字节跳动 Seed 团队与清华大学 AIR 联合开源的大规模大语言模型强化学习（RL）系统。该系统基于 verl 框架，提出了**解耦裁剪与动态采样策略优化（DAPO）**算法，在 AIME 2024 评测中基于 Qwen2.5-32B 基座模型取得了 50 分的 SOTA 成绩。

环境准备

• 操作系统: Linux (推荐 Ubuntu 20.04+)
• Python 版本: 3.10
• 硬件要求: 多卡 GPU 环境（推理示例默认配置为 8 卡，可根据显存调整 tensor_parallel_size）
• 前置依赖: 建议安装 conda 进行环境管理

安装步骤

推荐使用 conda 创建独立环境并安装依赖：

# 创建名为 dapo 的 conda 环境，指定 Python 版本为 3.10
conda create -n dapo python=3.10
conda activate dapo

# 安装项目依赖
pip3 install -r requirements.txt

提示: 如果下载依赖较慢，可添加国内镜像源加速，例如： pip3 install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

1. 模型推理

以下代码展示了如何使用 vllm 加载 DAPO-Qwen-32B 模型进行数学问题推理。请确保机器拥有足够的显存（示例配置为 8 卡并行）。

import torch
from transformers import AutoTokenizer
from vllm import SamplingParams, LLM

examples = [
    {
        "question": "Solve the following math problem step by step. The last line of your response should be of the form Answer: $Answer (without quotes) where $Answer is the answer to the problem.\n\nFind the largest possible real part of \\[(75+117i)z+\\frac{96+144i}{z}\\]where $z$ is a complex number with $|z|=4$.\n\nRemember to put your answer on its own line after \"Answer:\".",
        "answer": "540"
    },
    {
        "question": "Solve the following math problem step by step. The last line of your response should be of the form Answer: $Answer (without quotes) where $Answer is the answer to the problem.\n\nEvery morning Aya goes for a $9$-kilometer-long walk and stops at a coffee shop afterwards. When she walks at a constant speed of $s$ kilometers per hour, the walk takes her 4 hours, including $t$ minutes spent in the coffee shop. When she walks $s+2$ kilometers per hour, the walk takes her 2 hours and 24 minutes, including $t$ minutes spent in the coffee shop. Suppose Aya walks at $s+\\frac{1}{2}$ kilometers per hour. Find the number of minutes the walk takes her, including the $t$ minutes spent in the coffee shop.\n\nRemember to put your answer on its own line after \"Answer:\".",
        "answer": "204"
    },
    {
        "question": "Solve the following math problem step by step. The last line of your response should be of the form Answer: $Answer (without quotes) where $Answer is the answer to the problem.\n\nLet $\\mathcal{B}$ be the set of rectangular boxes with surface area $54$ and volume $23$. Let $r$ be the radius of the smallest sphere that can contain each of the rectangular boxes that are elements of $\\mathcal{B}$. The value of $r^2$ can be written as $\\frac{p}{q}$, where $p$ and $q$ are relatively prime positive integers. Find $p+q$.\n\nRemember to put your answer on its own line after \"Answer:\".",
        "answer": "721"
    }
]


def main():
    # 模型路径，支持 HuggingFace ID 或本地路径
    model = "BytedTsinghua-SIA/DAPO-Qwen-32B"

    tokenzier = AutoTokenizer.from_pretrained(model)

    llm = LLM(
        model=model,
        dtype=torch.bfloat16,
        tensor_parallel_size=8,  # 根据实际显卡数量调整
        gpu_memory_utilization=0.95
    )

    sampling_params = SamplingParams(
        temperature=1.0,
        top_p=0.7,
        max_tokens=20480
    )

    for example in examples:
        question = example["question"]
        answer = example["answer"]
        output = llm.generate(
                    prompts=tokenzier.apply_chat_template(conversation=[{"content": question, "role": "user"}],
                                                          add_generation_prompt=True,
                                                          tokenize=False),
                    sampling_params=sampling_params
                )
        print(f"***QUESTION***:\n{question}\n***GROUND TRUTH***:\n{answer}\n***MODEL OUTPUT***:\n{output[0].outputs[0].text}\n")
        print("-"*100)

if __name__ == "__main__":
    main()

2. AIME 2024 评测

若需复现官方在 AIME 2024 上的评测结果，需结合 Ray Serve 和 vLLM 部署服务。

从 HuggingFace 加载模型：

# 终端 1: 启动推理服务
serve run eval.llm:build_app model=BytedTsinghua-SIA/DAPO-Qwen-32B tensor-parallel-size=8

# 终端 2: 运行评测脚本
python eval/eval_aime24.py --temperature 1.0 --top_p 0.7 --max_tokens 20480 --model BytedTsinghua-SIA/DAPO-Qwen-32B --test_file eval/aime-2024.parquet

从本地路径加载模型：

# 终端 1: 启动推理服务 (假设模型位于 aaa/bbb/ccc)
serve run eval.llm:build_app model=aaa/bbb/ccc tensor-parallel-size=8

# 终端 2: 运行评测脚本
python eval/eval_aime24.py --temperature 1.0 --top_p 0.7 --max_tokens 20480 --model ccc --test_file eval/aime-2024.parquet

3. 训练复现

DAPO 的训练完全基于 verl 框架。官方提供了开箱即用的脚本，涵盖数据准备及不同版本的算法复现（早期版本 AIME 44 分 / 完整版 AIME 50 分）。

详细训练脚本及说明请参考：

• 数据准备: prepare_dapo_data.sh
• 完整训练 (AIME 50): run_dapo_qwen2.5_32b.sh
• 训练数据集: DAPO-Math-17k