🚀🚀🚀 simple_GRPO 🚀🚀🚀

一个非常简单的 GRPO 实现，用于复现 r1 类型的 LLM 思考过程。 这是一个简单的开源实现，采用了 Hugging Face 的 trl 中引用的核心损失计算公式。 我们构建了最简洁的代码库，以支持以下目标：

• 节省 GPU 内存，使训练既可行又高效。
• 从教学角度快速理解 GRPO 等强化学习流程。
• 快速尝试多种改进，例如多答案生成、分组重组、KL 惩罚以及超参数调优。
• 在模型训练的早期阶段即可观察到“顿悟时刻”。

✨ 新增

• 2025年7月23日：🚀 请查看 LSRL - 我们的下一代强化学习框架，配备自定义优化器和精简架构，性能更佳！
• 2025年2月19日：新增了 loss 的 Triton 实现，速度略有提升，但也可选择不使用。详见 simple_grpo_v1 文件夹。
• 2025年2月19日：新增了分组版本，在 ref_server 上实现了生成数据的采样。详见 regroup_ver 文件夹。
• 2025年2月27日：添加了 vllm 包，以加速推理。
• 2025年3月24日：新增了 reinforce++ 算法。使用方法与之前相同。

🌟 特性

💡 简洁性

项目代码极为简洁，仅约 200 行代码分散在两个文件中。它仅依赖于 deepspeed 和 torch 等标准库，无需 ray 等依赖项。设计初衷是为了便于进行更复杂的干预。

🤖 分离的参考模型

参考模型部分被解耦，可以在不同的 GPU 上运行（甚至可以放在另一台配备 4090 显卡的机器上）。这样避免了将参考模型和训练模型置于同一块 GPU 上，从而防止 torch 多进程创建多个副本，并允许在 80G A800 上训练 7B 参数量的模型。

💃 性能

在 1 块 A800 GPU 上，训练可在不到 1 小时内完成。无论是 Qwen2.5-7B 还是 Qwen2.5-3B，在前 30 步优化过程中都出现了“顿悟时刻”。

🥳 核心损失计算

损失计算公式基于 Hugging Face 的 trl。我们对 Hugging Face 的贡献表示由衷感谢。

🙌 环境

运行环境列在 requirements.txt 中，因此您可以执行以下命令：

pip install -r requirements.txt

至少需要两块 GPU。

警告： 您可能需要安装 datasets 并设置 HTTP 代理（或许），才能运行简单使用 GSM8K 数据集的示例脚本。

pip install datasets

该包仅用于加载 GSM8K 数据集。实际使用时，用户应准备自己的数据，因此 datasets 并非严格必需。

顺带一提：如果未安装 datasets 且未在文件中加载数据，则生成过程中没有数据，因此训练过程（以及参考过程）会一直处于 等待批次 的状态。

使用方法

现在，如果您有三块或更多 GPU，将会有更好的选择！！！

运行以下命令：

CUDA_VISIBLE_DEVICES=7 python ref_server.py

这将仅使用一块 GPU 来收集并运行参考模型。

在 grpo_vllm_one.py 中，根据下一步可见的设备设置生成设备索引：

gen_device = 1

然后打开另一个终端：

CUDA_VISIBLE_DEVICES=2,3,4,5,6 deepspeed grpo_vllm_one.py

✨ 实验结果

1. 运行环境

• 硬件配置：2×A800（80GB）GPU
• 配置：
  • 训练：1 块 GPU，采用 Zero-Stage 2 优化
  • 推理：专用 1 块 GPU（兼容 3090/4090）

2. 训练性能

模型	步数	时间
Qwen2.5-3B	60	12分34秒
Qwen2.5-7B	60	16分40秒

2.1 Qwen2.5-3B

• 准确率：
  • 在 5 步优化后稳定在 60% 以上
  • 最高达到 ~70%
• 格式合规性：
  • 30 步后接近 100%

2.2 Qwen2.5-7B

• 准确率：
  • 整个训练过程中保持在 90% 以上
• 格式合规性：
  • 30 步内达到 100%
• 收敛性：两项指标均表现出快速收敛。

顿悟时刻

1. Qwen2.5-3B（第 20 步）

<think> ... 为了找出 Camden 比 Arnold 多画了多少个鸡蛋，我们需要用 Camden 画的鸡蛋数量减去 Arnold 画的鸡蛋数量。所以，21 - 28 = -7。然而，这个结果在问题的背景下并不合理， 因为 Camden 不可能比 Arnold 画的鸡蛋还少。 让我们重新考虑最初的解题步骤： 应该验证关于 Camden 和 Sarah 鸡蛋数量关系的初始假设是否正确。 ... </think> <answer>-7</answer>

2. Qwen2.5-7B（第 20 步）

<think> ... 因此，Joanne 从平均树上摘了 350 个苹果。 但这似乎不对，因为总数应该是 500，而我们已经计算了 150 个， 所以留给平均树的只有 350 个，这与总数不符。让我们重新评估一下。 ... </think> <answer>350</answer>

😊 待办事项

• 由于分组中可能出现全部错误答案或全部正确答案的情况，答案生成可能会无效。我们需要进行分组重组并改进答案生成。
• 如果生成较长的答案，GPU 内存仍然紧张。我们必须拆分分组，以减小批次大小。

我们已实现并正在测试这些功能，它们将很快上线。

🎉🎉🎉 项目成员

该项目由复旦大学 KnowledgeWorks 实验室的 Jiaqing Liang 博士和 Yanghua Xiao 教授领导。核心开发团队包括博士生 Jinyi Han、硕士生 Xinyi Wang 及其他贡献者。我们对他们为这项工作所付出的努力表示衷心感谢。

👏👏👏 引用

如果您认为我们项目中的代码有用，请考虑按以下方式引用我们的工作：

@misc{KW-R1,
  author = {Jiaqing Liang, Jinyi Han, Xinyi Wang, Zishang Jiang, Chengyuan Xiong, Boyu Zhu, Jie Shi, Weijia Li, Tingyun Li, Yanghua Xiao},
  title = {KW-R1：GRPO 算法的简单实现},
  year = {2025},
  publisher = {GitHub},
  journal = {GitHub 仓库},
  howpublished = {\url{https://github.com/lsdefine/simple_GRPO}},
}

星标历史

simple_GRPO 快速上手指南

simple_GRPO 是一个极简的 GRPO（Group Relative Policy Optimization）算法实现，旨在复现类 R1 大模型的推理思考过程。该项目代码精简（仅约 200 行），支持参考模型与训练模型分离部署，显著节省显存，适合教学理解及快速实验。

环境准备

系统要求

• GPU 数量：至少需要 2 张 GPU。
  • 推荐配置：1 张用于训练（如 A800），1 张用于参考模型推理（如 3090/4090 或另一张 A800）。
• 操作系统：Linux (推荐 Ubuntu)。
• Python 版本：建议 Python 3.8+。

前置依赖

项目主要依赖 deepspeed 和 torch，无需 Ray 等复杂框架。 若需运行内置的 GSM8K 示例脚本，还需安装 datasets 库（生产环境使用自有数据可忽略此项）。

提示：国内用户安装 datasets 或下载数据时若遇网络问题，建议配置 HTTP 代理或使用国内镜像源。

安装步骤

1. 克隆项目代码：

git clone https://github.com/lsdefine/simple_GRPO.git
cd simple_GRPO

2. 安装核心依赖：

pip install -r requirements.txt

3. （可选）安装数据集库以运行示例：

pip install datasets

注意：如果未安装 datasets 且代码中未加载数据，训练进程和参考模型进程将因等待批次数据而一直处于 waiting for batch 状态。

基本使用

本工具采用分离式架构：参考模型（Reference Model）独立运行在一个进程中，训练主程序在另一个进程中运行。以下以拥有 3 张及以上 GPU 为例（假设可见设备索引为 2-7）。

第一步：启动参考模型服务

选择一个独立的 GPU（例如索引 7）运行参考模型服务器：

CUDA_VISIBLE_DEVICES=7 python ref_server.py

第二步：配置生成设备

打开训练脚本 grpo_vllm_one.py，找到 gen_device 参数，将其设置为相对于下一步启动命令中 CUDA_VISIBLE_DEVICES 的设备索引。 例如：若下一步指定了 2,3,4,5,6，则相对索引 1 对应物理显卡 3。

# 在 grpo_vllm_one.py 中修改
gen_device = 1

第三步：启动训练

开启一个新的终端窗口，使用 DeepSpeed 启动训练（使用剩余的多张 GPU，例如 2,3,4,5,6）：

CUDA_VISIBLE_DEVICES=2,3,4,5,6 deepspeed grpo_vllm_one.py

运行效果

• 训练速度：在单张 A800 上，Qwen2.5-7B 模型可在约 17 分钟内完成 60 步训练。
• Aha Moment：模型通常在前 30 步优化内即可展现出逻辑自我修正能力（即 "Aha moment"）。