🎉新闻

• [2025/03/12] PRIME 已集成到 veRL 主分支！请尝试 这里。
• [2025/02/04] 我们在 arXiv 上发布了论文。详情请见 这里。
• [2025/01/06] 我们发布了训练/评估/数据预处理代码。欢迎大家使用！我们目前正在撰写论文，很快就会发布。
• [2025/01/02] 我们提出了 PRIME（通过隐式奖励进行过程强化），这是一种用于在线强化学习的开源解决方案，旨在通过过程奖励推动语言模型的推理能力超越模仿或蒸馏。所有模型和数据均通过 HuggingFace 发布。

🔗链接

• 📜 论文
• 📜 博客
• 🤗 PRIME Collection

✨入门

目前，我们提供了 PRIME 的以下代码，您可以在每个目录中找到更多详细信息。

• training：PRIME 的实现和训练脚本。
• data_preprocessing：数据准备，尤其是用于 PRIME 的数学数据。
• eval：用于复现 PRIME 结果的评估脚本。
• 对于隐式 PRM 的训练和评估，请参考 此仓库。

📖简介

尽管可以通过数据驱动的模仿来提升大型语言模型（LLMs）的高级推理能力，但其可扩展性仍然面临严峻挑战。我们认为，克服这些挑战的关键在于将数据驱动的方法转变为基于探索的方法，正如强化学习（RL）所体现的那样。为此，需要解决两个关键瓶颈，以实现这一转变：(1) 如何高效且可扩展地获取精确的 奖励信号，尤其是密集型奖励？(2) 我们如何构建有效的强化学习算法，以充分 释放 这些信号的潜力？

我们致力于通过 高效的奖励建模和强化学习，寻找通往高级推理能力的 可扩展路径。我们的工作源于隐式过程奖励建模（PRM）的目标。无需任何过程标签，隐式 PRM 被训练为一个结果奖励模型（ORM），然后用作 PRM。除了通过推理规模的扩大来提升模型性能外，隐式 PRM 的真正力量体现在在线强化学习训练中。具体而言，它为 RL 带来了三大优势：

• 密集奖励： 隐式 PRM 直接学习一个 Q 函数，为 每个 token 提供奖励，从而在无需额外价值模型的情况下缓解奖励稀疏问题。
• 可扩展性： 隐式 PRM 只需根据结果标签即可在线更新。因此，我们可以直接使用基于策略的轨迹和结果验证器来更新 PRM，这既缓解了分布偏移问题，也解决了 PRM 的可扩展性问题。
• 简单性： 隐式 PRM 本质上就是一个语言模型。实际上，我们表明，预先训练一个 PRM 并非必要，因为 SFT 模型本身已经可以作为一个强大的起点。

随后，我们深入研究强化学习，以确定其关键的算法设计和实现技术。为此，我们提出了通过隐式奖励进行过程强化的方案——PRIME，该方案能够有效地将 PRM 整合并更新到强化学习过程中。

如上图所示，在 PRIME 中，策略模型和 PRM 均以 SFT 模型作为初始状态。对于每一次强化学习迭代，策略模型首先生成轨迹。然后，隐式 PRM 和结果验证器会对这些轨迹进行评分，隐式 PRM 会根据结果奖励对轨迹进行更新。最后，将结果奖励 $r_o$ 和过程奖励 $r_p$ 组合起来，用于更新策略模型。

PRIME 的实现伪代码如下：

算法流程包括：

1. 提示过滤：根据策略模型的表现，仅保留那些策略模型 $\pi_\theta$ 准确率在 0.2 到 0.8 之间的提示。

2. 计算隐式过程奖励 $r^t$。

3. 更新隐式 PRM $\pi_\psi$：基于预测的隐式过程奖励 $r^t$ 和真实的结果标签 $r$。

4. 使用 RLOO 进行优势估计。 具体来说，我们首先分别计算结果奖励和隐式过程奖励的回报：

   • 对于真实的结果奖励，我们直接采用 RLOO，不做任何修改。

   • 对于隐式过程奖励，我们执行三步流程来计算回报：(1) 使用平均的隐式过程奖励计算留一法基准；(2) 将第 $t$ 步的过程奖励减去基准值进行归一化；(3) 计算每条响应的折现回报。

     最后，优势设置为两者的组合。

5. 使用 PPO 损失进行合法的重要性采样，更新策略 $\pi_\theta$。

🔧使用方法

我们为编程和数学任务应用定制化的提示：

编程

{question} + "\n\n请用Python编写代码解决该问题。在最后以\n```python\n你的代码\n```\n的格式呈现。"

数学

{question} + "\n\n请以LaTeX格式给出答案：\\boxed{你的答案}"

import os
from tqdm import tqdm
import torch
from transformers import AutoTokenizer
from vllm import LLM, SamplingParams
os.environ["NCCL_IGNORE_DISABLED_P2P"] = "1"
os.environ["TOKENIZERS_PARALLELISM"] = "true"
def generate(question_list,model_path):
    llm = LLM(
        model=model_path,
        trust_remote_code=True,
        tensor_parallel_size=torch.cuda.device_count(),
        gpu_memory_utilization=0.90,
    )
    sampling_params = SamplingParams(max_tokens=8192,
                                    temperature=0.0,
                                    n=1)
    outputs = llm.generate(question_list, sampling_params, use_tqdm=True)
    completions = [[output.text for output in output_item.outputs] for output_item in outputs]
    return completions
def make_conv_hf(question, tokenizer):
    # 对于数学问题
    content = question + "\n\n请以LaTeX格式给出答案：\\boxed{你的答案}"
    # 对于编程问题
    # content = question + "\n\n请用Python编写代码解决该问题。在最后以\n```python\n你的代码\n```\n的格式呈现。"
    msg = [
        {"role": "user", "content": content}
    ]
    chat = tokenizer.apply_chat_template(msg, tokenize=False, add_generation_prompt=True)
    return chat
    
def run():
    model_path = "PRIME-RL/Eurus-2-7B-PRIME"
    all_problems = [
        "哪个数更大？9.11还是9.9？"
    ]
    tokenizer = AutoTokenizer.from_pretrained(model_path)
    completions = generate([make_conv_hf(problem_data, tokenizer) for problem_data in all_problems],model_path)
    print(completions)
    # [['[ASSESS]\n\n# 问题要求比较两个小数，9.11和9.9，以确定哪个更大。\n# 我们需要比较这两个数的整数部分和小数部分。\n\n下一步：[ADVANCE]\n\n# 比较整数部分：9.11和9.9的整数部分都是9。\n# 比较小数部分：9.11的小数部分0.11小于9.9的小数部分0.9。\n\n下一步：[ADVANCE]\n\n# 由于整数部分相同，而9.9的小数部分大于9.11的小数部分，我们可以得出结论：9.9比9.11大。\n\n下一步：[OUTPUT]\n\n最终答案是$\\boxed{9.9}$。\n\n']]
if __name__ == "__main__":
    run()

📃评估

通过PRIME，我们在关键推理基准测试上相比模型的SFT版本取得了显著提升，平均提升了16.7%，在AMC和AIME竞赛中更是超过了20%。我们的最终模型Eurus-2-7B-PRIME，基于Qwen-2.5-Math-7B-Base，超越了其指令版模型，在5个关键推理基准测试中表现更优。最终结果如下：

与Qwen-Math相比，我们仅使用了其十分之一的数据和模型资源便实现了这一成果。

🎈引用

如果您觉得PRIME或ImplicitPRM对您有帮助，请引用我们的论文。

@article{cui2025process,
  title={通过隐式奖励进行过程强化},
  author={Cui, Ganqu and Yuan, Lifan and Wang, Zefan and Wang, Hanbin and Li, Wendi and He, Bingxiang and Fan, Yuchen and Yu, Tianyu and Xu, Qixin and Chen, Weize and others},
  journal={arXiv预印本 arXiv:2502.01456},
  year={2025}
}

@article{yuan2024implicitprm,
  title={无需过程标签的免费过程奖励},
  author={Lifan Yuan and Wendi Li and Huayu Chen and Ganqu Cui and Ning Ding and Kaiyan Zhang and Bowen Zhou and Zhiyuan Liu and Hao Peng},
  journal={arXiv预印本 arXiv:2412.01981},
  year={2024}
}

🌻致谢

我们实现的强化学习算法基于veRL扩展而来。我们在推理过程中使用了vLLM，并基于Eurus、Qwen2.5-Math以及LiveCodeBench开发了评估脚本。我们的数据来源主要包括NuminaMath、APPS、CodeContests、TACO以及Codeforces。感谢他们的杰出贡献！

📈星标历史

PRIME 快速上手指南

PRIME (Process Reinforcement through Implicit Rewards) 是一个开源的在线强化学习（RL）框架，旨在通过隐式过程奖励模型（Implicit PRM）提升大语言模型的推理能力。它无需额外的过程标注数据，即可实现密集奖励信号的学习与策略优化。

环境准备

系统要求

• 操作系统: Linux (推荐 Ubuntu 20.04+)
• GPU: 支持 CUDA 的 NVIDIA 显卡（建议显存 ≥ 24GB，多卡环境需配置 NCCL）
• Python: 3.9 或更高版本

前置依赖

PRIME 的核心训练代码已集成到 veRL (Volcengine RL) 主分支中，推理部分依赖 vLLM 和 Transformers。

主要 Python 依赖库：

• torch (PyTorch)
• transformers
• vllm (用于高效推理)
• tqdm
• veRL (用于训练)

提示：国内开发者建议使用清华源或阿里源加速 pip 安装。

安装步骤

1. 克隆项目与依赖安装

首先克隆 PRIME 仓库以获取数据处理和评估脚本：

git clone https://github.com/PRIME-RL/PRIME.git
cd PRIME

安装基础 Python 依赖（建议在虚拟环境中进行）：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install transformers vllm tqdm accelerate
# 如需使用国内镜像加速
# pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch torchvision torchaudio transformers vllm tqdm accelerate

2. 安装训练框架 (veRL)

由于 PRIME 的训练逻辑已合并至 veRL，你需要安装 veRL 并定位到 PRIME 配方目录：

git clone https://github.com/volcengine/verl.git
cd verl
pip install -e .
# 验证安装：检查 recipe/prime 目录是否存在
ls recipe/prime

注意：隐式 PRM 的独立训练与评估代码位于 ImplicitPRM 仓库，如有特殊需求可单独克隆。

基本使用

以下示例展示如何使用已发布的 Eurus-2-7B-PRIME 模型进行数学问题推理。该脚本基于 vLLM 实现高效生成。

推理示例代码

创建文件 run_inference.py 并填入以下内容：

import os
from tqdm import tqdm
import torch
from transformers import AutoTokenizer
from vllm import LLM, SamplingParams

# 设置环境变量以优化多卡通信和分词并行
os.environ["NCCL_IGNORE_DISABLED_P2P"] = "1"
os.environ["TOKENIZERS_PARALLELISM"] = "true"

def generate(question_list, model_path):
    llm = LLM(
        model=model_path,
        trust_remote_code=True,
        tensor_parallel_size=torch.cuda.device_count(),
        gpu_memory_utilization=0.90,
    )
    sampling_params = SamplingParams(max_tokens=8192,
                                    temperature=0.0,
                                    n=1)
    outputs = llm.generate(question_list, sampling_params, use_tqdm=True)
    completions = [[output.text for output in output_item.outputs] for output_item in outputs]
    return completions

def make_conv_hf(question, tokenizer):
    # 数学任务提示模板
    content = question + "\n\nPresent the answer in LaTex format: \\boxed{Your answer}"
    
    # 如果是编程任务，可使用以下模板：
    # content = question + "\n\nWrite Python code to solve the problem. Present the code in \n```python\nYour code\n```\nat the end." 
    
    msg = [
        {"role": "user", "content": content}
    ]
    chat = tokenizer.apply_chat_template(msg, tokenize=False, add_generation_prompt=True)
    return chat
    
def run():
    # 使用 HuggingFace 上的官方模型
    # 国内用户若访问 HF 较慢，可先手动下载模型至本地路径
    model_path = "PRIME-RL/Eurus-2-7B-PRIME"
    
    all_problems = [
        "which number is larger? 9.11 or 9.9?"
    ]
    
    tokenizer = AutoTokenizer.from_pretrained(model_path)
    
    # 构建对话格式输入
    inputs = [make_conv_hf(problem_data, tokenizer) for problem_data in all_problems]
    
    completions = generate(inputs, model_path)
    print(completions)

if __name__ == "__main__":
    run()

运行命令

在终端执行脚本：

python run_inference.py

预期输出： 模型将输出包含逐步推理过程（Chain-of-Thought）及最终 boxed 答案的文本，例如：

[['[ASSESS]\n\n# The problem asks us to compare two decimal numbers...\nNext action: [OUTPUT]\n\nThe final answer is $\\boxed{9.9}$.\n\n']]

模型获取

• HuggingFace: PRIME-RL Collection
• 国内加速: 推荐使用 ModelScope (魔搭) 搜索 PRIME-RL 或 Eurus 系列模型进行下载，并在代码中修改 model_path 为本地路径。