🧠 ReasonFlux 系列

先进的开源大模型后训练套件

普林斯顿大学 & 北京大学 & 伊利诺伊大学厄巴纳-香槟分校 & 芝加哥大学 & 字节跳动 Seed

🎯 使命: 通过专注于数据选择、强化学习和推理扩展的创新大模型后训练算法，构建下一代推理能力。

仓库内容

• 更新
• 模型家族指南
  • ReasonFlux-PRM (NeurIPS 2025)
  • ReasonFlux-Coder (NeurIPS 2025 Spotlight)
  • ReasonFlux
  • 思维模板初步研究 (NeurIPS 2024 Spotlight)
• 性能亮点
• 引用

🚀 ReasonFlux 系列有何特别之处？

1. 面向长链式思维推理的轨迹感知过程奖励模型（ReasonFlux-PRM，NeurIPS 2025）

能够为长链式思维推理中的离线数据选择和在线策略优化提供密集监督的轨迹感知奖励模型。

2. 大模型编码器与单元测试员的协同进化强化学习（ReasonFlux-Coder，NeurIPS 2025 Spotlight）

一种创新方法，通过强化学习使编码器和单元测试员共同进化，从而生成更强大的编码能力。

3. 基于思维模板的长链式思维推理（ReasonFlux-Zero/F1）

革命性的分层推理框架，利用思维模板引导复杂问题求解，在更高效率下实现 SOTA 性能。

思维模板初步研究

我们的 ReasonFlux-Zero/F1 模型建立在对思维模板的初步研究基础上——特别是 Buffer of Thoughts (NeurIPS 2024 Spotlight) 和 SuperCorrect (ICLR 2025)。这些工作引入了高层次、高效的中间推理模式，用于指导和结构化大型语言模型的思维过程。

更新

• [2025/6/23] 🎉 我们推出了ReasonFlux-PRM，这是一系列面向大模型长链式思维推理的轨迹感知过程奖励模型（PRMs）。ReasonFlux-PRM 能够支持离线和在线奖励监督，通过为模型蒸馏选择高质量训练数据、在强化学习过程中为策略优化提供密集的过程级奖励，以及实现奖励引导下的推理时扩展。 我们训练好的 PRM 包括 ReasonFlux-PRM-7B 和 ReasonFlux-PRM-1.5B，现已在 HuggingFace-GenX 上发布。我们还发布了一款由我们的 PRM 监督的 7B 高级思考与推理模型 ReasonFlux-PRM-Qwen-2.5-7B。
• [2025/6/04] 🎉 我们发布了经过优化的编码大模型 Co-Evolving RL，包括 ReasonFlux-Coder-7B 和 ReasonFlux-Coder-14B，它们的表现优于同等规模的 Qwen Coders 和 DeepSeek Coders，并且自然地融入常见的推理时扩展和代理式编码流程。我们还发布了长链式思维模型 ReasonFlux-Coder-4B，其表现超越 Qwen3-4B，同时在单元测试生成方面达到了 64.8% 的效率。
• [2025/3/24] 🎉 我们发布了 ReasonFlux-F1-32B，ReasonFlux-F1-14B，ReasonFlux-F1-7B，这是一系列基于从 ReasonFlux-Zero 收集的模板增强型推理轨迹而构建的 SOTA 级推理大模型。有关训练和评估脚本，请参阅 reasonflux-f1/README.md 获取详细信息。
• [2025/2/11]🎉 我们提出了 ReasonFlux-Zero，这是一种分层的大模型推理框架，显著提升了复杂推理能力，在 MATH 和 AIME 等挑战性基准测试中表现优于 o1-preview 和 DeepSeek-V3 等 SOTA 模型。

模型家族指南

🎯 过程奖励模型

模型	尺寸	能力	应用场景	下载
ReasonFlux-PRM	7B	• 轨迹感知评分 • 在线/离线监督 • 密集的过程奖励	PRM：数据选择、RL 训练、推理时扩展	🤗 7B
ReasonFlux-PRM	1.5B	• 轻量级评分 • 高效推理 • 边缘部署	PRM：资源受限的应用场景	🤗 1.5B
ReasonFlux-PRM-Qwen-2.5	7B	• 长链式思维推理 • 解决复杂任务和问题	调优后的推理模型：数学和科学推理	🤗 7B

💻 编码模型

模型	尺寸	专长	性能	下载
ReasonFlux-Coder	14B	• 协同进化强化学习 • 高级编码 • 单元测试生成	表现优于 Qwen 和 DeepSeek Coders	🤗 14B
ReasonFlux-Coder	7B	• 平衡的性能 • 高效推理 • 可直接投入生产	出色的编码能力	🤗 7B
ReasonFlux-Coder	4B	• 长链式思维推理 • 体积小巧 • 专注于单元测试	单元测试生成效率达 64.8%	🤗 4B

🧠 推理模型

模型	规模	关键特性	适用场景	下载
ReasonFlux-F1	7B/14B/32B	• 模板增强的推理轨迹 • 高效训练 • 多种规模可选	通用推理任务	🤗 模型
ReasonFlux-Zero	32B	• 分层推理 • 模板库 • 基础模型	研究与开发	🤗 模型

性能亮点

1. 复杂推理

模型	AIME2024@pass1	AIME2025@pass1	MATH500@pass1	GPQA@pass1
QwQ-32B-Preview	46.7	37.2	90.6	65.2
LIMO-32B	56.3	44.5	94.8	58.1
s1-32B	56.7	49.3	93.0	59.6
OpenThinker-32B	66.0	53.3	94.8	60.1
R1-Distill-32B	70.0	46.7	92.0	59.6
ReasonFlux-Zero-32B	56.7	37.2	91.2	61.2
ReasonFlux-F1-32B	76.7	53.3	96.0	67.2

2. 代码生成与推理

3. 用于长链式思维推理的 PRM

我们观察到，在下游离线数据筛选 + SFT 的设置下，ReasonFlux-PRM-7B 的表现超越了高质量的人工精选 s1k 数据集。我们进一步可视化了由 Deepseek-R1 和 Gemini 生成的 1,000 组推理轨迹-响应对的得分分布。清晰分离的分布表明，ReasonFlux-PRM-7B 能够有效区分不同模型生成响应的质量，为高质量数据筛选提供了稳健可靠的奖励信号。

在在线设置下，ReasonFlux-PRM-7B 在 GRPO 策略优化过程中也优于其他 PRM 和基于规则的基线。

引用

@article{yang2025reasonflux,
  title={ReasonFlux：通过扩展思维模板实现分层大语言模型推理},
  author={Yang, Ling and Yu, Zhaochen and Cui, Bin and Wang, Mengdi},
  journal={arXiv 预印本 arXiv:2502.06772},
  year={2025}
}

@article{wang2025reasonfluxcoder,
  title={通过强化学习协同进化大语言模型编码器和单元测试器},
  author={Wang, Yinjie and Yang, Ling and Tian, Ye and Shen, Ke and Wang, Mengdi},
  journal={arXiv 预印本 arXiv:2506.03136},
  year={2025}
}

@article{zou2025reasonfluxprm,
  title={ReasonFlux-PRM：面向大语言模型长链式思维推理的轨迹感知型 PRM},
  author={Zou, Jiaru and Yang, Ling and Gu, Jingwen and Qiu, Jiahao and Shen, Ke and He, Jingrui and Wang, Mengdi},
  journal={arXiv 预印本 arXiv:2506.18896},
  year={2025}
}

ReasonFlux 快速上手指南

ReasonFlux 是由普林斯顿大学、北京大学、UIUC、芝加哥大学及字节跳动 Seed 团队联合推出的开源大模型后训练套件。该系列专注于数据选择、强化学习和推理扩展，旨在构建下一代推理能力。

本指南将帮助您快速部署并使用 ReasonFlux 系列模型（包括推理模型、代码模型及过程奖励模型）。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+) 或 macOS
• Python 版本: >= 3.10
• GPU: 推荐使用 NVIDIA GPU (显存需求视模型大小而定，7B 模型建议至少 16GB VRAM，32B 模型建议多卡或高显存环境)
• 前置依赖:
  • PyTorch (建议 2.0+)
  • Transformers
  • Accelerate
  • vLLM (可选，用于高效推理)

提示：国内开发者建议使用清华或阿里镜像源加速 Python 包安装。

安装步骤

1. 创建虚拟环境

python -m venv reasonflux-env
source reasonflux-env/bin/activate

2. 安装核心依赖

使用国内镜像源安装基础库：

pip install torch torchvision torchaudio --index-url https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple
pip install transformers accelerate sentencepiece protobuf -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 安装 ReasonFlux 工具库 (如有)

若仓库提供可安装的 Python 包，请克隆仓库并安装：

git clone https://github.com/Gen-Verse/ReasonFlux.git
cd ReasonFlux
pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple

注：若主要使用 HuggingFace 模型进行推理，仅需完成前两步即可通过 transformers 加载模型。

基本使用

ReasonFlux 系列模型托管在 HuggingFace 上，您可以直接使用 transformers 库加载。以下以 ReasonFlux-F1-7B（通用推理模型）为例展示最简用法。

示例：使用 ReasonFlux-F1 进行数学推理

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

# 1. 配置模型路径 (国内用户若访问 HF 受限，可先下载模型至本地或使用镜像站)
model_name = "Gen-Verse/ReasonFlux-F1-7B"

# 2. 加载分词器和模型
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="auto",
    trust_remote_code=True
)

# 3. 构建输入提示 (ReasonFlux 通常支持思维链模板)
prompt = """User: 请计算：如果一辆车以 60 公里/小时的速度行驶 3.5 小时，它行驶了多少公里？
Assistant: 让我们一步步思考。
"""

inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

# 4. 生成回答
with torch.no_grad():
    outputs = model.generate(
        **inputs,
        max_new_tokens=1024,
        do_sample=True,
        temperature=0.7,
        top_p=0.9
    )

response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)

其他模型快速切换

您只需更改 model_name 即可使用系列中的其他模型：

• 代码生成 (ReasonFlux-Coder):

  model_name = "Gen-Verse/ReasonFlux-Coder-7B"
  

• 过程奖励模型 (ReasonFlux-PRM):

  # 用于评估推理轨迹质量或数据筛选
  model_name = "Gen-Verse/ReasonFlux-PRM-7B"
  

• 高性能推理 (ReasonFlux-F1-32B):

  model_name = "Gen-Verse/ReasonFlux-F1-32B"
  # 注意：32B 模型需要更多显存或多卡环境
  

网络加速提示：若直接从 HuggingFace 下载模型速度慢，建议在代码中设置环境变量使用镜像：

export HF_ENDPOINT=https://hf-mirror.com

或在 Python 代码中指定 mirror 参数（取决于具体使用的下载工具）。