---

目录 📖

1. 新闻与更新
2. 功能特性
3. 待办事项
4. 基准测试
5. 图表
6. 提供的数据集和模型
7. 开始使用
   • 安装
   • 快速入门
8. 使用方法
9. 加入我们
10. 联系我们
11. 响应示例
12. 社区
13. 参考文献

新闻与更新

• [29/11/2024] 我们现在在 ModelScope 上新增了 演示 页面。非常感谢 @wangxingjun778！
• [24/10/2024] OpenR 现在支持 MCTS 推理 (#24)！🌲
• [15/10/2024] 我们的报告已发表在 Arxiv 上！
• [12/10/2024] OpenR 正式发布！🚀

功能特性

功能	内容
✅ 过程监督数据生成	- OmegaPRM: 通过自动化过程监督提升语言模型的数学推理能力
✅ 在线策略训练	- RL 训练: APPO、GRPO、TPPO；
✅ 生成式与判别式 PRM 训练	- PRM 训练: PRM 的监督训练 - 生成式 RM 训练: Direct GenRM
✅ 多种搜索策略	- 贪心搜索 - Best-of-N - 束搜索 - MCTS - rStar: 相互推理使小型 LLM 更强大 - Critic-MCTS: 正在审查
✅ 测试时计算与规模定律	待定，详见 基准测试

待办事项

功能	TODO (高优先级, 我们非常重视您的贡献!)
👨‍💻数据	- 重新实现 旅程学习
👨‍💻强化学习训练	- 分布式训练 - 强化微调 (RFT) #80
👨‍💻PRM	- 更大规模的训练 - GenRM-CoT 实现 - 软标签训练 #57
👨‍💻推理	- 优化代码结构 #53 - 更多推理任务（AIME 等）#53 - 多模态推理 #82 - 代码生成中的推理 #68 - Dots #75 - 一致性检查 - 基准测试

基准测试

请参阅 基准测试 !

图表

提供的数据集和模型

MATH-APS (我们的数据集)

MATH-psa (我们的过程奖励模型)

开始使用

安装

conda create -n open_reasoner python=3.10
conda activate open_reasoner
pip install -r requirements.txt
pip3 install  "fschat[model_worker,webui]"
pip install -U pydantic
cd envs/MATH/latex2sympy
pip install -e .
cd -

下载基础模型

在运行项目之前，请确保所有所需的基础模型均已下载。本项目中使用的模型包括：

• Qwen2.5-Math-1.5B-Instruct, Qwen2.5-Math-7B-Instruct
• peiyi9979/mistral-7b-sft
• peiyi9979/math-shepherd-mistral-7b-prm

要下载这些模型，请参考 Hugging Face 模型下载教程，其中提供了从 Hugging Face Hub 下载模型的分步指南。

请务必在继续操作之前，将所有模型按照项目设置保存到相应的目录中。

快速入门

在运行推理之前，请修改 reason/llm_service/ 目录下脚本中的以下变量，以设置适合您使用的相应基础模型：

• $MODEL_BASE: 设置为您存储模型的目录。
• $POLICY_MODEL_NAME: 设置为您希望使用的策略模型名称。
• $VALUE_MODEL_NAME: 设置为您希望使用的价值模型名称。
• $NUM_LM_WORKER: 设置为要启动的语言模型 (LM) 工作进程数量。
• $NUM_RM_WORKER: 设置为要启动的奖励模型 (RM) 工作进程数量。

然后即可准备并使用不同的技术进行推理。

启动 LM 和 RM 服务

例如，要为 Math Shepherd 模型启动 LM 和 RM 服务，请运行以下命令：

sh reason/llm_service/create_service_math_shepherd.sh

若需停止服务器进程，建议使用以下命令：

tmux kill-session -t {您的会话名称} # 默认为 `FastChat`

使用方法

运行推理

⚠️ 请确保脚本中的输入 (--LM, --RM) 与待处理工作进程中的变量 ($POLICY_MODEL_NAME, $VALUE_MODEL_NAME) 保持一致！

export PYTHONPATH=$(pwd)
sh scripts/eval/cot_greedy.sh

# 方法：cot。平均结果：({'majority_vote': 0.734, 'total_completion_tokens': 559.13},)

sh scripts/eval/cot_rerank.sh

# 方法：best_of_n。平均结果：({'majority_vote': 0.782, 
#                                       'prm_min_max': 0.772, 
#                                       'prm_min_vote': 0.792, 
#                                       'prm_last_max': 0.776, 
#                                       'prm_last_vote': 0.792, 
#                                       'total_completion_tokens': 4431.268},)

sh scripts/eval/beam_search.sh

# 方法：束搜索。平均结果：({'majority_vote': 0.74, 'total_completion_tokens': 2350.492},)

sh scripts/eval/vanila_mcts.sh

运行训练

⚠️ 在训练之前，请修改 train/mat/scripts/train_llm.sh 中的 $dataset_path、$model_name_or_path 和 $prm_name_or_path。

cd train/mat/scripts
bash train_llm.sh

运行 PRM 学习

cd prm/code

\\ 单 GPU
python finetune_qwen_single_gpu.py --model_path $YOUR_MODEL_PATH \
                                   --train_data_path $TRAIN_DATA_PATH \
                                   --test_data_path $TEST_DATA_PATH


\\ 多 GPU
torchrun --nproc_per_node=2 finetune_qwen.py --model_path $YOUR_MODEL_PATH \
                                             --data_path $YOUR_DATA_FOLDER_PATH \
                                             --datasets both

加入我们

每一份贡献对社区都至关重要。

感谢您对 OpenR 的关注！🥰 我们深深致力于开源社区，并欢迎所有人的贡献。无论您的努力是大是小，都能帮助我们成长和进步。贡献不仅限于代码——回答问题、帮助他人、完善文档以及分享项目同样具有重要意义。

请随时查看 贡献指南！

未来计划

• 对强化学习训练和搜索策略进行更全面的评估
• 扩展证明-验证器模型的规模
• 支持自我改进型训练

联系方式

OpenR 社区由以下团队维护：

• Openreasoner 团队 (openreasoner@gmail.com)

许可证

OpenR 根据 MIT 许可证发布。

引用

如果您觉得我们的资源有所帮助，请引用我们的论文：

@misc{wang2024tutorial,
  author = {Jun Wang},
  title = {LLM 推理教程：ChatGPT o1 背后的相关方法},
  year = {2024},
  url = {https://github.com/openreasoner/openr/blob/main/reports/tutorial.pdf},
  note = {可在 GitHub 上获取}
}

@article{wang2024openr,
  title={OpenR：用于大型语言模型高级推理的开源框架},
  author={Wang, Jun 和 Fang, Meng 和 Wan, Ziyu 和 Wen, Muning 和 Zhu, Jiachen 和 Liu, Anjie 和 Gong, Ziqin 和 Song, Yan 和 Chen, Lei 和 Ni, Lionel M 等},
  journal={arXiv 预印本 arXiv:2410.09671},
  year={2024}
}

回答示例

比较 PRM、Math-psa（我们）与 Math-Shepherd

解释强化学习训练

探索测试时计算

社区

微信：

参考文献

推理时计算

[1] 类似 AlphaZero 的树搜索可以指导大型语言模型的解码和训练。

[2] 使用语言模型进行推理就是利用世界模型进行规划。

[3] 优化 LLM 测试时的计算能力可能比增加模型参数更为有效

[4] 三思而后言：使用暂停标记训练语言模型

从结果监督到过程监督

[1] 训练验证者解决数学应用题

[2] 通过过程和结果反馈解决数学应用题

[3] 让我们逐步验证

[4] 通过步骤感知的验证者使大型语言模型成为更好的推理者

[5] Ovm，用于数学推理规划的结果监督价值模型

[6] 生成式验证者：将奖励建模视为下一个标记预测

数据获取

[1] Star：通过推理来引导推理

[2] Quiet-star：语言模型可以自我教导，在开口前先思考

[3] 通过自动化的过程监督提高语言模型的数学推理能力

[4] Shepherd：语言模型生成的批评者

[5] Math-shepherd：无需人工标注即可逐步验证并强化 LLM

OpenR 快速上手指南

OpenR 是一个用于大语言模型高级推理的开源框架，支持过程监督数据生成、在线策略训练（RL）、多种搜索策略（如 MCTS、Best-of-N）以及奖励模型（PRM）训练。

环境准备

• 操作系统: Linux (推荐) 或 macOS
• Python 版本: 3.10
• 依赖管理: Conda (推荐)
• 前置知识: 熟悉 Hugging Face 模型下载流程

安装步骤

1. 创建并激活虚拟环境

建议使用 Conda 创建独立的 Python 3.10 环境：

conda create -n open_reasoner python=3.10
conda activate open_reasoner

2. 安装核心依赖

安装项目所需的 Python 包及特定组件：

pip install -r requirements.txt
pip3 install "fschat[model_worker,webui]"
pip install -U pydantic

3. 安装数学工具包

编译并安装用于数学表达式处理的 latex2sympy 模块：

cd envs/MATH/latex2sympy
pip install -e .
cd -

4. 下载基础模型

在运行前，请确保已下载以下基础模型至本地目录。您可以参考 Hugging Face 下载教程，或使用国内镜像站（如 ModelScope）加速下载。

所需模型列表：

• Qwen2.5-Math-1.5B-Instruct
• Qwen2.5-Math-7B-Instruct
• peiyi9979/mistral-7b-sft
• peiyi9979/math-shepherd-mistral-7b-prm

提示：国内用户推荐使用 ModelScope 进行模型下载，或将 Hugging Face endpoint 配置为国内镜像源。

基本使用

1. 配置运行参数

在执行推理之前，需要修改 reason/llm_service/ 目录下的脚本变量，以指向您的本地模型路径和配置工作进程数量。

请设置以下变量：

• $MODEL_BASE: 存放模型的本地根目录路径。
• $POLICY_MODEL_NAME: 要使用的策略模型名称（例如 Qwen2.5-Math-7B-Instruct）。
• $VALUE_MODEL_NAME: 要使用的价值模型（奖励模型）名称（例如 peiyi9979/math-shepherd-mistral-7b-prm）。
• $NUM_LM_WORKER: 启动的语言模型 (LM) 工作进程数。
• $NUM_RM_WORKER: 启动的奖励模型 (RM) 工作进程数。

2. 运行推理

配置完成后，即可调用框架提供的脚本启动推理。OpenR 支持多种推理策略，包括贪婪搜索、Best-of-N、束搜索 (Beam Search) 以及蒙特卡洛树搜索 (MCTS)。

(具体推理命令请参考项目 reason/ 目录下的示例脚本，根据上述配置的变量执行即可)

---

更多详细用法、训练教程及基准测试报告，请访问 OpenR 官方文档 或查看 Arxiv 论文。