---

---

---

---

---

---

🎯 概述

我们推出了 MM-Eureka-Qwen-7B 和 MM-Eureka-Qwen-32B，这两款强大的多模态推理模型成功将大规模规则化强化学习（RL, Reinforcement Learning）扩展至多模态推理领域。相较于此前基于 InternVL 的 MM-EUREKA 版本，我们在模型架构、算法和数据方面均进行了改进。例如，MM-Eureka-Qwen-7B 在 MMK12 评测集上取得了 66.1 的成绩，仅比 InternVL-2.5-78B 低 0.2 分。在 MathVista(testmini) 上，它达到了 73.0，甚至超越了 InternVL-2.5-78B。MM-Eureka-Qwen-32B 展现出更强的性能，在 MMK12 评测集上获得 72.3 分，超过了 Qwen2.5-VL-72B 的 70.3 以及 Gemini2-Flash 等闭源模型，仅次于 o1 的 73.9。在常用的多模态数学推理基准测试中，MM-Eureka-Qwen-32B 在 WeMath 上取得 73.4 分，优于所有开源模型和包括 Claude3.7 Sonnet 在内的大多数闭源模型。在 MathVista 上，它达到 74.8，超越了所有开源和闭源模型。两个变体在多学科 K12 和数学推理性能方面均有显著提升，优于大多数同等规模的开源模型。

核心改进：

1. 我们进一步迭代了代码库，支持包括 Online Filter、ADORA 和 DAPO 在内的多种算法。
2. 我们开源了自行收集的 MMK12 数据集，包含 15k 多样化高质量样本和 2k 道数学、物理、化学、生物的多选题（MCQs, Multiple Choice Questions）用于评测。
3. 我们训练了 MM-Eureka-Qwen-7B 和 MM-Eureka-Qwen-32B，这两款模型在同等规模开源模型的多模态推理任务中表现几乎最优，尤其在多学科 K12 任务上表现突出。

🔥 我们开源了完整的流程以促进该领域的进一步研究。我们在 MM-EUREKA-Qwen 发布了所有代码、模型、数据等资源。

🗞️ 动态

• [2025/05/19] 我们发布了 MM-PRM。

  • 📖 报告：MM-PRM-Report
  • 🤗 模型：MM-PRM
  • 🚀 代码：MM-PRM-Code

• [2025/05/19] 我们提出了一种新颖的 RL 算法 Clipped Policy Gradient Optimization with Policy Drift (CPGD，带策略漂移正则化的截断策略梯度优化)，该算法基于带截断机制和策略漂移正则化器的策略梯度损失。在实验中，我们发现它比 GRPO（Group Relative Policy Optimization，组相对策略优化）更稳定且表现更好。

  • 📖 报告：CPGD-Report, CPGD-arxiv
  • 🤗 模型：MM-Eureka-CPGD-Qwen-7B
  • 🚀 代码：MM-Eureka-Qwen-Code

• [2025/04/15] 我们发布了 MM-Eureka-Qwen-7B、MM-Eureka-Qwen-32B 和 MMK12。

  • 📖 报告：MM-Eureka-Qwen-Report, MM-Eureka-Qwen-arxiv
  • 🤗 模型：MM-Eureka-Qwen-7B
  • 🤗 模型：MM-Eureka-Qwen-32B
  • 📊 数据集：MMK12
  • 🚀 代码：MM-Eureka-Qwen-Code

• [2025/03/27] 我们发布了 MM-Eureka-Qwen。

  • 📖 报告：MM-Eureka-Qwen-Report
  • 🤗 模型：MM-Eureka-Qwen-7B
  • 📊 数据集：MM-Eureka-Dataset
  • 🚀 代码：MM-Eureka-Qwen-Code

• [2025/03/07] 我们发布了 MM-Eureka。

  • 📖 论文：MM-Eureka-paper
  • 🤗 模型：MM-Eureka-8B & MM-Eureka-Zero-38B
  • 📊 数据集：MM-Eureka-Dataset
  • 🚀 代码：MM-Eureka-Code

🚀 特性

本仓库基于 OpenRLHF 构建，引入了以下关键增强功能：

• 多模态 RFT 支持：将 OpenRLHF 扩展以支持视觉语言模型（Vision-Language Models, VLMs），目前支持 InternVL，实现多模态推理能力。
  • 目前支持使用 Ray 进行 RLOO、REINFORCE++、GRPO 训练。
  • vLLM 集成与分布式训练。
  • 支持混合引擎（--colocate_all_models、--vllm_enable_sleep）。
• 更优的基于规则的奖励支持：为基于规则的奖励（如格式奖励、准确率奖励、重复惩罚）提供更好的训练可视化。
• 增强的在线过滤：在训练过程中基于准确率奖励过滤经验，如 PRIME 中所述。
  • 使用 --enable_accuracy_filter、--freezing_filter_steps、--accuracy_lower_bound、--accuracy_upper_bound 控制在线准确率过滤器的行为。
• ADORA：通过使用 --use_adora 和 --adora_lamda 启用自适应在线 Rollout 调整，如 ADORA 中所述。
• DAPO：可以使用 --use_dapo 在训练期间启用 DAPO 损失，如 DAPO 中所述。
• CPGD：可以使用 --use_cpg_loss 和 --use_policy_drift 在训练期间启用 CPGD 损失，如 CPGD 中所述。此外：
  • --policy_drift_coef 控制策略漂移正则化器的权重，--policy_drift_clip_eps 控制策略漂移中的裁剪范围。
  • --use_clip_filter_like_weight 启用 CPGD 中提出的类裁剪过滤器权重，--clip_filter_like_weight_clip_eps 控制类裁剪过滤器权重中的裁剪范围。
  • 示例脚本位于 MM-EUREKA/examples/scripts/train_cpgd_qwen_7b_single_node.sh 或 MM-EUREKA/examples/scripts/train_cpgd_qwen_7b_multi_node.sh。

🤖 模型

基于 https://github.com/ModalMinds/MM-EUREKA 确定的实现稳定训练的关键因素，我们增强了模型、数据集和算法模块。具体而言，我们保持了省略 KL 散度项和应用数据过滤的策略，同时实施了以下关键修改：

• 基础模型从 InternVL2.5-8B-Instruct 升级为更强大的 Qwen2.5-VL-7B-Instruct。
• 训练期间冻结视觉 Transformer（Vision Transformer, ViT）模块。
• 底层 RL 算法替换为 GRPO，取代之前使用的 RLOO。
• 数据过滤策略从离线方法转变为在线方法。
• 从 K12 数据集收集了额外数据，将总数据集规模扩展至 15,000 个样本。

模型	MathVista	MathVerse	MathVision	OlympiadBench	WeMath	MMK12
Claude3.7-Sonnet	66.8	52.0	41.3	48.9	72.6	55.3
GPT-4o	63.8	50.2	30.4	35.0	68.8	49.9
o1	73.9	57.0	60.3	68.0	98.7	73.9
Gemini2-flash	70.4	59.3	41.3	51.0	71.4	65.2
Qwen-2.5-VL-7B	68.2	47.9	25.4	20.2	62.1	53.6
Qwen-2.5-VL-32B	74.7/71.7	49.9	40.1	30.0	69.1	66.8
Qwen-2.5-VL-72B	74.8	57.6	38.1	40.4	72.4	70.5
InternVL2.5-VL-78B	72.3	51.7	32.2	31.1	66.3	61.6
QVQ-72B-Preview	71.4	48.2	35.9	33.2	65.4	61.5
Adora-7B	73.5	50.1	23.0	20.1	64.2	58.1
R1-Onevision-7B	64.1	47.1	29.9/23.5	17.3	61.8	39.8
MM-Eureka-Qwen-7B	73.0	50.3	26.9	20.1	66.1	64.5
MM-Eureka-Qwen-32B	74.8	56.5	34.4	35.9	73.4	72.2
MM-Eureka-CPGD-Qwen-7B	74.0	50.6	28.3	21.4	68.3	65.3

• 🤗 MM-Eureka-Qwen-7B
• 🤗 MM-Eureka-Qwen-32B
• 🤗 MM-Eureka-CPGD-Qwen-7B

🏁 快速开始

📦 安装

git clone https://github.com/ModalMinds/MM-EUREKA.git
git checkout qwen
cd MM-EUREKA
pip install -e .[vllm]
pip install flash_attn --no-build-isolation

📂 数据准备

您可以从 MMK12 下载我们的训练数据。

下载完成后，请参考以下部分了解额外的数据格式要求。

自定义数据集

对于自定义数据集，请将数据格式化为 JSONL 文件，其中每个条目是一个按以下格式组织的字典。

{
  "id": "0",
  "message": "[{\"role\": \"user\", \"content\": [{\"type\": \"image\", \"image\": \"file:///path/to/your/image.jpg\"}, {\"type\": \"text\", \"text\": \"How many cats in the image?\"}]}]",
  "answer": "gt that could be parsed and verified by math_verify"
}

🌐 开始训练

在开始训练之前，请确保提供的训练脚本中的路径设置正确，并且环境变量如 $MASTER_ADDR 和 $NODE_RANK 已正确配置。

启动 MM-Eureka-Qwen-7B 训练

• 单节点

  sh examples/scripts/train_mm_eureka_qwen_7b_single_node.sh
  

• 多节点

  sh examples/scripts/train_mm_eureka_qwen_7b_multi_node.sh
  

⭐ Star 历史

🤝 贡献

MM-Eureka 仍在积极开发中，如果您想贡献代码，欢迎提交 Pull Request 或创建 Issue。

在深入参与之前，请参考 CONTRIBUTING.md！

📬 联系我们

如果您有任何问题或希望加入我们的社区，欢迎扫描下方的二维码加入我们的微信群。

🎓 致谢

我们感谢 OpenRLHF、LMM-R1 和 vLLM 的杰出开源贡献。同时，我们也向 DeepSeek-R1、InternVL 和 QwenVL 致以谢意，感谢他们开源的技术和基础模型，使我们能够进一步开展探索。

📜 引用

@article{meng2025mmeureka,
      title={MM-Eureka: Exploring the Frontiers of Multimodal Reasoning with Rule-based Reinforcement Learning},
      author={Fanqing Meng and Lingxiao Du and Zongkai Liu and Zhixiang Zhou and Quanfeng Lu and Daocheng Fu and Tiancheng Han and Botian Shi and Wenhai Wang and Junjun He and Kaipeng Zhang and Ping Luo and Yu Qiao and Qiaosheng Zhang and Wenqi Shao},
      year={2025},
      journal={arXiv preprint arXiv:2503.07365},
}
@article{du2025mmprm,
      title={MM-PRM: Enhancing Multimodal Mathematical Reasoning with Scalable Step-Level Supervision},
      author={Lingxiao Du and Fanqing Meng and Zongkai Liu and Zhixiang Zhou and Ping Luo and Qiaosheng Zhang and Wenqi Shao},
      year={2025},
      journal={arXiv preprint arXiv:2505.13427},
}
@article{liu2025cpgd,
      title={CPGD: Toward Stable Rule-based Reinforcement Learning for Language Models},
      author={Zongkai Liu and Fanqing Meng and Lingxiao Du and Zhixiang Zhou and Chao Yu and Wenqi Shao and Qiaosheng Zhang},
      year={2025},
      journal={arXiv preprint arXiv:2505.12504},
}

MM-EUREKA 快速上手指南

环境准备

系统要求

• GPU: NVIDIA GPU，支持 CUDA 11.8+
• 显存: 单节点训练建议至少 80GB 显存（如 A100 80G）
• Python: 3.10+
• PyTorch: 2.0+

前置依赖

• CUDA Toolkit 11.8 或更高版本
• Git
• pip

---

安装步骤

1. 克隆仓库并切换分支

git clone https://github.com/ModalMinds/MM-EUREKA.git
cd MM-EUREKA
git checkout qwen

2. 安装 Python 依赖

pip install -e .[vllm]
pip install flash_attn --no-build-isolation

如遇网络问题，可使用国内镜像源：

pip install -e .[vllm] -i https://pypi.tuna.tsinghua.edu.cn/simple

---

基本使用

1. 准备数据

下载官方数据集：

• MMK12 数据集

或自定义数据格式（JSONL）：

{
  "id": "0",
  "message": "[{\"role\": \"user\", \"content\": [{\"type\": \"image\", \"image\": \"file:///path/to/your/image.jpg\"}, {\"type\": \"text\", \"text\": \"How many cats in the image?\"}]}]",
  "answer": "gt that could be parsed and verified by math_verify"
}

2. 单节点训练（MM-Eureka-Qwen-7B）

sh examples/scripts/train_mm_eureka_qwen_7b_single_node.sh

3. 多节点训练

# 配置环境变量
export MASTER_ADDR="your_master_ip"
export NODE_RANK=0  # 各节点分别设置为 0, 1, 2...

sh examples/scripts/train_mm_eureka_qwen_7b_multi_node.sh

4. 使用 CPGD 算法训练

# 单节点
sh examples/scripts/train_cpgd_qwen_7b_single_node.sh

# 多节点
sh examples/scripts/train_cpgd_qwen_7b_multi_node.sh

---

关键训练参数

参数	说明
--enable_accuracy_filter	启用在线准确率过滤
--use_adora	启用 ADORA 算法
--use_dapo	启用 DAPO 损失
--use_cpg_loss	启用 CPGD 损失
--use_policy_drift	启用策略漂移正则化

---

预训练模型下载

模型	HuggingFace 链接
MM-Eureka-Qwen-7B	FanqingM/MM-Eureka-Qwen-7B
MM-Eureka-Qwen-32B	FanqingM/MM-Eureka-Qwen-32B
MM-Eureka-CPGD-Qwen-7B	Zkkkai/CPGD-7B

国内用户可通过 hf-mirror.com 镜像加速下载：

export HF_ENDPOINT=https://hf-mirror.com
huggingface-cli download FanqingM/MM-Eureka-Qwen-7B