[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-ModalMinds--MM-EUREKA":3,"tool-ModalMinds--MM-EUREKA":64},[4,17,27,35,43,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,3,"2026-04-05T11:01:52",[13,14,15],"开发框架","图像","Agent","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",138956,2,"2026-04-05T11:33:21",[13,15,26],"语言模型",{"id":28,"name":29,"github_repo":30,"description_zh":31,"stars":32,"difficulty_score":23,"last_commit_at":33,"category_tags":34,"status":16},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,"2026-04-03T11:11:01",[13,14,15],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":23,"last_commit_at":41,"category_tags":42,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,26],{"id":44,"name":45,"github_repo":46,"description_zh":47,"stars":48,"difficulty_score":23,"last_commit_at":49,"category_tags":50,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[14,51,52,53,15,54,26,13,55],"数据工具","视频","插件","其他","音频",{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":10,"last_commit_at":62,"category_tags":63,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[15,14,13,26,54],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":70,"readme_en":71,"readme_zh":72,"quickstart_zh":73,"use_case_zh":74,"hero_image_url":75,"owner_login":76,"owner_name":76,"owner_avatar_url":77,"owner_bio":78,"owner_company":78,"owner_location":78,"owner_email":78,"owner_twitter":78,"owner_website":78,"owner_url":79,"languages":80,"stars":85,"forks":86,"last_commit_at":87,"license":88,"difficulty_score":89,"env_os":90,"env_gpu":91,"env_ram":92,"env_deps":93,"category_tags":103,"github_topics":78,"view_count":10,"oss_zip_url":78,"oss_zip_packed_at":78,"status":16,"created_at":104,"updated_at":105,"faqs":106,"releases":147},933,"ModalMinds\u002FMM-EUREKA","MM-EUREKA","MM-EUREKA: Exploring the Frontiers of Multimodal Reasoning with Rule-based Reinforcement Learning","MM-EUREKA 是一套专注于多模态推理能力训练的开源工具，基于规则强化学习（Rule-based RL）技术，让 AI 模型能够同时理解图像和文本，并像人类一样进行逐步思考、解决复杂的数学和科学问题。\n\n这个项目主要解决了多模态大模型在 K12 学科（数学、物理、化学、生物）和视觉数学推理任务中的能力瓶颈。传统模型往往依赖大量人工标注的监督学习，而 MM-EUREKA 通过\"规则驱动的强化学习\"让模型自主探索解题策略——只需设定答案对错等简单规则，模型就能通过试错自我进化，大幅降低了对昂贵人工标注数据的依赖。\n\nMM-EUREKA 适合 AI 研究人员、大模型开发者以及对多模态推理技术感兴趣的技术团队使用。项目完全开源了训练代码、7B 和 32B 两种规模的模型权重，以及自研的 MMK12 评测数据集，方便研究者复现和进一步改进。\n\n技术亮点方面，MM-EUREKA 成功将大规模规则强化学习扩展到多模态领域，其 32B 模型在 MathVista 等权威评测上超过了 Claude 3.7 Sonnet 等闭源模型；同时团队还开源了 CPGD 稳定训练算法和 MM-PRM 步骤级监督","MM-EUREKA 是一套专注于多模态推理能力训练的开源工具，基于规则强化学习（Rule-based RL）技术，让 AI 模型能够同时理解图像和文本，并像人类一样进行逐步思考、解决复杂的数学和科学问题。\n\n这个项目主要解决了多模态大模型在 K12 学科（数学、物理、化学、生物）和视觉数学推理任务中的能力瓶颈。传统模型往往依赖大量人工标注的监督学习，而 MM-EUREKA 通过\"规则驱动的强化学习\"让模型自主探索解题策略——只需设定答案对错等简单规则，模型就能通过试错自我进化，大幅降低了对昂贵人工标注数据的依赖。\n\nMM-EUREKA 适合 AI 研究人员、大模型开发者以及对多模态推理技术感兴趣的技术团队使用。项目完全开源了训练代码、7B 和 32B 两种规模的模型权重，以及自研的 MMK12 评测数据集，方便研究者复现和进一步改进。\n\n技术亮点方面，MM-EUREKA 成功将大规模规则强化学习扩展到多模态领域，其 32B 模型在 MathVista 等权威评测上超过了 Claude 3.7 Sonnet 等闭源模型；同时团队还开源了 CPGD 稳定训练算法和 MM-PRM 步骤级监督方法，为社区提供了更丰富的技术选择。","\u003Cdiv align=\"center\">\n    \u003Cimg alt=\"MM-Eureka logo\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FModalMinds_MM-EUREKA_readme_d1d503a69b34.png\" style=\"height: 200px;\" \u002F>\n\u003C\u002Fdiv>\n\n\n\u003Cdiv align=\"center\">\n\n# MM-EUREKA\n\n\u003C\u002Fdiv>\n\n\u003Cdiv align=\"center\">\n\u003Cp align=\"center\">\n  📖\u003Ca href=\"https:\u002F\u002Fgithub.com\u002FModalMinds\u002FMM-EUREKA\u002Fblob\u002Fqwen\u002FMM_EUREKA_Tech_Report.pdf\">Report\u003C\u002Fa> |\n  📊\u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FFanqingM\u002FMMK12\">MMK12 Datasets & Benchmark\u003C\u002Fa> |\n  🤗\u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002FFanqingM\u002FMM-Eureka-Qwen-7B\">MM-Eureka-Qwen-7B\u003C\u002Fa> |\n   🤗\u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002FFanqingM\u002FMM-Eureka-Qwen-32B\">MM-Eureka-Qwen-32B\u003C\u002Fa>\n\u003C\u002Fp>\n\u003C\u002Fdiv>\n\n\u003Chr>\n\u003Cdiv align=\"center\">\n\u003Cp style=\"text-align: center;\">MM-EUREKA: Exploring the Frontiers of Multimodal Reasoning with Rule-based Reinforcement Learning\u003Cp>\n\u003C\u002Fdiv>\n\u003Chr>\n\u003Cdiv align=\"center\">\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002FModalMinds\u002FMM-EUREKA\u002Fblob\u002Fqwen\u002FMM_EUREKA_Tech_Report.pdf\">[MM-Eureka Report Link]\u003C\u002Fa>, \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2503.07365\">[MM-Eureka arxiv Link]\u003C\u002Fa>\n\u003C\u002Fdiv>\n\n\u003Chr>\n\u003Cdiv align=\"center\">\n\u003Cp style=\"text-align: center;\">CPGD: Toward Stable Rule-based Reinforcement Learning for Language Models\u003Cp>\n\u003C\u002Fdiv>\n\u003Chr>\n\u003Cdiv align=\"center\">\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002FModalMinds\u002FMM-EUREKA\u002Fblob\u002Fqwen\u002FCPGD_Tech_Report.pdf\">[CPGD Report Link]\u003C\u002Fa>, \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2505.12504\">[CPGD arxiv Link]\u003C\u002Fa>\n\u003C\u002Fdiv>\n\n\u003Chr>\n\u003Cdiv align=\"center\">\n\u003Cp style=\"text-align: center;\">MM-PRM: Enhancing Multimodal Mathematical Reasoning with Scalable Step-Level Supervision\n\n\n\u003Cp>\n\u003C\u002Fdiv>\n\u003Chr>\n\u003Cdiv align=\"center\">\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002FModalMinds\u002FMM-EUREKA\u002Ftree\u002Fmm-prm\">[MM-PRM Code]\u003C\u002Fa>, \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2505.13427\">[MM-PRM arxiv Link]\u003C\u002Fa>\n\u003C\u002Fdiv>\n\n\n\n## 🎯Overview\n\nWe present **MM-Eureka-Qwen-7B** and **MM-Eureka-Qwen-32B**, both are powerful multimodal reasoning models that successfully extend large-scale rule-based reinforcement learning (RL) to multimodal reasoning. Compared to the previous version of MM-EUREKA based on InternVL, we have made improvements in model architecture, algorithms, and data. For instance, MM-Eureka-Qwen-7B achieves **66.1** on MMK12 evaluation sets, only 0.2 points below InternVL-2.5-78B. On MathVista(testmini), it reaches **73.0**, even surpassing InternVLVL-2.5-78B. MM-Eureka-Qwen-32B demonstrates stronger performance, scoring **72.3** on MMK12 evaluation sets, which exceeds both Qwen2.5-VL-72B's **70.3** and closed-source models like Gemini2-Flash, ranking second only to o1's **73.9**. On commonly used multimodal mathematical reasoning benchmarks, MM-Eureka-Qwen-32B achieves **73.4** on WeMath, outperforming all open-source models and most closed-source models including Claude3.7 Sonnet. On MathVista, it reaches **74.8**, surpassing all open-source and closed-source models. Both variants demonstrate significant improvements in multidisciplinary K12 and mathematical reasoning performance, outperforming most open-source models of similar sizes.\n\n**Core Improvements:**\n\n1. We further iterate the codebase to support algorithms including Online Filter, [ADORA](https:\u002F\u002Fgithub.com\u002FShadeCloak\u002FADORA?tab=readme-ov-file), and [DAPO](https:\u002F\u002Farxiv.org\u002Fabs\u002F2503.14476).\n2. We open-source self-collected MMK12, which has 15k diverse and high-quality samples and 2k MCQs for Math, Physics, Chemistry, Biology for evaluation.\n3. We train the MM-Eureka-Qwen-7B and MM-Eureka-Qwen-32B, which are the almost top performer in multimodal reasoning within similar size open-source models. Especially for Multidisciplinary K12 tasks.\n\n🔥We open-source our complete pipeline to foster further research in this area. We release all our codes, models, data, etc. at [MM-EUREKA-Qwen](https:\u002F\u002Fgithub.com\u002FModalMinds\u002FMM-EUREKA\u002Ftree\u002Fqwen).\n\n## 🗞️ News\n\n- **[2025\u002F05\u002F19]** We released `MM-PRM`.\n  - 📖 Report: [MM-PRM-Report](https:\u002F\u002Farxiv.org\u002Fabs\u002F2505.13427)\n  - 🤗 Model: [MM-PRM](https:\u002F\u002Fhuggingface.co\u002FCierra0506\u002FMM-PRM)\n  - 🚀Code: [MM-PRM-Code](https:\u002F\u002Fgithub.com\u002FModalMinds\u002FMM-EUREKA\u002Ftree\u002Fmm-prm)\n\n- **[2025\u002F05\u002F19]** We proposed a novel RL algorithm called `Clipped Policy Gradient Optimization with Policy Drift (CPGD)`, which is based on policy gradient loss with a clipping mechanism and a policy drift regularizer. In our experiments, we found that it is more stable and performs better than GRPO. \n  - 📖 Report: [CPGD-Report](https:\u002F\u002Fgithub.com\u002FModalMinds\u002FMM-EUREKA\u002Fblob\u002Fqwen\u002FCPGD_Tech_Report.pdf), [CPGD-arxiv](https:\u002F\u002Farxiv.org\u002Fabs\u002F2505.12504)\n  - 🤗 Model: [MM-Eureka-CPGD-Qwen-7B](https:\u002F\u002Fhuggingface.co\u002FZkkkai\u002FCPGD-7B)\n  - 🚀Code: [MM-Eureka-Qwen-Code](https:\u002F\u002Fgithub.com\u002FModalMinds\u002FMM-EUREKA\u002Ftree\u002Fqwen)\n\n- **[2025\u002F04\u002F15]** We released `MM-Eureka-Qwen-7B` , `MM-Eureka-Qwen-32B` and `MMK12`.\n  - 📖 Report: [MM-Eureka-Qwen-Report](https:\u002F\u002Fgithub.com\u002FModalMinds\u002FMM-EUREKA\u002Fblob\u002Fqwen\u002FMM_EUREKA_Tech_Report.pdf), [MM-Eureka-Qwen-arxiv](https:\u002F\u002Farxiv.org\u002Fabs\u002F2503.07365)\n  - 🤗 Model: [MM-Eureka-Qwen-7B](https:\u002F\u002Fhuggingface.co\u002FFanqingM\u002FMM-Eureka-Qwen-7B)\n  - 🤗 Model: [MM-Eureka-Qwen-32B](https:\u002F\u002Fhuggingface.co\u002FFanqingM\u002FMM-Eureka-Qwen-32B)\n  - 📊 Dataset: [MMK12](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FFanqingM\u002FMMK12)\n  - 🚀Code: [MM-Eureka-Qwen-Code](https:\u002F\u002Fgithub.com\u002FModalMinds\u002FMM-EUREKA\u002Ftree\u002Fqwen)\n\n- **[2025\u002F03\u002F27]** We released `MM-Eureka-Qwen`.\n  - 📖 Report: [MM-Eureka-Qwen-Report](https:\u002F\u002Fjagged-court-d9d.notion.site\u002FMM-Eureka-Qwen-1c13cc5a384880ffbd2de24e1dee052d)\n  - 🤗 Model: [MM-Eureka-Qwen-7B](https:\u002F\u002Fhuggingface.co\u002FFanqingM\u002FMM-Eureka-Qwen-7B)\n  - 📊 Dataset: [MM-Eureka-Dataset](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FFanqingM\u002FMM-Eureka-Dataset)\n  - 🚀Code: [MM-Eureka-Qwen-Code](https:\u002F\u002Fgithub.com\u002FModalMinds\u002FMM-EUREKA\u002Ftree\u002Fqwen)\n\n- **[2025\u002F03\u002F07]** We released `MM-Eureka`.\n  - 📖 Paper: [MM-Eureka-paper](https:\u002F\u002Fgithub.com\u002FModalMinds\u002FMM-EUREKA\u002Fblob\u002Fmain\u002FMM_Eureka_paper.pdf)\n  - 🤗 Model: [MM-Eureka-8B](https:\u002F\u002Fhuggingface.co\u002FFanqingM\u002FMM-Eureka-8B) & [MM-Eureka-Zero-38B](https:\u002F\u002Fhuggingface.co\u002FFanqingM\u002FMM-Eureka-Zero-38B)\n  - 📊 Dataset: [MM-Eureka-Dataset](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FFanqingM\u002FMM-Eureka-Dataset)\n  - 🚀Code: [MM-Eureka-Code](https:\u002F\u002Fgithub.com\u002FModalMinds\u002FMM-EUREKA\u002Ftree\u002Finternvl)\n\n## 🚀 Features\n\nThis repository is built upon [OpenRLHF](https:\u002F\u002Fgithub.com\u002FOpenRLHF\u002FOpenRLHF), introducing several key enhancements:\n\n- **Multimodal RFT Support**: Extends OpenRLHF to incorporate **vision-language models (VLMs)**, currently supporting **InternVL**, enabling multimodal reasoning capabilities.\n  - Currently support **RLOO**, **REINFORCE++**, **GRPO** training using Ray.\n  - vLLM integration and distributed training.\n  - Support hybrid engine (`--colocate_all_models`, `--vllm_enable_sleep`).\n- **Better Rule-based Reward support**: Better training visualization for Rule-based Rewards (i.g. Format Reward, Accuracy Reward, Repetition Penalty)\n- **Enhanced Online Filtering**: Filtering out experiences based on Accuracy Reward during training as in [PRIME](https:\u002F\u002Fgithub.com\u002FPRIME-RL\u002FPRIME)\n  - Use `--enable_accuracy_filter`, `--freezing_filter_steps`, `--accuracy_lower_bound`, `--accuracy_upper_bound` to control the behavior of online accuracy filter.\n- **ADORA**: Enable Adaptive Online Rollout Adjustment by using `--use_adora` and `--adora_lamda` as in [ADORA](https:\u002F\u002Ffive-stetson-b51.notion.site\u002FTraining-Reasoning-Model-with-Dynamic-Advantage-Estimation-on-Reinforcement-Learning-1a830cc0904681fa9df3e076b6557a3e).\n- **DAPO**: You can use `--use_dapo` to enable DAPO loss during training as in [DAPO](https:\u002F\u002Farxiv.org\u002Fabs\u002F2503.14476).\n- **CPGD**: You can use `--use_cpg_loss` and `--use_policy_drift` to enable CPGD loss during training as in [CPGD](https:\u002F\u002Fgithub.com\u002FModalMinds\u002FMM-EUREKA\u002Fblob\u002Fqwen\u002FCPGD_Tech_Report.pdf). Additionally: \n  - `--policy_drift_coef` controls the weight of the policy drift regularizer, and `--policy_drift_clip_eps` controls the clipping range in policy drift.\n  - `--use_clip_filter_like_weight` enables the clip-filter-like weight proposed in [CPGD](https:\u002F\u002Fgithub.com\u002FModalMinds\u002FMM-EUREKA\u002Fblob\u002Fqwen\u002FCPGD_Tech_Report.pdf), and `--clip_filter_like_weight_clip_eps` controls the clipping range in the clip-filter-like weight.\n  - Example script is provided in `MM-EUREKA\u002Fexamples\u002Fscripts\u002Ftrain_cpgd_qwen_7b_single_node.sh` or `MM-EUREKA\u002Fexamples\u002Fscripts\u002Ftrain_cpgd_qwen_7b_multi_node.sh`. \n\n\n\n## 🤖 Models\n\nBased on the key factors identified by https:\u002F\u002Fgithub.com\u002FModalMinds\u002FMM-EUREKA for achieving stable training, we enhanced the model, dataset, and algorithmic modules. Specifically, we maintained the strategy of omitting the KL divergence term and applying data filtering, while implementing the following critical modifications:\n\n- The base model was upgraded from InternVL2.5-8B-Instruct to the more powerful Qwen2.5-VL-7B-Instruct.\n- The Vision Transformer (ViT) module was frozen during training.\n- The underlying RL algorithm was replaced with [GRPO](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2402.03300), instead of the previously used RLOO.\n- The data filtering strategy was transitioned from an offline approach to an online approach.\n- Additional data from the K12 dataset was collected, expanding the total dataset size to 15,000 samples.\n\n| Model                  | MathVista | MathVerse | MathVision | OlympiadBench | WeMath | MMK12 |\n|------------------------|-----------|-----------|------------|---------------|--------|-------|\n| Claude3.7-Sonnet       | 66.8      | 52.0      | 41.3       | 48.9          | 72.6   | 55.3  |\n| GPT-4o                 | 63.8      | 50.2      | 30.4       | 35.0          | 68.8   | 49.9  |\n| o1                     | 73.9      | 57.0      | 60.3       | 68.0          | 98.7   | 73.9  |\n| Gemini2-flash          | 70.4      | 59.3      | 41.3       | 51.0          | 71.4   | 65.2  |\n| Qwen-2.5-VL-7B         | 68.2      | 47.9      | 25.4       | 20.2          | 62.1   | 53.6  |\n| Qwen-2.5-VL-32B        | 74.7\u002F71.7 | 49.9      | **40.1**       | 30.0          | 69.1   | 66.8  |\n| Qwen-2.5-VL-72B        | **74.8**      | **57.6**      | 38.1       | **40.4**          | 72.4   | 70.5  |\n| InternVL2.5-VL-78B     | 72.3      | 51.7      | 32.2       | 31.1          | 66.3   | 61.6  |\n| QVQ-72B-Preview        | 71.4      | 48.2      | 35.9       | 33.2          | 65.4   | 61.5  |\n| Adora-7B               | 73.5      | 50.1      | 23.0       | 20.1          | 64.2   | 58.1  |\n| R1-Onevision-7B        | 64.1      | 47.1      | 29.9\u002F23.5  | 17.3          | 61.8   | 39.8  |\n| **MM-Eureka-Qwen-7B**  | 73.0      | 50.3      | 26.9       | 20.1          | 66.1   | 64.5  |\n| **MM-Eureka-Qwen-32B** | **74.8**      | 56.5      | 34.4       | 35.9          | **73.4**   | **72.2**  |\n| **MM-Eureka-CPGD-Qwen-7B**  | 74.0      | 50.6      | 28.3       | 21.4          | 68.3   | 65.3  |\n\n\n\n- 🤗 [MM-Eureka-Qwen-7B](https:\u002F\u002Fhuggingface.co\u002FFanqingM\u002FMM-Eureka-Qwen-7B)\n- 🤗 [MM-Eureka-Qwen-32B](https:\u002F\u002Fhuggingface.co\u002FFanqingM\u002FMM-Eureka-Qwen-32B)\n- 🤗 [MM-Eureka-CPGD-Qwen-7B](https:\u002F\u002Fhuggingface.co\u002FZkkkai\u002FCPGD-7B)\n\n## 🏁 Getting Started\n\n### 📦 Installation\n\n```shell\ngit clone https:\u002F\u002Fgithub.com\u002FModalMinds\u002FMM-EUREKA.git\ngit checkout qwen\ncd MM-EUREKA\npip install -e .[vllm]\npip install flash_attn --no-build-isolation\n```\n\n### 📂 Data Preparation\n\nYou can download our training data from [MMK12](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FFanqingM\u002FMMK12)\n\nOnce downloaded, refer to the section below for additional data formation.\n\n#### Custom dataset\n\nFor custom dataset, format your data in to a JSONL file, where each entry is a dictionary organized in the following format.\n\n```json\n{\n  \"id\": \"0\",\n  \"message\": \"[{\\\"role\\\": \\\"user\\\", \\\"content\\\": [{\\\"type\\\": \\\"image\\\", \\\"image\\\": \\\"file:\u002F\u002F\u002Fpath\u002Fto\u002Fyour\u002Fimage.jpg\\\"}, {\\\"type\\\": \\\"text\\\", \\\"text\\\": \\\"How many cats in the image?\\\"}]}]\",\n  \"answer\": \"gt that could be parsed and verified by math_verify\"\n}\n```\n\n### 🌐 Start Training\n\nBefore starting your own training, ensure that the paths in the provided training scripts are correctly set and that environment variables like `$MASTER_ADDR` and `$NODE_RANK` are properly configured.\n\n**start MM-Eureka-Qwen-7B training**\n\n- for single node\n\n  ```shell\n  sh examples\u002Fscripts\u002Ftrain_mm_eureka_qwen_7b_single_node.sh\n  ```\n\n- for multiple node\n\n  ```shell\n  sh examples\u002Fscripts\u002Ftrain_mm_eureka_qwen_7b_multi_node.sh\n  ```\n\n## ⭐ Starchart\n\n[![Star History Chart](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FModalMinds_MM-EUREKA_readme_157aecd06d49.png)](https:\u002F\u002Fstar-history.com\u002F#ModalMinds\u002FMM-EUREKA&Date)\n\n## 🤝 Contribution\n\nMM-Eureka is still under active development, if you want to contribute, please feel free to make a pull request or create an issue.\n\nPlease refer to `CONTRIBUTING.md` before you dive in！\n\n## 📬 Contact\n\nIf you have any questions or would like to engage with our community, feel free to scan the QR code below to join our WeChat group.\n\n\u003Cdiv align=\"center\">\n\u003Cimg alt=\"MM-Eureka logo\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FModalMinds_MM-EUREKA_readme_56b1cc29a85f.png\" style=\"height: 400px;\" \u002F>\n\u003C\u002Fdiv>\n\n## 🎓 Acknowledgements\n\nWe acknowledge the outstanding open-source contributions from [OpenRLHF](https:\u002F\u002Fgithub.com\u002FOpenRLHF\u002FOpenRLHF), [LMM-R1](https:\u002F\u002Fgithub.com\u002FTideDra\u002Flmm-r1) and [vLLM](https:\u002F\u002Fgithub.com\u002Fvllm-project\u002Fvllm). We also extend our gratitude to [DeepSeek-R1](https:\u002F\u002Fgithub.com\u002Fdeepseek-ai\u002FDeepSeek-R1), [InternVL](https:\u002F\u002Fgithub.com\u002FOpenGVLab\u002FInternVL) and [QwenVL](https:\u002F\u002Fgithub.com\u002FQwenLM\u002FQwen2.5-VL) for their open-source techniques and base models, which have enabled us to further our exploration.\n\n## 📜 Citation\n```\n@article{meng2025mmeureka,\n      title={MM-Eureka: Exploring the Frontiers of Multimodal Reasoning with Rule-based Reinforcement Learning},\n      author={Fanqing Meng and Lingxiao Du and Zongkai Liu and Zhixiang Zhou and Quanfeng Lu and Daocheng Fu and Tiancheng Han and Botian Shi and Wenhai Wang and Junjun He and Kaipeng Zhang and Ping Luo and Yu Qiao and Qiaosheng Zhang and Wenqi Shao},\n      year={2025},\n      journal={arXiv preprint arXiv:2503.07365},\n}\n@article{du2025mmprm,\n      title={MM-PRM: Enhancing Multimodal Mathematical Reasoning with Scalable Step-Level Supervision},\n      author={Lingxiao Du and Fanqing Meng and Zongkai Liu and Zhixiang Zhou and Ping Luo and Qiaosheng Zhang and Wenqi Shao},\n      year={2025},\n      journal={arXiv preprint arXiv:2505.13427},\n}\n@article{liu2025cpgd,\n      title={CPGD: Toward Stable Rule-based Reinforcement Learning for Language Models},\n      author={Zongkai Liu and Fanqing Meng and Lingxiao Du and Zhixiang Zhou and Chao Yu and Wenqi Shao and Qiaosheng Zhang},\n      year={2025},\n      journal={arXiv preprint arXiv:2505.12504},\n}\n```\n\n","\u003Cdiv align=\"center\">\n    \u003Cimg alt=\"MM-Eureka logo\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FModalMinds_MM-EUREKA_readme_d1d503a69b34.png\" style=\"height: 200px;\" \u002F>\n\u003C\u002Fdiv>\n\n\n\u003Cdiv align=\"center\">\n\n# MM-EUREKA\n\n\u003C\u002Fdiv>\n\n\u003Cdiv align=\"center\">\n\u003Cp align=\"center\">\n  📖\u003Ca href=\"https:\u002F\u002Fgithub.com\u002FModalMinds\u002FMM-EUREKA\u002Fblob\u002Fqwen\u002FMM_EUREKA_Tech_Report.pdf\">技术报告\u003C\u002Fa> |\n  📊\u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FFanqingM\u002FMMK12\">MMK12 数据集与评测基准\u003C\u002Fa> |\n  🤗\u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002FFanqingM\u002FMM-Eureka-Qwen-7B\">MM-Eureka-Qwen-7B\u003C\u002Fa> |\n   🤗\u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002FFanqingM\u002FMM-Eureka-Qwen-32B\">MM-Eureka-Qwen-32B\u003C\u002Fa>\n\u003C\u002Fp>\n\u003C\u002Fdiv>\n\n\u003Chr>\n\u003Cdiv align=\"center\">\n\u003Cp style=\"text-align: center;\">MM-EUREKA：基于规则化强化学习（Rule-based Reinforcement Learning）探索多模态推理的前沿\u003Cp>\n\u003C\u002Fdiv>\n\u003Chr>\n\u003Cdiv align=\"center\">\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002FModalMinds\u002FMM-EUREKA\u002Fblob\u002Fqwen\u002FMM_EUREKA_Tech_Report.pdf\">[MM-Eureka 报告链接]\u003C\u002Fa>, \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2503.07365\">[MM-Eureka arxiv 链接]\u003C\u002Fa>\n\u003C\u002Fdiv>\n\n\u003Chr>\n\u003Cdiv align=\"center\">\n\u003Cp style=\"text-align: center;\">CPGD：面向语言模型稳定规则化强化学习的研究\u003Cp>\n\u003C\u002Fdiv>\n\u003Chr>\n\u003Cdiv align=\"center\">\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002FModalMinds\u002FMM-EUREKA\u002Fblob\u002Fqwen\u002FCPGD_Tech_Report.pdf\">[CPGD 报告链接]\u003C\u002Fa>, \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2505.12504\">[CPGD arxiv 链接]\u003C\u002Fa>\n\u003C\u002Fdiv>\n\n\u003Chr>\n\u003Cdiv align=\"center\">\n\u003Cp style=\"text-align: center;\">MM-PRM：通过可扩展的步骤级监督增强多模态数学推理能力\n\n\n\u003Cp>\n\u003C\u002Fdiv>\n\u003Chr>\n\u003Cdiv align=\"center\">\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002FModalMinds\u002FMM-EUREKA\u002Ftree\u002Fmm-prm\">[MM-PRM 代码]\u003C\u002Fa>, \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2505.13427\">[MM-PRM arxiv 链接]\u003C\u002Fa>\n\u003C\u002Fdiv>\n\n\n\n## 🎯 概述\n\n我们推出了 **MM-Eureka-Qwen-7B** 和 **MM-Eureka-Qwen-32B**，这两款强大的多模态推理模型成功将大规模规则化强化学习（RL, Reinforcement Learning）扩展至多模态推理领域。相较于此前基于 InternVL 的 MM-EUREKA 版本，我们在模型架构、算法和数据方面均进行了改进。例如，MM-Eureka-Qwen-7B 在 MMK12 评测集上取得了 **66.1** 的成绩，仅比 InternVL-2.5-78B 低 0.2 分。在 MathVista(testmini) 上，它达到了 **73.0**，甚至超越了 InternVL-2.5-78B。MM-Eureka-Qwen-32B 展现出更强的性能，在 MMK12 评测集上获得 **72.3** 分，超过了 Qwen2.5-VL-72B 的 **70.3** 以及 Gemini2-Flash 等闭源模型，仅次于 o1 的 **73.9**。在常用的多模态数学推理基准测试中，MM-Eureka-Qwen-32B 在 WeMath 上取得 **73.4** 分，优于所有开源模型和包括 Claude3.7 Sonnet 在内的大多数闭源模型。在 MathVista 上，它达到 **74.8**，超越了所有开源和闭源模型。两个变体在多学科 K12 和数学推理性能方面均有显著提升，优于大多数同等规模的开源模型。\n\n**核心改进：**\n\n1. 我们进一步迭代了代码库，支持包括 Online Filter、[ADORA](https:\u002F\u002Fgithub.com\u002FShadeCloak\u002FADORA?tab=readme-ov-file) 和 [DAPO](https:\u002F\u002Farxiv.org\u002Fabs\u002F2503.14476) 在内的多种算法。\n2. 我们开源了自行收集的 MMK12 数据集，包含 15k 多样化高质量样本和 2k 道数学、物理、化学、生物的多选题（MCQs, Multiple Choice Questions）用于评测。\n3. 我们训练了 MM-Eureka-Qwen-7B 和 MM-Eureka-Qwen-32B，这两款模型在同等规模开源模型的多模态推理任务中表现几乎最优，尤其在多学科 K12 任务上表现突出。\n\n🔥 我们开源了完整的流程以促进该领域的进一步研究。我们在 [MM-EUREKA-Qwen](https:\u002F\u002Fgithub.com\u002FModalMinds\u002FMM-EUREKA\u002Ftree\u002Fqwen) 发布了所有代码、模型、数据等资源。\n\n## 🗞️ 动态\n\n- **[2025\u002F05\u002F19]** 我们发布了 `MM-PRM`。\n  - 📖 报告：[MM-PRM-Report](https:\u002F\u002Farxiv.org\u002Fabs\u002F2505.13427)\n  - 🤗 模型：[MM-PRM](https:\u002F\u002Fhuggingface.co\u002FCierra0506\u002FMM-PRM)\n  - 🚀 代码：[MM-PRM-Code](https:\u002F\u002Fgithub.com\u002FModalMinds\u002FMM-EUREKA\u002Ftree\u002Fmm-prm)\n\n- **[2025\u002F05\u002F19]** 我们提出了一种新颖的 RL 算法 `Clipped Policy Gradient Optimization with Policy Drift (CPGD，带策略漂移正则化的截断策略梯度优化)`，该算法基于带截断机制和策略漂移正则化器的策略梯度损失。在实验中，我们发现它比 GRPO（Group Relative Policy Optimization，组相对策略优化）更稳定且表现更好。\n  - 📖 报告：[CPGD-Report](https:\u002F\u002Fgithub.com\u002FModalMinds\u002FMM-EUREKA\u002Fblob\u002Fqwen\u002FCPGD_Tech_Report.pdf), [CPGD-arxiv](https:\u002F\u002Farxiv.org\u002Fabs\u002F2505.12504)\n  - 🤗 模型：[MM-Eureka-CPGD-Qwen-7B](https:\u002F\u002Fhuggingface.co\u002FZkkkai\u002FCPGD-7B)\n  - 🚀 代码：[MM-Eureka-Qwen-Code](https:\u002F\u002Fgithub.com\u002FModalMinds\u002FMM-EUREKA\u002Ftree\u002Fqwen)\n\n- **[2025\u002F04\u002F15]** 我们发布了 `MM-Eureka-Qwen-7B`、`MM-Eureka-Qwen-32B` 和 `MMK12`。\n  - 📖 报告：[MM-Eureka-Qwen-Report](https:\u002F\u002Fgithub.com\u002FModalMinds\u002FMM-EUREKA\u002Fblob\u002Fqwen\u002FMM_EUREKA_Tech_Report.pdf), [MM-Eureka-Qwen-arxiv](https:\u002F\u002Farxiv.org\u002Fabs\u002F2503.07365)\n  - 🤗 模型：[MM-Eureka-Qwen-7B](https:\u002F\u002Fhuggingface.co\u002FFanqingM\u002FMM-Eureka-Qwen-7B)\n  - 🤗 模型：[MM-Eureka-Qwen-32B](https:\u002F\u002Fhuggingface.co\u002FFanqingM\u002FMM-Eureka-Qwen-32B)\n  - 📊 数据集：[MMK12](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FFanqingM\u002FMMK12)\n  - 🚀 代码：[MM-Eureka-Qwen-Code](https:\u002F\u002Fgithub.com\u002FModalMinds\u002FMM-EUREKA\u002Ftree\u002Fqwen)\n\n- **[2025\u002F03\u002F27]** 我们发布了 `MM-Eureka-Qwen`。\n  - 📖 报告：[MM-Eureka-Qwen-Report](https:\u002F\u002Fjagged-court-d9d.notion.site\u002FMM-Eureka-Qwen-1c13cc5a384880ffbd2de24e1dee052d)\n  - 🤗 模型：[MM-Eureka-Qwen-7B](https:\u002F\u002Fhuggingface.co\u002FFanqingM\u002FMM-Eureka-Qwen-7B)\n  - 📊 数据集：[MM-Eureka-Dataset](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FFanqingM\u002FMM-Eureka-Dataset)\n  - 🚀 代码：[MM-Eureka-Qwen-Code](https:\u002F\u002Fgithub.com\u002FModalMinds\u002FMM-EUREKA\u002Ftree\u002Fqwen)\n\n- **[2025\u002F03\u002F07]** 我们发布了 `MM-Eureka`。\n  - 📖 论文：[MM-Eureka-paper](https:\u002F\u002Fgithub.com\u002FModalMinds\u002FMM-EUREKA\u002Fblob\u002Fmain\u002FMM_Eureka_paper.pdf)\n  - 🤗 模型：[MM-Eureka-8B](https:\u002F\u002Fhuggingface.co\u002FFanqingM\u002FMM-Eureka-8B) & [MM-Eureka-Zero-38B](https:\u002F\u002Fhuggingface.co\u002FFanqingM\u002FMM-Eureka-Zero-38B)\n  - 📊 数据集：[MM-Eureka-Dataset](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FFanqingM\u002FMM-Eureka-Dataset)\n  - 🚀 代码：[MM-Eureka-Code](https:\u002F\u002Fgithub.com\u002FModalMinds\u002FMM-EUREKA\u002Ftree\u002Finternvl)\n\n## 🚀 特性\n\n本仓库基于 [OpenRLHF](https:\u002F\u002Fgithub.com\u002FOpenRLHF\u002FOpenRLHF) 构建，引入了以下关键增强功能：\n\n- **多模态 RFT 支持**：将 OpenRLHF 扩展以支持**视觉语言模型（Vision-Language Models, VLMs）**，目前支持 **InternVL**，实现多模态推理能力。\n  - 目前支持使用 Ray 进行 **RLOO**、**REINFORCE++**、**GRPO** 训练。\n  - vLLM 集成与分布式训练。\n  - 支持混合引擎（`--colocate_all_models`、`--vllm_enable_sleep`）。\n- **更优的基于规则的奖励支持**：为基于规则的奖励（如格式奖励、准确率奖励、重复惩罚）提供更好的训练可视化。\n- **增强的在线过滤**：在训练过程中基于准确率奖励过滤经验，如 [PRIME](https:\u002F\u002Fgithub.com\u002FPRIME-RL\u002FPRIME) 中所述。\n  - 使用 `--enable_accuracy_filter`、`--freezing_filter_steps`、`--accuracy_lower_bound`、`--accuracy_upper_bound` 控制在线准确率过滤器的行为。\n- **ADORA**：通过使用 `--use_adora` 和 `--adora_lamda` 启用自适应在线 Rollout 调整，如 [ADORA](https:\u002F\u002Ffive-stetson-b51.notion.site\u002FTraining-Reasoning-Model-with-Dynamic-Advantage-Estimation-on-Reinforcement-Learning-1a830cc0904681fa9df3e076b6557a3e) 中所述。\n- **DAPO**：可以使用 `--use_dapo` 在训练期间启用 DAPO 损失，如 [DAPO](https:\u002F\u002Farxiv.org\u002Fabs\u002F2503.14476) 中所述。\n- **CPGD**：可以使用 `--use_cpg_loss` 和 `--use_policy_drift` 在训练期间启用 CPGD 损失，如 [CPGD](https:\u002F\u002Fgithub.com\u002FModalMinds\u002FMM-EUREKA\u002Fblob\u002Fqwen\u002FCPGD_Tech_Report.pdf) 中所述。此外：\n  - `--policy_drift_coef` 控制策略漂移正则化器的权重，`--policy_drift_clip_eps` 控制策略漂移中的裁剪范围。\n  - `--use_clip_filter_like_weight` 启用 [CPGD](https:\u002F\u002Fgithub.com\u002FModalMinds\u002FMM-EUREKA\u002Fblob\u002Fqwen\u002FCPGD_Tech_Report.pdf) 中提出的类裁剪过滤器权重，`--clip_filter_like_weight_clip_eps` 控制类裁剪过滤器权重中的裁剪范围。\n  - 示例脚本位于 `MM-EUREKA\u002Fexamples\u002Fscripts\u002Ftrain_cpgd_qwen_7b_single_node.sh` 或 `MM-EUREKA\u002Fexamples\u002Fscripts\u002Ftrain_cpgd_qwen_7b_multi_node.sh`。\n\n## 🤖 模型\n\n基于 https:\u002F\u002Fgithub.com\u002FModalMinds\u002FMM-EUREKA 确定的实现稳定训练的关键因素，我们增强了模型、数据集和算法模块。具体而言，我们保持了省略 KL 散度项和应用数据过滤的策略，同时实施了以下关键修改：\n\n- 基础模型从 InternVL2.5-8B-Instruct 升级为更强大的 Qwen2.5-VL-7B-Instruct。\n- 训练期间冻结视觉 Transformer（Vision Transformer, ViT）模块。\n- 底层 RL 算法替换为 [GRPO](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2402.03300)，取代之前使用的 RLOO。\n- 数据过滤策略从离线方法转变为在线方法。\n- 从 K12 数据集收集了额外数据，将总数据集规模扩展至 15,000 个样本。\n\n| 模型                   | MathVista | MathVerse | MathVision | OlympiadBench | WeMath | MMK12 |\n|------------------------|-----------|-----------|------------|---------------|--------|-------|\n| Claude3.7-Sonnet       | 66.8      | 52.0      | 41.3       | 48.9          | 72.6   | 55.3  |\n| GPT-4o                 | 63.8      | 50.2      | 30.4       | 35.0          | 68.8   | 49.9  |\n| o1                     | 73.9      | 57.0      | 60.3       | 68.0          | 98.7   | 73.9  |\n| Gemini2-flash          | 70.4      | 59.3      | 41.3       | 51.0          | 71.4   | 65.2  |\n| Qwen-2.5-VL-7B         | 68.2      | 47.9      | 25.4       | 20.2          | 62.1   | 53.6  |\n| Qwen-2.5-VL-32B        | 74.7\u002F71.7 | 49.9      | **40.1**       | 30.0          | 69.1   | 66.8  |\n| Qwen-2.5-VL-72B        | **74.8**      | **57.6**      | 38.1       | **40.4**          | 72.4   | 70.5  |\n| InternVL2.5-VL-78B     | 72.3      | 51.7      | 32.2       | 31.1          | 66.3   | 61.6  |\n| QVQ-72B-Preview        | 71.4      | 48.2      | 35.9       | 33.2          | 65.4   | 61.5  |\n| Adora-7B               | 73.5      | 50.1      | 23.0       | 20.1          | 64.2   | 58.1  |\n| R1-Onevision-7B        | 64.1      | 47.1      | 29.9\u002F23.5  | 17.3          | 61.8   | 39.8  |\n| **MM-Eureka-Qwen-7B**  | 73.0      | 50.3      | 26.9       | 20.1          | 66.1   | 64.5  |\n| **MM-Eureka-Qwen-32B** | **74.8**      | 56.5      | 34.4       | 35.9          | **73.4**   | **72.2**  |\n| **MM-Eureka-CPGD-Qwen-7B**  | 74.0      | 50.6      | 28.3       | 21.4          | 68.3   | 65.3  |\n\n- 🤗 [MM-Eureka-Qwen-7B](https:\u002F\u002Fhuggingface.co\u002FFanqingM\u002FMM-Eureka-Qwen-7B)\n- 🤗 [MM-Eureka-Qwen-32B](https:\u002F\u002Fhuggingface.co\u002FFanqingM\u002FMM-Eureka-Qwen-32B)\n- 🤗 [MM-Eureka-CPGD-Qwen-7B](https:\u002F\u002Fhuggingface.co\u002FZkkkai\u002FCPGD-7B)\n\n## 🏁 快速开始\n\n### 📦 安装\n\n```shell\ngit clone https:\u002F\u002Fgithub.com\u002FModalMinds\u002FMM-EUREKA.git\ngit checkout qwen\ncd MM-EUREKA\npip install -e .[vllm]\npip install flash_attn --no-build-isolation\n```\n\n### 📂 数据准备\n\n您可以从 [MMK12](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FFanqingM\u002FMMK12) 下载我们的训练数据。\n\n下载完成后，请参考以下部分了解额外的数据格式要求。\n\n#### 自定义数据集\n\n对于自定义数据集，请将数据格式化为 JSONL 文件，其中每个条目是一个按以下格式组织的字典。\n\n```json\n{\n  \"id\": \"0\",\n  \"message\": \"[{\\\"role\\\": \\\"user\\\", \\\"content\\\": [{\\\"type\\\": \\\"image\\\", \\\"image\\\": \\\"file:\u002F\u002F\u002Fpath\u002Fto\u002Fyour\u002Fimage.jpg\\\"}, {\\\"type\\\": \\\"text\\\", \\\"text\\\": \\\"How many cats in the image?\\\"}]}]\",\n  \"answer\": \"gt that could be parsed and verified by math_verify\"\n}\n```\n\n### 🌐 开始训练\n\n在开始训练之前，请确保提供的训练脚本中的路径设置正确，并且环境变量如 `$MASTER_ADDR` 和 `$NODE_RANK` 已正确配置。\n\n**启动 MM-Eureka-Qwen-7B 训练**\n\n- 单节点\n\n  ```shell\n  sh examples\u002Fscripts\u002Ftrain_mm_eureka_qwen_7b_single_node.sh\n  ```\n\n- 多节点\n\n  ```shell\n  sh examples\u002Fscripts\u002Ftrain_mm_eureka_qwen_7b_multi_node.sh\n  ```\n\n## ⭐ Star 历史\n\n[![Star History Chart](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FModalMinds_MM-EUREKA_readme_157aecd06d49.png)](https:\u002F\u002Fstar-history.com\u002F#ModalMinds\u002FMM-EUREKA&Date)\n\n## 🤝 贡献\n\nMM-Eureka 仍在积极开发中，如果您想贡献代码，欢迎提交 Pull Request 或创建 Issue。\n\n在深入参与之前，请参考 `CONTRIBUTING.md`！\n\n## 📬 联系我们\n\n如果您有任何问题或希望加入我们的社区，欢迎扫描下方的二维码加入我们的微信群。\n\n\u003Cdiv align=\"center\">\n\u003Cimg alt=\"MM-Eureka logo\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FModalMinds_MM-EUREKA_readme_56b1cc29a85f.png\" style=\"height: 400px;\" \u002F>\n\u003C\u002Fdiv>\n\n## 🎓 致谢\n\n我们感谢 [OpenRLHF](https:\u002F\u002Fgithub.com\u002FOpenRLHF\u002FOpenRLHF)、[LMM-R1](https:\u002F\u002Fgithub.com\u002FTideDra\u002Flmm-r1) 和 [vLLM](https:\u002F\u002Fgithub.com\u002Fvllm-project\u002Fvllm) 的杰出开源贡献。同时，我们也向 [DeepSeek-R1](https:\u002F\u002Fgithub.com\u002Fdeepseek-ai\u002FDeepSeek-R1)、[InternVL](https:\u002F\u002Fgithub.com\u002FOpenGVLab\u002FInternVL) 和 [QwenVL](https:\u002F\u002Fgithub.com\u002FQwenLM\u002FQwen2.5-VL) 致以谢意，感谢他们开源的技术和基础模型，使我们能够进一步开展探索。\n\n## 📜 引用\n```\n@article{meng2025mmeureka,\n      title={MM-Eureka: Exploring the Frontiers of Multimodal Reasoning with Rule-based Reinforcement Learning},\n      author={Fanqing Meng and Lingxiao Du and Zongkai Liu and Zhixiang Zhou and Quanfeng Lu and Daocheng Fu and Tiancheng Han and Botian Shi and Wenhai Wang and Junjun He and Kaipeng Zhang and Ping Luo and Yu Qiao and Qiaosheng Zhang and Wenqi Shao},\n      year={2025},\n      journal={arXiv preprint arXiv:2503.07365},\n}\n@article{du2025mmprm,\n      title={MM-PRM: Enhancing Multimodal Mathematical Reasoning with Scalable Step-Level Supervision},\n      author={Lingxiao Du and Fanqing Meng and Zongkai Liu and Zhixiang Zhou and Ping Luo and Qiaosheng Zhang and Wenqi Shao},\n      year={2025},\n      journal={arXiv preprint arXiv:2505.13427},\n}\n@article{liu2025cpgd,\n      title={CPGD: Toward Stable Rule-based Reinforcement Learning for Language Models},\n      author={Zongkai Liu and Fanqing Meng and Lingxiao Du and Zhixiang Zhou and Chao Yu and Wenqi Shao and Qiaosheng Zhang},\n      year={2025},\n      journal={arXiv preprint arXiv:2505.12504},\n}\n```","# MM-EUREKA 快速上手指南\n\n## 环境准备\n\n### 系统要求\n- **GPU**: NVIDIA GPU，支持 CUDA 11.8+\n- **显存**: 单节点训练建议至少 80GB 显存（如 A100 80G）\n- **Python**: 3.10+\n- **PyTorch**: 2.0+\n\n### 前置依赖\n- CUDA Toolkit 11.8 或更高版本\n- Git\n- pip\n\n---\n\n## 安装步骤\n\n### 1. 克隆仓库并切换分支\n\n```shell\ngit clone https:\u002F\u002Fgithub.com\u002FModalMinds\u002FMM-EUREKA.git\ncd MM-EUREKA\ngit checkout qwen\n```\n\n### 2. 安装 Python 依赖\n\n```shell\npip install -e .[vllm]\npip install flash_attn --no-build-isolation\n```\n\n> 如遇网络问题，可使用国内镜像源：\n> ```shell\n> pip install -e .[vllm] -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n> ```\n\n---\n\n## 基本使用\n\n### 1. 准备数据\n\n下载官方数据集：\n- [MMK12 数据集](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FFanqingM\u002FMMK12)\n\n或自定义数据格式（JSONL）：\n```json\n{\n  \"id\": \"0\",\n  \"message\": \"[{\\\"role\\\": \\\"user\\\", \\\"content\\\": [{\\\"type\\\": \\\"image\\\", \\\"image\\\": \\\"file:\u002F\u002F\u002Fpath\u002Fto\u002Fyour\u002Fimage.jpg\\\"}, {\\\"type\\\": \\\"text\\\", \\\"text\\\": \\\"How many cats in the image?\\\"}]}]\",\n  \"answer\": \"gt that could be parsed and verified by math_verify\"\n}\n```\n\n### 2. 单节点训练（MM-Eureka-Qwen-7B）\n\n```shell\nsh examples\u002Fscripts\u002Ftrain_mm_eureka_qwen_7b_single_node.sh\n```\n\n### 3. 多节点训练\n\n```shell\n# 配置环境变量\nexport MASTER_ADDR=\"your_master_ip\"\nexport NODE_RANK=0  # 各节点分别设置为 0, 1, 2...\n\nsh examples\u002Fscripts\u002Ftrain_mm_eureka_qwen_7b_multi_node.sh\n```\n\n### 4. 使用 CPGD 算法训练\n\n```shell\n# 单节点\nsh examples\u002Fscripts\u002Ftrain_cpgd_qwen_7b_single_node.sh\n\n# 多节点\nsh examples\u002Fscripts\u002Ftrain_cpgd_qwen_7b_multi_node.sh\n```\n\n---\n\n## 关键训练参数\n\n| 参数 | 说明 |\n|:---|:---|\n| `--enable_accuracy_filter` | 启用在线准确率过滤 |\n| `--use_adora` | 启用 ADORA 算法 |\n| `--use_dapo` | 启用 DAPO 损失 |\n| `--use_cpg_loss` | 启用 CPGD 损失 |\n| `--use_policy_drift` | 启用策略漂移正则化 |\n\n---\n\n## 预训练模型下载\n\n| 模型 | HuggingFace 链接 |\n|:---|:---|\n| MM-Eureka-Qwen-7B | [FanqingM\u002FMM-Eureka-Qwen-7B](https:\u002F\u002Fhuggingface.co\u002FFanqingM\u002FMM-Eureka-Qwen-7B) |\n| MM-Eureka-Qwen-32B | [FanqingM\u002FMM-Eureka-Qwen-32B](https:\u002F\u002Fhuggingface.co\u002FFanqingM\u002FMM-Eureka-Qwen-32B) |\n| MM-Eureka-CPGD-Qwen-7B | [Zkkkai\u002FCPGD-7B](https:\u002F\u002Fhuggingface.co\u002FZkkkai\u002FCPGD-7B) |\n\n> 国内用户可通过 [hf-mirror.com](https:\u002F\u002Fhf-mirror.com) 镜像加速下载：\n> ```shell\n> export HF_ENDPOINT=https:\u002F\u002Fhf-mirror.com\n> huggingface-cli download FanqingM\u002FMM-Eureka-Qwen-7B\n> ```","某在线教育平台的 AI 教研团队正在开发面向 K12 学生的智能解题助手，需要模型能够同时理解题目图片（几何图形、实验装置、化学结构式等）并进行严谨的数学与科学推理。\n\n### 没有 MM-EUREKA 时\n\n- **多模态推理能力薄弱**：通用视觉语言模型看到几何题图片后，常把辅助线认错或忽略关键角度标注，导致后续计算全盘错误\n- **解题过程缺乏可解释性**：模型直接输出答案，学生看不到推导步骤，无法定位自己卡在哪一步，教研团队也难以排查错误根源\n- **学科覆盖不均衡**：物理力学题表现尚可，但遇到化学方程式配平或生物遗传图解分析时，准确率断崖式下降\n- **训练成本高昂**：团队尝试用传统 SFT 方法提升推理能力，需要大量人工标注的逐步解题数据，标注成本占项目预算 40% 以上\n\n### 使用 MM-EUREKA 后\n\n- **精准视觉理解 + 深度推理**：基于规则强化学习的训练让模型学会\"先看图、再思考\"，在 MMK12 评测中 7B 版本已接近 78B 大模型水平，几何辅助线识别准确率提升 35%\n- **自然涌现逐步推理能力**：无需人工标注中间步骤，RL 训练后模型自动生成可验证的解题链条，学生可逐行检查，教研团队能用规则自动验证每步正确性\n- **跨学科泛化显著增强**：同一套训练框架覆盖数学、物理、化学、生物四门学科，32B 版本在 WeMath 和 MathVista 上超越 Claude 3.7 Sonnet 等闭源模型\n- **数据效率大幅提升**：利用开源的 15k MMK12 样本即可启动训练，配合在线过滤和 CPGD 稳定训练算法，相比传统方法减少 70% 标注投入\n\nMM-EUREKA 让中小团队能以 7B-32B 的轻量模型，实现过去需要 70B+ 闭源模型才能达到的多模态推理效果，且全程可解释、可验证、可复现。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FModalMinds_MM-EUREKA_5f85f9b7.png","ModalMinds","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FModalMinds_3e7afdb0.png",null,"https:\u002F\u002Fgithub.com\u002FModalMinds",[81],{"name":82,"color":83,"percentage":84},"Python","#3572A5",100,772,30,"2026-04-03T20:13:01","Apache-2.0",4,"Linux","需要 NVIDIA GPU，支持多节点分布式训练，需 vLLM 加速推理，具体显存要求未说明但 7B\u002F32B 模型训练通常需要 24GB+ 显存","未说明",{"notes":94,"python":92,"dependencies":95},"基于 OpenRLHF 构建，支持多模态视觉语言模型训练；需要安装 flash_attn 并建议从源码安装；训练前需正确配置 MASTER_ADDR 和 NODE_RANK 等环境变量；支持混合引擎模式（--colocate_all_models, --vllm_enable_sleep）以优化显存使用",[96,97,98,99,100,101,102],"openrlhf","vllm","flash_attn","ray","torch","transformers","deepspeed",[26,14,13,54],"2026-03-27T02:49:30.150509","2026-04-06T05:35:39.245685",[107,112,117,122,127,132,137,142],{"id":108,"question_zh":109,"answer_zh":110,"source_url":111},4092,"多机多卡训练时加载vLLM后卡住如何解决？","这是Ray资源分配配置错误导致的。当设置`--actor_num_nodes 2 --actor_num_gpus_per_node 8 --vllm_num_engines 4 --vllm_tensor_parallel_size 2`时，实际上申请了3台机器的资源（2台actor节点 + 1台vLLM节点），但用户只有2台机器。\n\n正确的配置方式（2台A100*80G*8卡）：\n```bash\n--actor_num_nodes 1\n--actor_num_gpus_per_node 8\n--vllm_num_engines 8\n--vllm_tensor_parallel_size 1\n```\n\n或者：\n```bash\n--actor_num_nodes 2\n--actor_num_gpus_per_node 8\n--vllm_num_engines 8\n--vllm_tensor_parallel_size 1\n```\n\n关键原则：`actor_num_nodes + vLLM所需节点数`不能超过实际拥有的机器数。vLLM引擎数除以tensor并行大小即为vLLM占用的节点数。","https:\u002F\u002Fgithub.com\u002FModalMinds\u002FMM-EUREKA\u002Fissues\u002F5",{"id":113,"question_zh":114,"answer_zh":115,"source_url":116},4093,"是否支持Qwen2.5VL和GRPO算法？","是的，支持Qwen2.5VL和GRPO。\n\n使用Qwen2.5VL时：\n1. 通过`--pretrain`参数传入本地下载好的Qwen模型路径\n2. 数据格式需为jsonl文件，每条json格式如下：\n```json\n{\n  \"question\": \"问题内容\",\n  \"answer\": \"$答案$\",\n  \"message\": [{\"role\": \"system\", \"content\": \"系统提示词\"}, {\"role\": \"user\", \"content\": [{\"type\": \"text\", \"text\": \"问题\"}, {\"type\": \"image\", \"image\": \"图片路径\"}]}]\n}\n```\n\nGRPO支持：代码中通过`--advantage_estimator rloo`等参数实现，具体可参考训练脚本中的相关配置。","https:\u002F\u002Fgithub.com\u002FModalMinds\u002FMM-EUREKA\u002Fissues\u002F18",{"id":118,"question_zh":119,"answer_zh":120,"source_url":121},4094,"如何使用MMK12数据集进行训练？","MMK12数据集需要转换为jsonl格式，不能直接读取parquet文件。\n\n数据格式示例：\n```json\n{\n  \"id\": \"cc7f65d5-bdd5-43ff-942b-c4e25a2804dd\",\n  \"message\": [\n    {\n      \"role\": \"user\",\n      \"content\": [\n        {\"type\": \"image\", \"image\": \"file:\u002F\u002F\u002FMMK12\u002Fimages\u002Fcc7f65d5-bdd5-43ff-942b-c4e25a2804dd.png\"},\n        {\"type\": \"text\", \"text\": \"A cube loses one vertex after a 'corner' is removed. This geometric shape is ___ (fill in the number).\"}\n      ]\n    }\n  ],\n  \"answer\": \"3\"\n}\n```\n\n关键要点：\n1. 图片路径使用`file:\u002F\u002F`协议指定绝对路径\n2. message字段为OpenAI格式的对话列表\n3. content中image和text为独立的字典项\n4. answer字段为最终答案\n\n若遇到`TypeError: default_collate: batch must contain tensors...`错误，检查数据路径是否正确、图片文件是否存在。","https:\u002F\u002Fgithub.com\u002FModalMinds\u002FMM-EUREKA\u002Fissues\u002F44",{"id":123,"question_zh":124,"answer_zh":125,"source_url":126},4095,"是否支持LoRA微调？","目前不支持LoRA与vLLM同时使用。\n\n技术原因：OpenRLHF底层依赖在启用vLLM时不支持LoRA。\n\n替代方案：\n1. 团队正在开发不依赖Ray和vLLM的RL训练版本，届时将支持LoRA\n2. 当前如需使用LoRA，需要关闭vLLM（但会影响训练效率）\n\n建议关注仓库更新，等待无Ray\u002FvLLM版本的发布。","https:\u002F\u002Fgithub.com\u002FModalMinds\u002FMM-EUREKA\u002Fissues\u002F1",{"id":128,"question_zh":129,"answer_zh":130,"source_url":131},4096,"Ray版本冲突如何解决（vLLM要求2.40.0但requirements.txt要求2.42.0）？","临时解决方案：强制指定Ray版本为2.40.0\n\n```bash\npip install ray==2.40.0\n```\n\n注意：这会导致与requirements.txt中的版本要求不一致，但可以兼容vLLM的推理需求。\n\n长期建议：等待官方统一依赖版本。目前团队尚未提供完全兼容的依赖配置，需要用户自行权衡选择。","https:\u002F\u002Fgithub.com\u002FModalMinds\u002FMM-EUREKA\u002Fissues\u002F49",{"id":133,"question_zh":134,"answer_zh":135,"source_url":136},4097,"MM-EUREKA-Qwen分支的文档和脚本问题如何解决？","该分支存在以下已知问题及解决方案：\n\n1. **缺少data\u002Fk12.jsonl文件**\n   - 该分支使用15K的K12数据（与eval中的K12不同），尚未完全开源\n   - 可使用之前开源的MM-EUREKA-Dataset中的8K K12数据替代\n   - 从HuggingFace下载：https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FFanqingM\u002FMM-Eureka-Dataset\n\n2. **目录引用错误**\n   - 脚本中的`cd MM-EUREKA-Qwen`已修复，直接在仓库根目录运行即可\n   - `runtime_env.json`路径已修正，指向分支根目录下的文件\n\n3. **Ray连接错误**\n   - 若遇到连接错误，尝试升级Ray：\n   ```bash\n   pip install -U \"ray[default]\"\n   ```\n\n运行命令：\n```bash\nsh examples\u002Fscripts\u002Ftrain_mm_eureka_qwen_7b_single_node.sh\n```","https:\u002F\u002Fgithub.com\u002FModalMinds\u002FMM-EUREKA\u002Fissues\u002F25",{"id":138,"question_zh":139,"answer_zh":140,"source_url":141},4098,"训练数据中是否还包含多选题？","数据过滤策略说明：\n\n1. **K12数据集**：已过滤多选题，只保留非多选题\n2. **MMPR数据集**：未应用多选题过滤，仍包含多选题\n\n论文表述存在歧义，实际仅对K12部分进行了多选题过滤。如需完全排除多选题，需要自行对MMPR部分进行额外过滤处理。\n\n团队已确认将修正论文表述以避免误解。","https:\u002F\u002Fgithub.com\u002FModalMinds\u002FMM-EUREKA\u002Fissues\u002F4",{"id":143,"question_zh":144,"answer_zh":145,"source_url":146},4099,"评测代码和细节在哪里获取？","评测代码已更新到仓库中。\n\n获取方式：关注仓库的eval目录或相关更新，团队已发布评测代码。\n\n注意：使用官方代码评测Qwen2.5VL在MathVista上可能得到63.7分的结果，与论文报告结果存在差异，具体原因需进一步确认配置细节。","https:\u002F\u002Fgithub.com\u002FModalMinds\u002FMM-EUREKA\u002Fissues\u002F26",[]]