LMM-R1：通过强大的推理能力赋能3B规模的多模态大模型

---

切换至中文版

最新消息

• [2025年3月11日] 🚀 我们的代码库已合并到由OpenRLHF开发的官方多模态强化学习基础设施OpenRLHF-M中。

• [2025年3月11日] ✨ 我们发布了论文《LMM-R1：通过两阶段基于规则的强化学习赋能3B规模多模态大模型的强大推理能力》（https://arxiv.org/pdf/2503.07536）！

• [2025年2月13日] 我们正式发布了LMM-R1的代码！

简介

较小的3B规模多模态大模型（LMM）由于参数容量有限，且将视觉感知与逻辑推理相结合的复杂性较高，因此在推理任务上表现欠佳。此外，高质量的多模态推理数据稀缺，进一步增加了训练难度。为应对这些挑战，我们提出了LMM-R1——一个高效的两阶段基于规则的强化学习框架，用于提升模型的推理能力：

1. 基础推理增强（FRE）：利用纯文本数据构建坚实的推理基础。
2. 多模态泛化训练（MGT）：将这些能力扩展到多模态领域。

该方法不仅克服了数据不足的问题，还显著提升了模型在各类推理任务中的表现。

演示

几何问题：

推箱子演示：

快速入门

安装

git clone https://github.com/TideDra/lmm-r1.git
cd lmm-r1
pip install -e .[vllm]
pip install flash_attn --no-build-isolation

[!NOTE] 我们建议使用vLLM 0.7.2或更高版本。 我们还提供了vLLM的Dockerfile以及Nvidia-Docker的一键安装脚本。

准备数据集

LMM-R1要求多模态提示数据集采用与OpenAI兼容的消息格式：

[
  {
    "message":"[
      {
        \"role\": \"user\",
        \"content\": [
            { \
                \"type\": \"image\",
                \"image\": \"file:///path/to/your/image.jpg\",
            }, \
            {\"type\": \"text\", \"text\": \"图片中有几只猫？\"},
        ],
      }
    ]",
    "answer": "$3$"
  },
]

请注意，message是一个字符串化的列表。 示例数据集examples/data/test_message.jsonl可供参考。

• 我们可以使用--input_key来指定输入数据集的JSON键名，例如--prompt_data {名称或路径}（PPO）或--dataset {名称或路径}。请勿对多模态提示使用--apply_chat_template，因为消息将在内部进行处理。
• OpenRLHF还支持通过--prompt_data_probs 0.1,0.4,0.5（PPO）或--dataset_probs 0.1,0.4,0.5混合多个数据集。

训练

我们的训练过程遵循论文中描述的两阶段方法。我们提供了每个阶段的脚本，以方便复现我们的实验结果。

第一阶段：基础推理增强（FRE）

这一阶段专注于利用纯文本数据提升模型的推理能力。

# 使用纯文本数据进行训练（FRE-Text）
bash examples/scripts/lmm_r1/train_fre_text.sh

# 使用多模态数据进行训练（FRE-Multi），用于对比
bash examples/scripts/lmm_r1/train_fre_multi.sh

FRE-Text脚本使用DeepScaler-40K数据集，并结合基于规则的强化学习来增强模型的基础推理能力。这一阶段对于在进入多模态任务之前建立强大的推理能力至关重要。

第二阶段：多模态泛化训练（MGT）

这一阶段通过针对特定任务的持续训练，将推理能力扩展到多模态领域。

# 在几何领域进行训练（MGT-Geo）
bash examples/scripts/lmm_r1/train_mgt_geo.sh

# 在感知与推理平衡的领域进行训练（MGT-PerceReason）
bash examples/scripts/lmm_r1/train_mgt_percereas.sh

每个MGT脚本都从FRE-Text检查点继续训练，专注于特定领域：

• MGT-Geo：使用VerMulti-Geo数据集（1.5万道几何题）来提升几何推理能力。
• MGT-PerceReason：使用完整的VerMulti数据集，以平衡感知与推理能力。

我们发布了最终模型MGT-PerceReason。

直接强化学习训练（用于对比）

我们还提供了不经过FRE阶段的直接强化学习训练脚本，这些脚本在我们的论文中被用作对比基准：

# 在几何领域进行直接强化学习训练
bash examples/scripts/lmm_r1/train_direct_rl_geo.sh

这些脚本直接在特定领域的数据上训练基线模型，跳过了FRE阶段，从而有助于展示我们两阶段方法的有效性。

特性

LMM-R1 是 OpenRLHF 的一个分支，旨在为增强多模态推理能力提供高性能的 LMM 强化学习基础设施。我们目前支持 LMM 的 PPO/REINFORCE++/RLOO 训练，并且相比 R1-V（GRPO），在 RLOO 上实现了 4.7 倍的加速。

• 支持 LMM 训练（Qwen2.5-VL、Phi3.5-V、Phi4-Multimodal）。
• 基于 Ray 的分布式 PPO 和 REINFORCE++/RLOO 实现。
• 基于 Ray 的强化微调
• 支持使用混合引擎的基于 Ray 的 PPO 和 REINFORCE++/RLOO（--colocate_all_models、--vllm_enable_sleep 和 --vllm_gpu_memory_utilization 0.5）。
• 完整的 RLHF 微调支持，适用于拥有 超过 700 亿参数 的模型。
• 集成 vLLM，以加速 RLHF 任务中的生成过程（--vllm_num_engines）。
• 支持多个奖励模型（--reward_pretrain model1,model2...）和远程奖励模型（--remote_rm_url）。
• 集成 FlashAttention2（--flash_attn）。
• 支持 QLoRA（--load_in_4bit）和 LoRA（--lora_rank、--target_modules）。
• 提供 Wandb（--use_wandb）和 TensorBoard（--use_tensorboard）的日志记录支持。
• 检查点恢复功能（--load_checkpoint 和 --save_steps）。
• 提供多节点训练脚本，例如 Ray PPO。

参考文献与致谢

我们衷心感谢 DeepSeek 在 LLM 推理方面的探索，以及 OpenRLHF 提供的卓越 RL 基础设施。同时，我们也感谢 open-r1 和 simpleRL-reason，它们为我们复现 R1 提供了宝贵的见解。彭英哲的工作是在蚂蚁集团实习期间完成的，杨凯是他的实习导师。特别感谢 杨凯、刘杰、游志远 提出的宝贵建议，以及 东南大学大数据计算中心 提供的硬件支持。

• DeepSeek
• OpenRLHF
• open-r1
• simpleRL-reason

引用

如果您发现 LMM-R1 对您的研究和应用有所帮助，请使用以下 BibTeX 格式引用：

@article{peng2025lmmr1,
  title={LMM-R1: Empowering 3B LMMs with Strong Reasoning Abilities Through Two-Stage Rule-Based RL},
  author={Peng, Yingzhe and Zhang, Gongrui and Zhang, Miaosen and You, Zhiyuan and Liu, Jie and Zhu, Qipeng and Yang, Kai and Xu, Xingzhong and Geng, Xin and Yang, Xu},
  journal={arXiv preprint arXiv:2503.07536},
  year={2025}
}

LMM-R1 快速上手指南

LMM-R1 是一个基于规则的两阶段强化学习（RL）框架，旨在赋予 3B 参数量的大型多模态模型（LMM）强大的推理能力。该项目基于 OpenRLHF 构建，支持 PPO、REINFORCE++ 和 RLOO 等算法，显著提升了多模态推理任务的性能。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+)
• Python: 3.8 或更高版本
• GPU: 支持 CUDA 的 NVIDIA 显卡（建议使用显存充足的设备以运行多模态模型）
• 核心依赖:
  • vLLM (推荐版本 0.7.2 或更高)
  • flash_attn
  • ray (用于分布式训练)

提示: 项目提供了 vLLM 的 Dockerfile 和 Nvidia-Docker 一键安装脚本，推荐使用 Docker 环境以避免依赖冲突。

安装步骤

克隆仓库并安装依赖包。建议先安装基础包，再单独安装 flash_attn 以避免编译问题。

git clone https://github.com/TideDra/lmm-r1.git
cd lmm-r1
pip install -e .[vllm]
pip install flash_attn --no-build-isolation

注意: 如果国内网络下载依赖较慢，建议在 pip 命令后添加国内镜像源，例如：-i https://pypi.tuna.tsinghua.edu.cn/simple。

基本使用

LMM-R1 的核心流程分为两个阶段：基础推理增强 (FRE) 和 多模态泛化训练 (MGT)。以下是基于官方脚本的最简启动流程。

1. 数据准备

模型需要 OpenAI 兼容格式的多模态提示数据集。数据需整理为 JSONL 格式，其中 message 字段必须是字符串化的列表。

示例数据 (test_message.jsonl)：

[
  {
    "message":"[
      {
        \"role\": \"user\",
        \"content\": [
            { 
                \"type\": \"image\",
                \"image\": \"file:///path/to/your/image.jpg"
            }, 
            {\"type\": \"text\", \"text\": \"How many cats in the image?\"}
        ]
      }
    ]",
    "answer": "$3$"
  }
]

• 加载数据: 使用 --prompt_data (PPO) 或 --dataset 参数指定路径。
• 多数据集混合: 可通过 --prompt_data_probs 或 --dataset_probs 设置不同数据集的采样比例。
• 重要: 多模态提示不要使用 --apply_chat_template 参数，消息将在内部处理。

2. 第一阶段：基础推理增强 (FRE)

此阶段仅使用文本数据建立强大的推理基础。推荐使用官方提供的 DeepScaler-40K 数据集脚本。

# 使用纯文本数据进行训练 (推荐)
bash examples/scripts/lmm_r1/train_fre_text.sh

# 或者使用多模态数据进行对比训练
bash examples/scripts/lmm_r1/train_fre_multi.sh

3. 第二阶段：多模态泛化训练 (MGT)

在 FRE 阶段生成的检查点基础上，继续针对特定多模态领域进行训练。

# 针对几何领域训练 (使用 VerMulti-Geo 数据集)
bash examples/scripts/lmm_r1/train_mgt_geo.sh

# 针对感知与推理平衡领域训练 (使用完整 VerMulti 数据集，即最终发布模型)
bash examples/scripts/lmm_r1/train_mgt_percereas.sh

4. 直接 RL 训练（基线对比）

如果不经过 FRE 阶段，直接进行领域特定的 RL 训练（用于基准对比）：

# 直接在几何领域进行 RL 训练
bash examples/scripts/lmm_r1/train_direct_rl_geo.sh

训练完成后，您可以在 Hugging Face 上找到最终发布的模型：LMM-R1-MGT-PerceReason。