VLM-R1：一款稳定且具有泛化能力的R1风格大型视觉-语言模型

🎉 我们的VLM-R1数学模型在Open-Compass数学排行榜上名列前茅（参数量低于40亿），而OVD模型则在OVDEval上取得了当前最优性能。

自Deepseek-R1发布以来，围绕其复现与改进的工作层出不穷。在本项目中，我们提出了VLM-R1——一个稳定且具备良好泛化能力的R1风格大型视觉-语言模型。

具体而言，在指代表达理解（REC）任务上，我们分别采用R1和SFT两种方式训练了Qwen2.5-VL。实验结果表明，在域内测试数据上，当训练步数较少时（100–600步），SFT模型的表现与R1基础模型相差无几；而R1模型则会持续提升性能（如图左所示）。更为重要的是，在域外测试数据上，随着训练步数增加，SFT模型的表现略有下降。相比之下，RL模型却能将其推理能力很好地泛化到域外数据中（如图右所示）。

* 我们发现先前的REC SFT实验使用了不匹配的像素配置。因此，我们在更复杂的域外数据上，采用正确的配置重新进行了实验。详细内容请参阅我们的研究发现。

🚀 特性

本仓库支持以下功能：

• GRPO全量微调：参见run_grpo_rec.sh
• 冻结视觉模块：在脚本中将freeze_vision_modules设置为true。
• GRPO LoRA微调：参见run_grpo_rec_lora.sh
• 多节点训练：参见multinode_training_demo.sh
• 多图像输入训练：参见run_grpo_gui.sh
• 针对您自己的数据：参见此处
• 多种VLM：参见如何添加新模型，目前我们已支持QwenVL和InternVL。

🗞️ 更新

• 2025-08-29: 🔥🔥🔥 我们基于京东最新的开源推理框架 xllm（GitHub 地址为 这里）对 VLM-R1 系列模型进行了进一步优化。与 vllm-ascend 相比，TTFT（首个 Token 生成时间）缩短了 50%，整体吞吐量则提升了 127%。更多详情请参阅 ascend_inference/910B/xllm/README.md。

• 2025-08-22: 我们使用 vllm-ascend 框架将 VLM-R1 系列模型适配至华为 Ascend Atlas 800T A2 和 Atlas 300I Duo 系列，进一步扩展了该系列模型的部署场景和硬件兼容性。更多详情请参阅 ascend_inference/910B/vllm_ascend/README.md 和 ascend_inference/300IDuo/README.md。

• 2025-06-26: 我们为 QwenVL 的边界框引入了后处理缩放操作（训练部分见 [src/open-r1-multimodal/src/open_r1/vlm_modules/qwen_module.py#L124-L129]，评估部分见 [src/eval/test_rec_r1.py#L92-L97]），结果略有提升。

• 2025-04-16: 我们更新了代码库以增强功能并保持实现的一致性。具体而言，REC 流程现已整合至 grpo_jsonl.py，以确保各任务间的一致性。此外，我们新增了一个参数 is_reward_customized_from_vlm_module，允许使用在 VLM 模块内定义的自定义奖励函数。当该参数设置为 true 时，奖励逻辑将由所选模型对应的 QwenVL2Module 或 InternVLModule 处理。同时，训练日志也得到了优化，输出更加详细，便于监控和调试。

• 2025-04-11: 🔥🔥🔥 我们发布了 VLM-R1 的技术报告，总结了我们的主要成果和见解。

• 2025-04-03: 我们新增了 OVD 任务中使用的 odLength、weighted_sum 和 cosine 奖励。有关奖励的具体用法，请参阅我们的博客文章和研究发现，代码实现请参考 grpo_jsonl.py。

• 2025-03-24: 🔥 我们发布了 VLM-R1-OVD 的研究发现。

• 2025-03-23: 🔥 我们发布了 VLM-R1-OVD 的模型权重和演示，展示了其在 OVDEval 数据集上的最先进性能。欢迎使用！

• 2025-03-20: 🔥 我们基于强化学习的模型在 OVDEval 上取得了 SOTA 结果，超越了 SFT 基线模型和专门的目标检测模型。有关强化学习如何提升目标检测性能的详细信息，请阅读我们的博客文章。

• 2025-03-17: 我们的 VLM-R1 数学模型在 Open-Compass 数学排行榜 中位居前茅（参数量小于 4B）。我们已发布检查点。

• 2025-03-15: 我们支持多张图片输入数据。多张图片输入格式请参阅此处。我们还提供了一个多张图片脚本示例 run_grpo_gui.sh，详情请见此处。

• 2025-03-13: 我们支持 InternVL 进行 GRPO 任务。详情请参阅 run_grpo_rec_internvl.sh。InternVL 使用的标注 JSON 文件可在此下载：rec_jsons_internvl.zip。如需添加新模型，请参考 如何添加新模型。

• 2025-03-02: 我们支持 GRPO 的 LoRA 微调。详情请参阅 run_grpo_rec_lora.sh。

• 2025-02-27: 我们在原始 GRPO 算法中支持 每批次迭代次数 和 裁剪用的 epsilon 值，通过参数 --num_iterations 和 --epsilon 实现。

• 2025-02-25: 我们支持 GRPO 的多节点训练。详情请参阅 multinode_training_demo.sh。

• 2025-02-21: 我们发布了 VLM-R1 REC 模型的检查点。

• 2025-02-20: 我们发布了通用数据加载脚本。

• 2025-02-19: 我们加入了关于SFT方法的说明。

• 2025-02-17: 我们在 Hugging Face Spaces 上发布了 VLM-R1 REC 的演示。

• 2025-02-15: 我们发布了 VLM-R1 仓库及GRPO训练脚本。

🤖 模型

• OVD：基于 VLM-R1 训练的开放词汇目标检测（OVD）模型，在 OVDEval 数据集上达到了最先进的性能。
• Math：通过 VLM-R1 训练，我们的数学模型专注于多模态推理任务，并在 OpenCompass 多模态推理排行榜中，参数量小于 4B 的模型中位列第一。
• REC：基于 VLM-R1 训练的指代表达理解（REC）模型，在域外数据及一系列推理-接地任务中表现出色。
• GUI：基于 VLM-R1 训练的 GUI 缺陷检测模型，其准确率优于基础模型和 SFT 模型，并且在缺陷屏幕和正常屏幕上的泛化能力均有所提升。

🎯 待办事项

• 实现多节点训练。
• 实现 LoRA 微调。
• 支持更多多模态 LLM。
• 支持多图像输入。
• 发布 VLM-R1 数学模型。
• 发布 VLM-R1 的博客文章。
• 发布 VLM-R1-OVD 模型。
• 发布 VLM-R1 的技术报告。
• 使用 vllm-ascend 框架适配华为昇腾 Atlas 800T A2 和 Atlas 300I Duo 系列。
• 使用 xllm 框架适配华为昇腾 Atlas 800T A2 系列。
• 研究跨任务泛化能力。
• 针对其他任务增强 VLM [欢迎提交议题]。

🛠️ 设置

conda create -n vlm-r1 python=3.10
conda activate vlm-r1
bash setup.sh

💪🏻 训练

引用表达理解 (REC)

📚 GRPO

1. 下载 COCO Train2014 图片 并解压，将图片目录记为 <your_image_root>。
2. 下载 RefCOCO/+/g 和 LISA-Grounding 标注文件 并解压（LISA-Grounding 用于域外评估）。
3. 修改 run_scripts/run_grpo_rec.sh 文件中的 data_paths 和 image_folders。

# 这些 jsonl 文件包含在步骤 2 的标注文件中。
# 注意：请使用 jsonl 文件而不是 json 文件。
data_paths="path/to/refcoco_train.jsonl:path/to/refcocop_train.jsonl:path/to/refcocog_train.jsonl"
image_folders="path/to/coco:path/to/coco:path/to/coco"

4. bash run_scripts/run_grpo_rec.sh

[!NOTE] 如果遇到 'CUDA 内存不足' 错误，可以尝试降低 per_device_train_batch_size。

📚 多节点 GRPO

对于多节点训练，请参考 multinode_training_demo.sh。

📚 SFT

我们使用 LLaMA-Factory 来训练 SFT 模型。

1. 克隆 LLaMA-Factory 仓库并安装依赖。

git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]"

2. 下载我们提供的 dataset_info.json、mllm_rec_json.json 和 qwen2_5_vl_full_sft.yaml 这里。将 json 文件放入 LLaMA-Factory/data 目录，yaml 文件放入 LLaMA-Factory/examples/train_full 目录。
3. 运行以下命令来训练 SFT 模型。

llamafactory-cli train examples/train_full/qwen2_5_vl_full_sft.yaml

针对您自己的数据

jsonl 的格式如下：

{
  "id": 1,
  "image": "Clevr_CoGenT_TrainA_R1/data/images/CLEVR_trainA_000001_16885.png",
  "conversations": [
    {"from": "human", "value": "<image>有多少个紫色金属球？"},
    {"from": "gpt", "value": "0"}
  ]
}

如果您希望使用多图像输入，可以采用以下格式：

{
  "id": 1,
  "image": ["Clevr_CoGenT_TrainA_R1/data/images/CLEVR_trainA_000001_16885.png", "Clevr_CoGenT_TrainA_R1/data/images/CLEVR_trainA_000001_16886.png"],
  "conversations": [
    {"from": "human", "value": "<image><image>这两张图中共有多少个紫色金属球？"},
    {"from": "gpt", "value": "3"}
  ]
}

[!NOTE] jsonl 文件中的图片路径应相对于 --image_folders 中指定的图片文件夹。输入图片的绝对路径由 os.path.join(image_folder, data['image']) 构建。例如：

• 如果您的 jsonl 中有 "image": "folder1/image1.jpg"
• 而您指定了 --image_folders "/path/to/images/"
• 则完整的图片路径将是 /path/to/images/folder1/image1.jpg

可以通过 : 分隔符指定多个数据文件和图片文件夹：

--data_file_paths /path/to/data1.jsonl:/path/to/data2.jsonl \
--image_folders /path/to/images1/:/path/to/images2/

脚本可以这样运行：

# 可以参考 run_grpo_rec.sh 作为示例
torchrun --nproc_per_node="8" \
    --nnodes="1" \
    --node_rank="0" \
    --master_addr="127.0.0.1" \
    --master_port="12345" \
  src/open_r1/grpo_jsonl.py \
    --output_dir output/$RUN_NAME \
    --model_name_or_path Qwen/Qwen2.5-VL-3B-Instruct \
    --deepspeed ${REPO_HOME}/src/open-r1-multimodal/local_scripts/zero3.json \
    --data_file_paths /path/to/your/data.jsonl \ # 可以是多个，用":"分隔
    --image_folders /path/to/your/image/folder \ # 可以是多个，用":"分隔
    ...

bash run_scripts/run_grpo_gui.sh

📊 评估

1. 下载提供的 LISA-Grounding 图片。

cd ./src/eval

# 请记得在脚本中更改模型路径、图片根目录和标注路径
torchrun --nproc_per_node=X test_rec_r1.py # 对于 GRPO。'X' 是您拥有的 GPU 数量。
torchrun --nproc_per_node=X test_rec_baseline.py # 对于 SFT。

🔍 昇腾推理

我们已使用 vllm-ascend 框架将 VLM-R1 系列模型适配到华为昇腾 Atlas 800T A2 和 Atlas 300I Duo 系列。具体的适配和推理如下：

• Atlas 800T A2: 请参考 ascend_inference/910B/vllm_ascend/README.md
• Atlas 300I Duo: 请参考 ascend_inference/300IDuo/README.md

🤝 致谢

我们谨向以下开源项目及团队致以诚挚的感谢：DeepSeek、Open-R1、QwenVL、Open-R1-Multimodal、R1-V、RefCOCO、RefGTA、LLaMA-Factory、OVDEval、GUI-Testing-Arena以及LISA，感谢他们提供的开源资源，这些资源对本项目的开发起到了重要推动作用。

⭐️ 引用

如果您认为本项目对您有所帮助，欢迎引用我们的工作。

@article{shen2025vlm,
  title={Vlm-r1: 一种稳定且具有泛化能力的 R1 风格大型视觉语言模型},
  author={Shen, Haozhan and Liu, Peng and Li, Jingcheng and Fang, Chunxin and Ma, Yibo and Liao, Jiajia and Shen, Qiaoli and Zhang, Zilun and Zhao, Kangjia and Zhang, Qianqian and Xu, Ruochen and Zhao, Tiancheng },
  journal={arXiv preprint arXiv:2504.07615},
  year={2025}
}

VLM-R1 快速上手指南

VLM-R1 是一个稳定且具备强泛化能力的 R1 风格大型视觉 - 语言模型（Large Vision-Language Model）。该项目基于 Qwen2.5-VL 和 InternVL 等基座模型，通过 GRPO（强化学习）方法在指代性表达理解（REC）、开放词汇检测（OVD）及多模态数学推理等任务上取得了 SOTA 性能。

环境准备

系统要求

• 操作系统: Linux (推荐 Ubuntu 20.04+)
• Python 版本: 3.10
• GPU: 支持 CUDA 的 NVIDIA GPU 或 华为昇腾 (Ascend) 系列 (如 Atlas 800T A2, 300I Duo)
• 显存建议: 根据模型大小和 Batch Size 调整，建议使用多卡或多节点训练以获得最佳效果。

前置依赖

确保已安装 conda 和 git。

安装步骤

1. 创建并激活虚拟环境

   conda create -n vlm-r1 python=3.10
   conda activate vlm-r1
   

2. 克隆代码库并安装依赖

   git clone https://github.com/om-ai-lab/VLM-R1.git
   cd VLM-R1
   bash setup.sh
   

   提示: setup.sh 会自动安装项目所需的 Python 依赖包。如果下载速度较慢，可手动修改 pip 源为国内镜像（如清华源或阿里源）。

基本使用

以下以 指代性表达理解 (REC) 任务的 GRPO 训练为例，展示最简使用流程。

1. 数据准备

下载训练图像和标注文件：

• 图像: COCO Train2014
• 标注: RefCOCO/+/g 和 LISA-Grounding

解压后，假设图像根目录为 <your_image_root>，标注文件位于本地路径。

2. 配置训练脚本

编辑 run_scripts/run_grpo_rec.sh 文件，修改数据路径参数：

# 注意：请使用 jsonl 格式的文件，多个路径用冒号分隔
data_paths="path/to/refcoco_train.jsonl:path/to/refcocop_train.jsonl:path/to/refcocog_train.jsonl"
image_folders="path/to/coco:path/to/coco:path/to/coco"

3. 启动训练

运行脚本开始训练：

bash run_scripts/run_grpo_rec.sh

注意: 如果遇到 CUDA out of memory 错误，请在脚本中减小 per_device_train_batch_size 参数。

其他训练模式

项目还支持多种高级训练配置，只需替换对应的脚本即可：

• LoRA 微调: bash run_scripts/run_grpo_rec_lora.sh
• 多图像输入训练: bash run_scripts/run_grpo_gui.sh
• 多节点分布式训练: bash run_scripts/multinode_training_demo.sh
• InternVL 模型支持: bash run_scripts/run_grpo_rec_internvl.sh

推理与演示

训练完成后，可加载 Hugging Face 上的预训练权重进行推理，或直接体验在线 Demo：

• REC Demo: Hugging Face Spaces
• OVD Demo: Hugging Face Spaces
• 模型权重: Hugging Face Collections 或 ModelScope