Visual-RFT：视觉强化微调

刘子宇* · 孙泽义* · 臧宇航 · 董晓毅 · 曹宇航 · 段浩东 · 林大华 · 王佳琪

已被ICCV 2025接收！

📖论文 | 🤗数据集 | 🤗每日论文

🌈我们提出了视觉强化微调（Visual-RFT）,这是首次将Deepseek-R1的强化学习策略全面应用于多模态领域。我们以Qwen2-VL-2/7B模型为基础，设计了一种基于规则的可验证奖励，并将其整合到基于GRPO的强化微调框架中，从而提升LVLMs在各类视觉感知任务中的性能。ViRFT将R1的推理能力扩展到了多种视觉感知任务，包括各种检测任务，如开放词汇检测、少样本检测、推理性定位以及细粒度图像分类。

🔥🔥🔥 Visual-RFT：视觉强化微调

我们提出了视觉强化微调（Visual-RFT），这是首次将Deepseek-R1的强化学习策略全面应用于多模态领域。我们以Qwen2-VL-2/7B模型为基础，设计了一种基于规则的可验证奖励，并将其整合到基于GRPO的强化微调框架中，以提升LVLMs在各类视觉感知任务中的性能。

📖论文 | 🤗数据集 | 🤗每日论文

🔥🔥🔥 Visual-ARFT：视觉代理式强化微调

我们的新工作*视觉代理式强化微调（Visual-ARFT）*旨在为大型视觉-语言模型（LVLMs）赋予灵活且自适应的代理能力。借助Visual-ARFT，开源的LVLMs具备了浏览网页以获取实时信息更新的能力，并能够编写代码对输入图像进行裁剪、旋转等图像处理操作。我们还提出了一套多模态代理工具基准测试（MAT），包含两种设置（MAT-Search和MAT-Coding），用于评估LVLMs的代理搜索与编码能力。

📖论文 | 🤗数据集 | 🤗模型

📢 新闻

• 🚀 [2025年6月26日] 我们的论文Visual-RFT已被ICCV 2025接收！
• 🚀 [2025年5月21日] 我们支持HuggingFace Dataset格式和JSON文件格式作为训练数据集。
• 🚀 [2025年5月21日] 我们更新了Visual-RFT的训练器，使其同时支持Qwen2-VL和Qwen2.5-VL。并且通过grpo_trainer_mp.py支持多图像输入。
• 🚀 [2025年5月20日] 我们发布了Visual-ARFT仓库：仓库链接：一个专门用于增强LVLMs多模态代理能力的RFT框架。（支持Qwen2-VL和Qwen2.5-VL）
• 🚀 [2025年3月12日] 我们发布了Visual-RFT的代码，以便您使用自己的数据构建数据集。
• 🚀 [2025年3月4日] 我们发布了Visual-RFT的论文。
• 🚀 [2025年3月4日] 我们将Visual-RFT的训练数据集上传至Huggingface。
• 🚀 [2025年3月4日] 我们发布了Visual-RFT仓库及其训练代码。

💡 亮点

• 🔥 视觉强化微调（Visual-RFT）：我们提出了视觉强化微调（Visual-RFT），它将强化学习与针对视觉感知任务的可验证奖励相结合，在少量数据下即可实现高效的微调。
• 🔥 可验证奖励：我们为不同的视觉任务设计了多种可验证奖励，能够在几乎不增加成本的情况下高效、高质量地计算奖励。这使得DeepSeek R1风格的强化学习策略能够无缝迁移到多模态领域。
• 🔥 广泛的实验：我们在多种视觉感知任务上进行了广泛的实验，包括细粒度图像分类、开放词汇目标检测、少样本目标检测以及推理性定位等。
• 🔥 开源：我们将训练代码、训练数据和评估脚本全部开源至Github，以促进进一步的研究。

框架

以下是Visual-RFT框架的示意图。策略模型根据输入生成一组响应，每条响应都会经过可验证奖励函数来计算奖励。对所有输出的奖励进行批量计算后，会评估每条响应的质量，并据此更新策略模型。为了确保策略模型训练的稳定性，Visual-RFT使用KL散度来限制策略模型与参考模型之间的差异。有关更多实施细节，包括数据生成、可验证奖励的设计以及其他方面，请参阅我们的论文。

🛠️ 部署

git clone https://github.com/Liuziyu77/Visual-RFT.git
conda create -n Visual-RFT python=3.10
conda activate Visual-RFT
bash setup.sh

推理

我们已上传在 LISA 数据集的 200 多个样本上训练的模型（🤗Huggingface）。您可以使用它来评估 推理性定位 的推理性能。更多详情请参阅 demo。

训练

数据集

要针对我们的各种视觉感知任务进行训练，首先请访问 Huggingface 数据集下载所需数据集。我们已为不同任务上传了不同的数据集。

数据集	任务	设置	描述
laolao77/ViRFT_COCO	检测	-	包含 COCO 的所有类别，共计 6k 条目。
laolao77/ViRFT_COCO_base65	检测	开放词汇	包含 COCO 的 65 个基础类别，共计 6k 条目。
laolao77/ViRFT_COCO_8_cate_4_shot	检测	少样本	包含 COCO 中选定的 8 个类别。
laolao77/ViRFT_LVIS_few_shot	检测	少样本	包含 COCO 中选定的 6 个类别。
laolao77/ViRFT_CLS_flower_4_shot	分类	少样本	包含 Flower102 数据集中的 102 个类别，每类 4 张图像。
laolao77/ViRFT_CLS_fgvc_aircraft_4_shot	分类	少样本	包含 FGVC-Aircraft 数据集中的 100 个类别，每类 4 张图像。
laolao77/ViRFT_CLS_car196_4shot	分类	少样本	包含斯坦福汽车数据集中的 196 个类别，每类 4 张图像。
laolao77/ViRFT_CLS_pets37_4shot	分类	少样本	包含 Pets37 数据集中的 37 个类别，每类 4 张图像。
LISA 数据集	定位	-	推理性定位

🔔 如果您想基于自己的数据构建数据集，可以参考 dataset/build_dataset.ipynb。只需提供一个包含 image、promble 和 solution 的 json 文件即可。

数据集格式 🔦 我们支持 HuggingFace Dataset 格式和 JSON 文件格式作为训练输入数据集。

有关 HuggingFace Dataset 格式的示例，请参阅 grpo.py。

有关 JSON 格式的示例，请参阅 grpo.py。

GRPO

下载数据集后，您可以使用以下示例 Bash 脚本来开始训练。我们的 Bash 脚本位于 /src/scripts 目录下。

🔔 不需要长时间训练。对于只有几百个样本的数据集，200 步就足够了。

# 不需要长时间训练。对于只有几百个样本的数据集，200 步就足够了。
export DEBUG_MODE="true"
export LOG_PATH="./debug_log_2b_GRPO_coco_base65cate_6k.txt"

export DATA_PATH=./share_data/ViRFT_COCO_base65   ### 您从 Huggingface 下载的本地数据集
export CKPT_PATH=./share_models/Qwen2-VL-2B-Instruct    ### Qwen2-VL-2B 检查点路径
export SAVE_PATH=./share_models/Qwen2-VL-2B-Instruct_GRPO_coco_base65cate_6k    ### 保存路径

torchrun --nproc_per_node="8" \
    --nnodes="1" \
    --node_rank="0" \
    --master_addr="127.0.0.1" \
    --master_port="12345" \
    src/open_r1/grpo.py \
    --output_dir ${SAVE_PATH}  \
    --model_name_or_path ${CKPT_PATH} \
    --dataset_name ${DATA_PATH} \
    --deepspeed local_scripts/zero3.json \
    --max_prompt_length 1024 \
    --per_device_train_batch_size 1 \
    --gradient_accumulation_steps 2 \
    --logging_steps 1 \
    --bf16 \
    --report_to wandb \
    --gradient_checkpointing false \
    --attn_implementation flash_attention_2 \
    --max_pixels 401408 \
    --num_train_epochs 1 \
    --run_name Qwen2-VL-2B_GRPO_coco_base65cate_6k \
    --save_steps 100 \
    --save_only_model true \
    --num_generations 8 '

OOM 技巧

⏰ 在训练过程中遇到 OOM（内存不足）问题非常常见，尤其是在使用显存有限的 GPU 时。

🔦 不过不用担心——这里有一些有用的 OOM 技巧：

1. 关于分布式训练： 您可以通过指定 --deepspeed 参数来缓解内存压力，例如 --deepspeed /src/visual_arft/local_scripts/zero3.json。如果内存仍然不足，还可以进一步减轻负载：--deepspeed /src/visual_arft/local_scripts/zero3_offload.json。

2. 关于 GRPO 中每组的生成数量： 您可以通过降低 --num_generation 参数来减少 GPU 内存占用。在示例脚本中，默认值是 --num_generation 8，但您可以尝试将其设置为 4 以节省内存。不过请注意，较小的 --num_generation 可能会导致性能下降。

3. 关于梯度检查点： 此外，将 --gradient_checkpointing 设置为 true 可以节省内存，从而允许更高的 --num_generations 上限，进而提升训练效果。然而，这会减慢训练速度。

4. 关于图像分辨率： 如果您仍然遇到 OOM 问题，也可以降低训练数据集中图像的分辨率！

SFT

我们使用 LLaMa-Factory 对模型进行监督微调（SFT）。您可以将下载的数据集转换为相应的 Qwen SFT 格式来进行训练。

评估

我们在多种视觉感知任务上进行了大量实验，包括 细粒度图像分类、开放词汇目标检测、少样本目标检测 和 推理性定位。ViRFT 在这些任务中仅用少量数据和计算资源就实现了显著的性能提升，远超监督微调基线。

我们提供了使用评估代码的分步教程。如果您遇到任何问题，请随时提交问题。

COCO 评估

您可以使用 coco_evaluation 目录中的文件进行模型推理并获得评估结果。我们的代码支持多 GPU 评估，至少需要两块 GPU。

对于 推理：

cd ./coco_evaluation
python Qwen2_VL_coco_infere.py

请注意，Qwen2_VL_coco_infere.py 中的一些文件路径和模型路径需要修改。

### 第 167–168 行，需根据您的模型路径和模型基础进行更改。
model_path = "./share_models/Qwen2-VL-2B-Instruct_RL/"  # RL 模型
model_base = "./share_models/Qwen2-VL-2B-Instruct/"  # 原始 Qwen2-VL 模型
### 第 182 行，需根据您的 COCO 验证集标注路径进行更改。
with open('./data/coco/annotations/instances_val2017.json', 'r') as json_file:

### 第224行，根据你自己的图像路径进行修改。
image_path = './data/coco/val2017/'+image['file_name']    
### 第231-241行，选择你想要评估的类别
selected_cate = ['公交车', '火车', '消防栓', '停车标志', '猫', '狗', '床', '马桶']
### 第350行，结果保存路径
with open(f'prediction_results.json', 'w') as json_file:

推理结果将以JSON格式保存，随后用于评估。

对于评估，只需逐步运行./coco_evaluation/evaluation.ipynb即可。

LVIS评估

你可以使用lvis_evaluation目录中的文件进行模型推理，并获得评估结果。我们的代码支持多GPU评估，至少需要两块GPU。

对于推理：

cd ./lvis_evaluation
python Qwen2_VL_lvis_infere.py

请注意，Qwen2_VL_lvis_infere.py中的一些文件路径和模型路径需要修改。

### 第169-170行，修改为你的模型路径和模型基础
model_path = "./share_models/Qwen2-VL-2B-Instruct_RL/"  # RL模型
model_base = "./share_models/Qwen2-VL-2B-Instruct/"  # 原始Qwen2-VL模型
### 第184行，修改为你自己的LVIS验证标注路径
with open('./data/lvis/annotations/lvis_v1_val.json', 'r') as json_file:
### 第228行，根据你自己的图像路径进行修改。
image_path = './data/lvis/' + "/".join(parts[-2:])   
### 第234-242行，选择你想要评估的类别
selected_cate = ['马车', '骰子', '餐桌', '煎蛋卷', '木瓜', '梯凳']
### 第346行，结果保存路径
with open(f'prediction_results.json', 'w') as json_file:

推理结果将以JSON格式保存，随后用于评估。

对于评估，只需逐步运行./lvis_evaluation/lvis_evaluation.ipynb即可。

分类评估

你可以使用classification目录中的文件进行模型推理，并获得评估结果。我们的代码支持多GPU评估，至少需要两块GPU。

cd ./classification
python Qwen2_VL_classification_infere.py

请注意，Qwen2_VL_classification_infere.py中的模型路径需要修改。

### 第61-63行，修改为你的模型路径和模型基础
model_path = "./share_models/Qwen2-VL-2B-Instruct_RL/"  # 经过RL训练后的模型
model_base = "./share_models/Qwen2-VL-2B-Instruct/"  # 原始Qwen2-VL模型

推理和结果计算是同时进行的。程序运行结束后，命令行会显示分类正确的数量，准确率则通过将其除以验证集长度得到。（Flower102：2463，Pets37：3669，stanford cars：8041，fgvc-aircraft：3333）

🔔 有时，由于环境问题，当use_cache = None时，模型可能会产生错误的推理结果。你可以考虑显式地设置use_cache = True。 generated_ids = model.generate(**inputs, max_new_tokens=1024, use_cache=True)

评估结果

我们进行了*大量实验；更多细节请参阅我们的论文*。

案例研究

在下图中，我们展示了来自ViRFT的一些推理示例。我们可以看到，通过ViRFT，思维过程显著提升了推理和定位能力。借助ViRFT，Qwen2-VL学会了批判性思考，并仔细检查图像以生成准确的定位结果。 我们还展示了一些模型在处理细粒度分类任务时的推理案例。这些结果表明了ViRFT在各种视觉任务中强大的泛化能力。

✒️引用

@article{liu2025visual,
  title={Visual-RFT: 视觉强化微调},
  author={刘子宇、孙泽毅、臧宇航、董晓怡、曹宇航、段浩东、林大华、王佳琪},
  journal={arXiv预印本 arXiv:2503.01785},
  year={2025}
}
@misc{liu2025visualagenticreinforcementfinetuning,
      title={视觉代理式强化微调}, 
      author={刘子宇、臧宇航、邹雨珊、梁子健、董晓怡、曹宇航、段浩东、林大华、王佳琪},
      year={2025},
      eprint={2505.14246},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2505.14246}, 
}

📄许可

使用与许可声明：数据和代码仅用于研究目的，并受相应许可约束。 许可：署名-非商业性使用4.0国际版。应遵守OpenAI的政策：https://openai.com/policies/terms-of-use

致谢

我们衷心感谢<ahref="https://github.com/Deep-Agent/R1-V">R1-V、<ahref="https://github.com/huggingface/open-r1">Open-R1以及<ahref="https://github.com/EvolvingLMMs-Lab/open-r1-multimodal">Open-r1-multimodal项目提供的开源资源。

Visual-RFT 快速上手指南

Visual-RFT (Visual Reinforcement Fine-Tuning) 是首个将 DeepSeek-R1 的强化学习策略全面适配到多模态领域的开源项目。它基于 Qwen2-VL 模型，通过设计基于规则的**可验证奖励（Verifiable Reward）**并结合 GRPO 算法，显著提升了大型视觉语言模型（LVLM）在开放词汇检测、少样本检测、推理定位及细粒度图像分类等任务上的表现。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+)
• Python 版本: 3.10
• GPU: 支持 CUDA 的 NVIDIA 显卡（建议使用显存 24GB+ 的显卡进行训练，如 A10/A100/RTX 3090/4090）
• 依赖框架: PyTorch, Transformers, DeepSpeed, FlashAttention-2

💡 国内加速建议 鉴于网络环境，建议在安装依赖和下载模型时使用国内镜像源：

• PyPI 镜像: pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package>
• HuggingFace 镜像: 设置环境变量 export HF_ENDPOINT=https://hf-mirror.com

2. 安装步骤

克隆仓库并配置 Conda 环境：

# 1. 克隆项目代码
git clone https://github.com/Liuziyu77/Visual-RFT.git
cd Visual-RFT

# 2. 创建并激活 Python 3.10 虚拟环境
conda create -n Visual-RFT python=3.10
conda activate Visual-RFT

# 3. 运行安装脚本（自动安装所需依赖）
bash setup.sh

3. 基本使用

3.1 数据准备

您可以直接使用官方提供的 HuggingFace 数据集，或使用自定义的 JSON 格式数据。

• 官方数据集: 访问 HuggingFace Collections 下载对应任务的数据集（如 laolao77/ViRFT_COCO_base65）。
• 自定义数据: 准备一个包含 image, problem, solution 字段的 JSON 文件。参考 dataset/build_dataset.ipynb 进行构建。

3.2 开始训练 (GRPO)

Visual-RFT 强调高效微调，对于几百条样本的数据集，通常只需训练 200 步即可见效。

以下是一个基于 COCO 基础类别的检测任务训练示例。请根据您的实际路径修改 DATA_PATH (数据集路径) 和 CKPT_PATH (基座模型路径)。

# 设置环境变量
export DEBUG_MODE="true"
export LOG_PATH="./debug_log_2b_GRPO_coco_base65cate_6k.txt"

# ⚠️ 请替换为您的本地数据集路径 (从 HuggingFace 下载后)
export DATA_PATH=./share_data/ViRFT_COCO_base65   

# ⚠️ 请替换为您的 Qwen2-VL-2B-Instruct 模型检查点路径
export CKPT_PATH=./share_models/Qwen2-VL-2B-Instruct    

# 设置模型保存路径
export SAVE_PATH=./share_models/Qwen2-VL-2B-Instruct_GRPO_coco_base65cate_6k

# 启动训练 (示例使用 8 张卡)
torchrun --nproc_per_node="8" \
    --nnodes="1" \
    --node_rank="0" \
    --master_addr="127.0.0.1" \
    --master_port="12345" \
    src/open_r1/grpo.py \
    --output_dir ${SAVE_PATH}  \
    --model_name_or_path ${CKPT_PATH} \
    --dataset_name ${DATA_PATH} \
    --deepspeed local_scripts/zero3.json \
    --max_prompt_length 1024 \
    --per_device_train_batch_size 1 \
    --gradient_accumulation_steps 2 \
    --logging_steps 1 \
    --bf16 \
    --report_to wandb \
    --gradient_checkpointing false \
    --attn_implementation flash_attention_2 \
    --max_pixels 401408 \
    --num_train_epochs 1 \
    --run_name Qwen2-VL-2B_GRPO_coco_base65cate_6k \
    --save_steps 100 \
    --save_only_model true \
    --num_generations 8

3.3 显存优化 (OOM 解决方案)

如果在训练过程中遇到显存不足 (OOM) 问题，可尝试以下调整：

1. 启用 DeepSpeed Offload: 将 --deepspeed 参数改为 local_scripts/zero3_offload.json，将部分状态卸载到 CPU。
2. 减少生成数量: 降低 --num_generations 参数（例如从 8 改为 4），这会减少每组采样的数量从而节省显存，但可能轻微影响效果。
3. 开启梯度检查点: 添加或设置 --gradient_checkpointing true。

3.4 推理测试

项目已提供在 LISA 数据集上训练的模型，可用于评估推理定位 (Reasoning Grounding) 能力。

• 模型地址: Zery/Qwen2-VL-7B_visual_rft_lisa_IoU_reward
• 使用方法: 请参考项目根目录下的 demo 文件夹获取具体的推理代码示例。