📰 新闻

• [2025-12-23] 🔥 在 HF Space 上已开放在线演示。
• [2025-12-23] 🔥 我们已在 HuggingFace 上发布了 代码、模型 和 数据集。
• [2025-12-22] ✅ 我们的论文现已在 arXiv 上发布。
• [2025-11-08] 🚀 我们的论文已被 AAAI 2026 口头报告 接受。

---

🔭 研究动机

• 🚩 可解释性有限：缺乏明确的机制来诊断退化对原始语义信息的影响。
• 🚩 孤立优化：忽视了视觉编码器与大型语言模型之间退化传播的关系。

---

🛠️ 安装

• 克隆仓库：

  git clone https://github.com/jqtangust/Robust-R1.git
  cd Robust-R1
  

• 创建环境：

  conda create -n robust_r1 python=3.10
  conda activate robust_r1
  bash setup.sh
  

---

🏰 预训练与微调模型

• 下列检查点被用于运行 Robust-R1：

  检查点	链接	备注
  Qwen2.5-VL-Base	链接	用作训练的初始权重。
  Robust-R1-SFT	链接	基于 Robust-R1 数据集 进行微调。
  Robust-R1-RL	链接	基于 Robust-R1 数据集 使用强化学习进行微调。

---

⏳ 演示

🖥️ CLI 演示

• 使用命令行演示并提出问题：

  # 如果使用本地权重
  export MODEL_PATH="your_model_name_or_path"
  
  python demo.py "这些人乘坐的是什么类型的车辆？\n0. 卡车\n1. 马车\n2. 吉普车\n3. 汽车\n"
  

🌐 GUI 演示

• 设置模型路径作为环境变量并运行演示：

  # 如果使用本地权重
  export MODEL_PATH="your_model_name_or_path"
  
  python app.py
  

• 默认情况下，演示将在 http://localhost:7860 上可用。

• GUI 在线演示。

  

---

🧠 训练

🎓 监督微调

我们使用 LLaMA-Factory 对基础模型进行监督微调。

1. 克隆仓库并安装所需依赖：

   git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
   cd LLaMA-Factory
   pip install -e ".[torch,metrics]"
   

2. 下载基础模型 Qwen2.5-VL-3B-Instruct。

3. 准备训练数据和配置文件：

   • 下载 Robust 图像 并解压。
   • 修改 LLaMA-Factory/data 目录下的配置文件。

4. 使用本地路径（模型路径、数据路径、输出目录等）配置训练 YAML 文件。

5. 运行训练命令以训练 SFT 模型：

   llamafactory-cli train examples/train_full/qwen2_5_vl_full_sft.yaml
   

🎓 强化学习

1. 下载 Robust 图像 并将其解压到 Robust-R1/dataset 中。

2. 准备训练数据文件 (train.jsonl) 并整理图像文件夹。

3. 从 Robust-R1-SFT 下载 SFT 模型检查点，或使用您自己训练的 SFT 模型。

4. 将以下部分替换为您的本地路径，修改 run_scripts/run_grpo_robust.sh 文件中的内容：

   data_paths="Robust-R1/data/train.jsonl" 
   image_folders="Robust-R1/data/train_images"
   model_path="your_model_name_or_path"
   

5. 运行脚本：

   bash run_scripts/run_grpo_robust.sh
   

---

📊 评估

我们使用 VLMEvalKit 进行抗退化评估。

1. 克隆 VLMEvalKit 仓库并安装依赖：

   git clone https://github.com/open-compass/VLMEvalKit.git
   cd VLMEvalKit
   pip install -e .
   

2. 根据 VLMEvalKit 的要求准备评估数据集。

3. 图像退化流水线：生成损坏图像以评估模型的鲁棒性。

   我们提供了一个图像退化流水线，用于生成损坏图像以评估模型的鲁棒性。

   导航到退化流水线目录并处理图像：

   cd add_degradation
   python generate_pipeline_open_source.py --input_dir <input_dir> --output_base_dir <output_base_dir> --dataset_name <dataset_name> --verbose
   

   脚本将为每张图像生成三个不同退化强度的输出目录。

4. 在 VLMEvalKit 配置文件中设置模型路径和评估参数。

5. 运行评估命令：

   python run.py --model <your_model_name_or_path> --data <dataset_name>
   

🔬 R-Bench 评估

对于 R-Bench 评估，我们使用 R-Bench 来评估模型在真实世界噪声下的性能。

1. 克隆 R-Bench 仓库：

   git clone https://github.com/Q-Future/R-Bench.git
   

2. 使用 VLMEvalKit 和 R-Bench 数据集进行评估：

   cd VLMEvalKit
   python run.py --data R-Bench-Dis --model <your_model_name_or_path> --verbose
   

3. 若要对完整数据集进行评估，请按照 R-Bench 仓库 中的说明执行 R-Bench 流程。

---

⭐️ 引用

如果您发现 Robust-R1 对您的研究和应用有所帮助，请使用以下 BibTeX 格式引用：

@inproceedings{tang2025robustr1,
  title={Robust-R1: 面向鲁棒视觉理解的退化感知推理},
  author={Tang, Jiaqi and Chen, Jianmin and Wei, Wei and Xu, Xiaogang and Liu, Runtao and Wu, Xiangyu and Xie, Qipeng and Wu, Jiafei and Zhang, Lei and Chen, Qifeng},
  booktitle={AAAI 人工智能会议论文集},
  year={2026}
}

🤝 致谢

本文所述工作得到了中国香港特别行政区政府研究资助局的资助（项目编号：AoE/E-601/24-N）。

同时，我们也感谢 VLM-R1、LLaMA-Factory 和 R-Bench 的作者们所作出的贡献。

Robust-R1 快速上手指南

Robust-R1 是一个面向鲁棒视觉理解的 AI 模型，具备“退化感知推理”能力，能有效处理图像受损（如模糊、噪声、遮挡等）场景下的视觉问答任务。该模型基于 Qwen2.5-VL 架构，支持监督微调（SFT）与强化学习（RL）两种训练模式，并已开源代码、模型与数据集。

---

环境准备

• 操作系统：Linux（推荐 Ubuntu 20.04+）
• Python 版本：3.10
• GPU 要求：建议 NVIDIA GPU（显存 ≥ 16GB），支持 CUDA 11.8+
• 前置依赖：
  • Conda（推荐使用 Miniconda）
  • Git
  • Hugging Face CLI（可选，用于模型下载）

💡 国内用户可使用清华或中科大镜像加速 Conda 和 pip 安装：

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

---

安装步骤

1. 克隆仓库

   git clone https://github.com/jqtangust/Robust-R1.git
   cd Robust-R1
   

2. 创建并激活虚拟环境

   conda create -n robust_r1 python=3.10
   conda activate robust_r1
   

3. 运行安装脚本

   bash setup.sh
   

⚠️ setup.sh 会自动安装 PyTorch、Transformers、LLaMA-Factory 等核心依赖。如遇网络问题，可手动编辑脚本替换为国内镜像源。

---

基本使用

方式一：命令行快速测试（CLI）

下载预训练模型（以 RL 版本为例）：

huggingface-cli download Jiaqi-hkust/Robust-R1-RL --local-dir ./models/Robust-R1-RL

设置模型路径并运行示例：

export MODEL_PATH="./models/Robust-R1-RL"

python demo.py "What type of vehicles are the people riding?\n0. trucks\n1. wagons\n2. jeeps\n3. cars\n"

📌 请确保当前目录下存在测试图像（默认路径见 demo.py 内部逻辑），或根据实际需求修改输入图像路径。

方式二：图形界面演示（GUI）

启动本地 Web 服务：

export MODEL_PATH="./models/Robust-R1-RL"
python app.py

访问地址：http://localhost:7860

也可直接体验在线 Demo：
👉 Hugging Face Space

---

✅ 完成以上步骤后，你即可使用 Robust-R1 对退化图像进行鲁棒视觉推理。如需训练或评估，请参考官方 README 中的 Training 与 Evaluation 章节。