VLN-R1：基于强化学习微调的视觉-语言导航

[ICLR 2026] GPT4Scene：利用视觉-语言模型从视频中理解三维场景

🔥 新闻

[2026/01/26] GPT4Scene 被 ICLR 2026 接收！

[2025/07/06] 我们发布了 训练数据、分词器 和 数据生成代码 用于 VLN-R1。

[2025/06/20] 我们在 arxiv 上发布了 VLN-R1 论文。

[2025/03/10] 我们发布了 训练与验证数据集 和训练代码。

[2025/01/21] 我们发布了 代码、验证数据集和 模型权重。

[2025/01/01] 我们在 arxiv 上发布了 GPT4Scene 论文。（2025 年的第一篇论文！🎉🎉🎉）

🌟 注意

目前此代码主要针对 GPT4Scene。未来我们会将 VLN-R1 的 SFT 部分与 GPT4Scene 合并。以下是 VLN-R1 的开源状态：

任务	状态
VLN-R1 训练数据	✅ 已完成
VLN-R1 数据集制作流程	✅ 已完成
VLN-R1 SFT 训练部分	🔄 进行中
VLN-R1 测试部分（包括引擎）	🔄 进行中
VLN-R1 RFT 部分	🔄 进行中

🔧 安装

[!IMPORTANT] 安装是必须的。

conda create --name gpt4scene python=3.10
conda activate gpt4scene

git clone https://github.com/Qi-Zhangyang/GPT4Scene.git
cd GPT4Scene

pip install -e ".[torch,metrics]"

有时，以这种方式下载的 PyTorch 可能会出现错误。在这种情况下，您需要手动安装 PyTorch。

conda install pytorch==2.5.0 torchvision==0.20.0 torchaudio==2.5.0 pytorch-cuda=12.1 -c pytorch -c nvidia

pip install qwen_vl_utils flash-attn

🎡 模型与权重

功能	模型名称	模板
预训练模型	Qwen2-VL-7B-Instruct	Huggingface 链接
微调权重	GPT4Scene-qwen2vl_full_sft_mark_32_3D_img512	Huggingface 链接

pip install --upgrade huggingface_hub
huggingface-cli login

🗂️ 数据集 (ScanAlign)

功能	Huggingface 数据集链接	本地目录
训练和验证数据集及训练标注	alexzyqi/GPT4Scene-All	./data/

您可以通过以下命令下载所有训练好的模型权重、数据集和标注：

python download.py

文件夹结构如下所示。

GPT4Scene
├── ckpts
│   ├── Qwen2-VL-7B-Instruct
├── data
│   ├── annotation
│   │   ├── images_2D
│   │   ├── images_3D
│   │   ├── sharegpt_data_chat_scene_32_images_3D_mark.json
├── evaluate
│   ├── annotation
│   │   ├── multi3dref_mask3d_val.json
│   │   ├── ...
│   │   └── sqa3d_val.json
│   ├── ...
│   └── utils
├── model_outputs
│   └── GPT4Scene-qwen2vl_full_sft_mark_32_3D_img512
├── ...
└── README.md

🚀 推理

进行推理时，您可以运行以下脚本：

bash evaluate/infer.sh

该脚本会自动检测当前环境中的 GPU 数量并执行分块测试。此外，您也可以使用 Slurm 系统 提交您的评估任务。

srun -p XXX --gres=gpu:4 --time=4-00:00:00 sh evaluate/infer.sh

🏗️ 训练

您可以先获取分词器——这仅需要 CPU 资源。

bash gpt4scene_tokenizer_scripts/qwen2vl_7b_full_sft_mark_32_3D_img512.sh

然后您可以通过 8 张 GPU 来运行训练。

bash gpt4scene_bash_scripts/qwen2vl_7b_full_sft_mark_32_3D_img512.sh

此外，您也可以运行 torchrun 命令。

请注意，首次运行需要先生成分词器。建议在初始阶段关闭 GPU，并在分词器生成完成后继续进行训练。

⚖️ 许可证

本仓库采用 Apache-2.0 许可证 开放。

本项目受益于 LLaMA-Factory 和 Chat-Scene 的优秀工作。感谢他们的贡献。

🔗 引用

如果您觉得本工作有所帮助，请引用如下：

@article{GPT4Scene,
  title={GPT4Scene: 使用视觉-语言模型从视频中理解 3D 场景},
  author={Zhangyang Qi 和 Zhixiong Zhang 和 Ye Fang 和 Jiaqi Wang 和 Hengshuang Zhao},
  journal={arXiv:2501.01428},
  year={2025}
}

@article{VLNR1,
  title={VLN-R1：通过强化学习微调实现视觉-语言导航},
  author={Zhangyang Qi 和 Zhixiong Zhang 和 Yizhou Yu 和 Jiaqi Wang 和 Hengshuang Zhao},
  journal={arXiv:2506.17221},
  year={2025}
}

GPT4Scene & VLN-R1 快速上手指南

本指南涵盖 GPT4Scene（基于视频理解 3D 场景）和 VLN-R1（视觉语言导航强化微调）两个项目的核心使用流程。目前代码库主要聚焦于 GPT4Scene，VLN-R1 的部分训练模块正在逐步合并中。

1. 环境准备

系统要求

• 操作系统: Linux (推荐 Ubuntu 20.04+)
• Python: 3.10
• GPU: 支持 CUDA 的 NVIDIA 显卡（训练建议多卡，推理单卡即可）
• CUDA: 12.1 (推荐)

前置依赖

确保已安装 conda 和 git。

2. 安装步骤

2.1 创建虚拟环境

conda create --name gpt4scene python=3.10
conda activate gpt4scene

2.2 克隆代码库

git clone https://github.com/Qi-Zhangyang/GPT4Scene.git
cd GPT4Scene

2.3 安装依赖

首先尝试通过 setup.py 安装基础依赖：

pip install -e ".[torch,metrics]"

注意：如果上述方式安装的 PyTorch 报错或不兼容，请手动指定版本安装（推荐）：

# 手动安装 PyTorch (CUDA 12.1)
conda install pytorch==2.5.0 torchvision==0.20.0 torchaudio==2.5.0 pytorch-cuda=12.1 -c pytorch -c nvidia

# 安装其他关键组件
pip install qwen_vl_utils flash-attn

2.4 登录 Hugging Face

用于下载模型权重和数据集：

pip install --upgrade huggingface_hub
huggingface-cli login

请按提示输入您的 Hugging Face Token。

2.5 下载数据与模型

运行脚本自动下载训练/验证数据集、标注文件及预训练权重：

python download.py

下载完成后，目录结构应包含 ckpts/ (模型)、data/ (数据) 等文件夹。

3. 基本使用

3.1 模型推理 (Inference)

项目支持自动检测 GPU 数量进行分块测试，也支持 Slurm 集群提交。

单机直接运行：

bash evaluate/infer.sh

Slurm 集群提交示例：

srun -p XXX --gres=gpu:4 --time=4-00:00:00 sh evaluate/infer.sh

请将 -p XXX 替换为您集群的实际分区名称。

3.2 模型训练 (Training)

训练分为两个阶段：先生成 Tokenizer，再进行全量微调。

第一步：生成 Tokenizer (仅需 CPU)

bash gpt4scene_tokenizer_scripts/qwen2vl_7b_full_sft_mark_32_3D_img512.sh

建议在此阶段关闭 GPU 占用，待脚本执行完毕后再进行下一步。

第二步：开始训练 (推荐 8 张 GPU)

bash gpt4scene_bash_scripts/qwen2vl_7b_full_sft_mark_32_3D_img512.sh

或者使用 torchrun 自定义启动参数进行训练。

---

注：VLN-R1 的训练数据、分词器及数据生成代码已开源，但 SFT 训练、测试引擎及 RFT（强化微调）部分仍在持续更新中，请关注项目后续动态。