V*: 多模态大语言模型中的核心机制——引导式视觉搜索

论文 | 项目页面 | 在线演示

目录：

1. 入门指南
2. 演示
3. 基准测试
4. 评估
5. 训练
6. 许可证
7. 引用
8. 致谢

入门指南

安装

conda create -n vstar python=3.10 -y
conda activate vstar
pip install -r requirements.txt
pip install flash-attn --no-build-isolation
export PYTHONPATH=$PYTHONPATH:path_to_vstar_repo

预训练模型

VQA大语言模型可从这里下载。
视觉搜索模型可从这里下载。

训练数据集

VQA大语言模型的对齐阶段使用了LLaVA所用的LAION-CC-SBU数据集中的55.8万条子集，该子集可从这里下载。

指令微调阶段需要若干指令微调子集，这些子集可在这里找到。

指令微调数据需要来自COCO-2014、COCO-2017和GQA的图像。下载后，请按照以下结构组织数据：

├── coco2014
│   └── train2014
├── coco2017
│   └── train2017
└── gqa
     └── images

演示

安装完成后，运行python app.py即可启动本地Gradio演示。请注意，如果您之前未下载过预训练模型权重，系统将自动进行下载。

您应该会看到如下网页：

基准测试

我们的V*Bench基准测试可从这里获取。
基准测试包含多个子任务的文件夹。每个文件夹内都有一系列图像文件和标注JSON文件。图像与标注文件按文件名一一对应。标注文件的格式如下：

{
  "target_object": [] // 目标物体名称列表
  ,
  "bbox": [] // 目标物体的坐标列表，格式为<x,y,w,h>
  ,
  "question": "",
  "options": [] // 选项列表，默认第一个为正确选项
}

评估

要对我们的模型在V*Bench基准测试上进行评估，运行：

python vstar_bench_eval.py --benchmark-folder PATH_TO_BENCHMARK_FOLDER

要对我们的视觉搜索机制在V*Bench基准测试的标注目标上进行评估，运行：

python visual_search.py --benchmark-folder PATH_TO_BENCHMARK_FOLDER

我们模型的详细评估结果可从这里查看。

训练

VQA大语言模型的训练包括两个阶段。

预训练阶段，进入LLaVA文件夹并运行：

sh pretrain.sh

指令微调阶段，进入LLaVA文件夹并运行：

sh finetune.sh

关于我们视觉搜索模型的数据准备与训练流程，请参阅此文档。

许可证

本项目采用MIT许可证。详情请参见LICENSE。

引用

如果您认为本项目对您的研究有所帮助，请考虑引用我们的论文：

@article{vstar,
  title={V*: Guided Visual Search as a Core Mechanism in Multimodal LLMs},
  author={Penghao Wu and Saining Xie},
  journal={arXiv preprint arXiv:2312.14135},
  year={2023}
}

致谢

• 本工作基于LLaVA和LISA构建而成。

V* 快速上手指南

环境准备

• 系统要求：推荐使用 Linux 或 macOS 系统，Python 3.10
• 前置依赖：
  • Python 3.10
  • Conda（用于创建虚拟环境）
  • PyTorch（由 requirements.txt 中指定版本）
  • Flash Attention 库（用于加速注意力计算）

安装步骤

1. 创建并激活 Conda 虚拟环境：

conda create -n vstar python=3.10 -y
conda activate vstar

2. 安装项目依赖：

pip install -r requirements.txt
pip install flash-attn --no-build-isolation

3. 设置 Python 路径（将 path_to_vstar_repo 替换为你的项目目录）：

export PYTHONPATH=$PYTHONPATH:path_to_vstar_repo

基本使用

启动本地 Demo

安装完成后，运行以下命令启动 Gradio Web 界面：

python app.py

注意：如果尚未下载预训练模型，程序会自动从 Hugging Face 下载。

你将在浏览器中看到如下界面（示例图）：

使用预训练模型

• VQA 模型 可从 Hugging Face 下载。
• 视觉搜索模型 可从 Hugging Face 下载。

运行评估（可选）

如果你已准备好数据集，可以运行以下命令进行模型评估：

python vstar_bench_eval.py --benchmark-folder PATH_TO_BENCHMARK_FOLDER
python visual_search.py --benchmark-folder PATH_TO_BENCHMARK_FOLDER

其中 PATH_TO_BENCHMARK_FOLDER 是你存放 V*Bench 数据集的路径。