ViLT

ICML 2021（长文）论文的代码： “ViLT: 无需卷积或区域监督的视觉-语言 Transformer”

---

安装

pip install -r requirements.txt
pip install -e .

下载预训练权重

我们提供了五种预训练权重：

1. ViLT-B/32 在 GCC+SBU+COCO+VG 数据集上使用 MLM+ITM 预训练了 20 万步（ViLT-B/32 200k）链接
2. ViLT-B/32 200k 在 VQAv2 上微调 链接
3. ViLT-B/32 200k 在 NLVR2 上微调 链接
4. ViLT-B/32 200k 在 COCO IR/TR 上微调 链接
5. ViLT-B/32 200k 在 F30K IR/TR 上微调 链接

开箱即用的 MLM + 可视化演示

pip install gradio==1.6.4
python demo.py with num_gpus=<如果你没有 GPU 则为 0，否则为 1> load_path="<YOUR_WEIGHT_ROOT>/vilt_200k_mlm_itm.ckpt"

示例：
python demo.py with num_gpus=0 load_path="weights/vilt_200k_mlm_itm.ckpt"

开箱即用的 VQA 演示

pip install gradio==1.6.4
python demo_vqa.py with num_gpus=<如果你没有 GPU 则为 0，否则为 1> load_path="<YOUR_WEIGHT_ROOT>/vilt_vqa.ckpt" test_only=True

示例：
python demo_vqa.py with num_gpus=0 load_path="weights/vilt_vqa.ckpt" test_only=True

数据集准备

请参阅 DATA.md

训练新模型

请参阅 TRAIN.md

评估

请参阅 EVAL.md

引用

如果您将本代码及预训练权重用于任何用途，请引用我们的 论文。

@InProceedings{pmlr-v139-kim21k,
  title = 	 {ViLT: 无需卷积或区域监督的视觉-语言 Transformer},
  author =       {Kim, Wonjae 和 Son, Bokyung 和 Kim, Ildoo},
  booktitle = 	 {第38届国际机器学习大会论文集},
  pages = 	 {5583--5594},
  year = 	 {2021},
  editor = 	 {Meila, Marina 和 Zhang, Tong},
  volume = 	 {139},
  series = 	 {机器学习研究论文集},
  month = 	 {7月18日至24日},
  publisher =    {PMLR},
  pdf = 	 {http://proceedings.mlr.press/v139/kim21k/kim21k.pdf},
  url = 	 {http://proceedings.mlr.press/v139/kim21k.html},
  abstract = 	 {视觉-语言预训练（VLP）在多种视觉-语言下游任务中显著提升了性能。然而，现有的 VLP 方法大多依赖于图像特征提取过程，其中许多方法需要区域级监督（如目标检测）以及卷积架构（如 ResNet）。尽管这一现象在文献中常被忽视，但我们认为它存在两个问题：(1) 效率与速度——单纯提取输入特征所需的计算量远超多模态交互步骤；(2) 表达能力——其上限受限于视觉嵌入器及其预定义视觉词汇表的表达能力。本文提出了一种极简的 VLP 模型——视觉-语言 Transformer（ViLT），该模型在处理视觉输入时完全摒弃了卷积操作，与处理文本输入的方式保持一致。实验表明，ViLT 的速度比现有 VLP 模型快数十倍，同时在下游任务上的表现具有竞争力甚至更优。我们的代码和预训练权重可在 https://github.com/dandelin/vilt 获取。}
}

问题反馈联系方式

• Wonjae Kim
• Bokyung Son
• Ildoo Kim

ViLT 快速上手指南

ViLT (Vision-and-Language Transformer) 是一个无需卷积或区域监督的视觉 - 语言预训练模型。本指南将帮助你快速搭建环境并运行官方提供的演示 Demo。

1. 环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统: Linux 或 macOS (Windows 需使用 WSL)
• Python: 建议版本 3.7+
• 硬件:
  • GPU: 推荐拥有 CUDA 支持的 NVIDIA 显卡（用于加速推理）。
  • CPU: 若无 GPU，也可使用 CPU 运行，但速度较慢。
• 依赖管理: 确保已安装 pip。

提示：国内开发者建议使用清华源或阿里源加速 Python 包下载。 临时使用示例：pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 安装步骤

2.1 克隆代码与安装依赖

首先获取源代码并安装基础依赖库：

git clone https://github.com/dandelin/ViLT.git
cd ViLT
pip install -r requirements.txt
pip install -e .

2.2 下载预训练权重

根据你想体验的功能，下载对应的预训练权重文件。以下是两个最常用的权重：

• MLM + 可视化演示权重 (用于掩码语言建模及注意力可视化):

  wget https://github.com/dandelin/ViLT/releases/download/200k/vilt_200k_mlm_itm.ckpt -O weights/vilt_200k_mlm_itm.ckpt
  

  (注：请确保 weights 目录存在，若不存在请先执行 mkdir weights)

• VQA 演示权重 (用于视觉问答任务):

  wget https://github.com/dandelin/ViLT/releases/download/200k/vilt_vqa.ckpt -O weights/vilt_vqa.ckpt
  

2.3 安装演示界面依赖

运行官方 Demo 需要安装特定版本的 gradio：

pip install gradio==1.6.4

3. 基本使用

ViLT 提供了开箱即用的 Gradio 演示脚本，你可以直接在浏览器中交互体验。

3.1 运行 MLM + 可视化 Demo

此功能允许你输入图文对，模型会预测被掩码的单词，并可视化图像与文本之间的注意力机制。

命令：

python demo.py with num_gpus=0 load_path="weights/vilt_200k_mlm_itm.ckpt"

• num_gpus=0: 如果你没有 GPU 或显存不足，设为 0 使用 CPU；若有 GPU 则设为 1。
• load_path: 指向你刚才下载的 .ckpt 权重文件路径。

运行后，终端会显示一个本地链接（如 http://127.0.0.1:7860），在浏览器打开即可使用。

3.2 运行 VQA (视觉问答) Demo

此功能允许你上传一张图片并提出问题，模型将直接回答。

命令：

python demo_vqa.py with num_gpus=0 load_path="weights/vilt_vqa.ckpt" test_only=True

• 参数说明同上，test_only=True 表示仅进行推理测试。

---

更多高级用法（如自定义数据集训练、详细评估指标）请参考项目根目录下的 TRAIN.md 和 EVAL.md 文档。