VL-BERT

作者： 苏伟杰、 朱锡洲、 曹悦、 李斌、 陆乐威、 魏福儒、 戴继峰。

本仓库是论文 VL-BERT：通用视觉-语言表示的预训练 的官方实现。

更新于2020年1月16日 添加可视化代码。

更新于2019年12月20日 我们的VL-BERT已被ICLR 2020接收。

简介

VL-BERT是一种简单而强大的可预训练的通用视觉-语言表示模型。它在大规模的图像描述数据集和纯文本语料库上进行预训练，随后可以针对各种下游视觉-语言任务进行微调，例如视觉常识推理、视觉问答和指代表达理解等。

得益于PyTorch及其第三方库，该代码库还具备以下特性：

• 分布式训练
• FP16混合精度训练
• 多种优化器和学习率调度器
• 梯度累积
• 使用TensorboardX监控训练过程

引用VL-BERT

@inproceedings{
  Su2020VL-BERT:,
  title={VL-BERT: Pre-training of Generic Visual-Linguistic Representations},
  author={Weijie Su and Xizhou Zhu and Yue Cao and Bin Li and Lewei Lu and Furu Wei and Jifeng Dai},
  booktitle={International Conference on Learning Representations},
  year={2020},
  url={https://openreview.net/forum?id=SygXPaEYvH}
}

准备

环境

• Ubuntu 16.04, CUDA 9.0, GCC 4.9.4
• Python 3.6.x

  # 我们建议使用Anaconda/Miniconda创建一个conda环境
  conda create -n vl-bert python=3.6 pip
  conda activate vl-bert
  

• PyTorch 1.0.0 或 1.1.0

  conda install pytorch=1.1.0 cudatoolkit=9.0 -c pytorch
  

• Apex（可选，用于加速和fp16训练）

  git clone https://github.com/jackroos/apex
  cd ./apex
  pip install -v --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" ./  
  

• 其他要求：

  pip install Cython
  pip install -r requirements.txt
  

• 编译

  ./scripts/init.sh
  

数据

请参阅 PREPARE_DATA.md。

预训练模型

请参阅 PREPARE_PRETRAINED_MODELS.md。

训练

单机分布式训练

./scripts/dist_run_single.sh <num_gpus> <task>/train_end2end.py <path_to_cfg> <dir_to_store_checkpoint>

• <num_gpus>: 使用的GPU数量。
• <task>: pretrain/vcr/vqa/refcoco。
• <path_to_cfg>: 位于./cfgs/<task>下的配置yaml文件。
• <dir_to_store_checkpoint>: 存储检查点的根目录。

以下是一个更具体的示例：

./scripts/dist_run_single.sh 4 vcr/train_end2end.py ./cfgs/vcr/base_q2a_4x16G_fp32.yaml ./

多机分布式训练

例如，在两台机器（A和B）上，每台机器配备4个GPU，

在机器A上运行以下命令：

./scripts/dist_run_multi.sh 2 0 <ip_addr_of_A> 4 <task>/train_end2end.py <path_to_cfg> <dir_to_store_checkpoint>

在机器B上运行以下命令：

./scripts/dist_run_multi.sh 2 1 <ip_addr_of_A> 4 <task>/train_end2end.py <path_to_cfg> <dir_to_store_checkpoint>

非分布式训练

./scripts/nondist_run.sh <task>/train_end2end.py <path_to_cfg> <dir_to_store_checkpoint>

注意：

1. 在位于./cfgs下的yaml文件中，我们为至少拥有16G显存的GPU设置了批大小。您可能需要根据实际情况调整批大小和梯度累积步数，例如，如果减小批大小，也应相应增加梯度累积步数，以保持SGD的实际批大小不变。

2. 为了提高效率，我们建议即使在单机上也使用分布式训练。但对于RefCOCO+，由于未知原因（可能与PyTorch dataloader死锁问题有关），使用分布式训练时可能会遇到死锁问题。此时您可以简单地使用非分布式训练来解决这一问题。

评估

VCR

• 在验证集上的本地评估：

  python vcr/val.py \
    --a-cfg <cfg_of_q2a> --r-cfg <cfg_of_qa2r> \
    --a-ckpt <checkpoint_of_q2a> --r-ckpt <checkpoint_of_qa2r> \
    --gpus <indexes_of_gpus_to_use> \
    --result-path <dir_to_save_result> --result-name <result_file_name>
  

  注意：<indexes_of_gpus_to_use>是指定使用的GPU索引，例如0 1 2 3。

• 为leaderboard提交生成测试集上的预测结果：

  python vcr/test.py \
    --a-cfg <cfg_of_q2a> --r-cfg <cfg_of_qa2r> \
    --a-ckpt <checkpoint_of_q2a> --r-ckpt <checkpoint_of_qa2r> \
    --gpus <indexes_of_gpus_to_use> \
    --result-path <dir_to_save_result> --result-name <result_file_name>
  

VQA

• 为EvalAI提交生成测试集上的预测结果：

  python vqa/test.py \
    --cfg <cfg_file> \
    --ckpt <checkpoint> \
    --gpus <indexes_of_gpus_to_use> \
    --result-path <dir_to_save_result> --result-name <result_file_name>
  

RefCOCO+

• 在验证集/测试集A/测试集B上的本地评估：

  python refcoco/test.py \
    --split <val|testA|testB> \
    --cfg <cfg_file> \
    --ckpt <checkpoint> \
    --gpus <indexes_of_gpus_to_use> \
    --result-path <dir_to_save_result> --result-name <result_file_name>
  

可视化

请参阅 VISUALIZATION.md。

致谢

非常感谢以下项目在构建本代码库过程中给予我们的极大帮助：

• transformers (pytorch-pretrained-bert)
• Deformable-ConvNets
• maskrcnn-benchmark
• mmdetection
• r2c
• allennlp
• bottom-up-attention
• pythia
• MAttNet
• bertviz

VL-BERT 快速上手指南

VL-BERT 是一个用于视觉 - 语言任务的通用预训练模型，支持视觉常识推理（VCR）、视觉问答（VQA）和指代性表达理解（RefCOCO）等下游任务。本指南将帮助你快速搭建环境并运行模型。

1. 环境准备

系统要求

• 操作系统: Ubuntu 16.04
• CUDA: 9.0
• 编译器: GCC 4.9.4
• Python: 3.6.x

前置依赖

建议使用 Anaconda/Miniconda 创建独立环境。国内用户可使用清华或中科大镜像源加速下载。

# 创建并激活 conda 环境
conda create -n vl-bert python=3.6 pip
conda activate vl-bert

# 安装 PyTorch (指定 CUDA 9.0 版本)
# 推荐使用清华镜像源加速
conda install pytorch=1.1.0 cudatoolkit=9.0 -c pytorch

其他依赖库

安装 Apex（用于混合精度训练加速，可选但推荐）及其他 Python 依赖：

# 克隆并安装 Apex
git clone https://github.com/jackroos/apex
cd ./apex
pip install -v --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" ./  
cd ..

# 安装其他依赖
pip install Cython
pip install -r requirements.txt

编译初始化

执行初始化脚本以编译必要的组件：

./scripts/init.sh

注意：在运行上述命令前，请确保已按照官方文档 PREPARE_DATA.md 和 PREPARE_PRETRAINED_MODELS.md 准备好数据集和预训练模型文件。

2. 基本使用

单机分布式训练（推荐）

即使只有一台机器，也推荐使用分布式模式以提高效率。以下示例展示如何在 4 张 GPU 上训练 VCR 任务：

./scripts/dist_run_single.sh 4 vcr/train_end2end.py ./cfgs/vcr/base_q2a_4x16G_fp32.yaml ./

参数说明：

• 4: 使用的 GPU 数量。
• vcr/train_end2end.py: 任务脚本（可选：pretrain, vcr, vqa, refcoco）。
• ./cfgs/vcr/base_q2a_4x16G_fp32.yaml: 配置文件路径。
• ./: 检查点保存目录。

提示：默认配置针对 16G 显存显卡设计。若显存较小，请修改 .yaml 配置文件中的 batch_size，并相应增加梯度累积步数（gradient accumulation steps）以保持有效批量大小不变。

非分布式训练

如果在 RefCOCO+ 任务中遇到分布式训练死锁问题，可切换为非分布式模式：

./scripts/nondist_run.sh refcoco/train_end2end.py ./cfgs/refcoco/base.yaml ./

模型评估

以 VCR 任务为例，在验证集上进行本地评估：

python vcr/val.py \
  --a-cfg <cfg_of_q2a> --r-cfg <cfg_of_qa2r> \
  --a-ckpt <checkpoint_of_q2a> --r-ckpt <checkpoint_of_qa2r> \
  --gpus 0 1 2 3 \
  --result-path ./results --result-name vcr_val_result.json

参数说明：

• --gpus: 指定使用的 GPU 索引（如 0 1 2 3）。
• <cfg_...> 和 <checkpoint_...>: 分别替换为对应的配置文件路径和训练好的模型权重路径。

更多任务（VQA, RefCOCO+）的评估命令请参考原文档 "Evaluation" 章节。