ClipBERT

少即是多：基于稀疏采样的视频-语言学习框架——ClipBERT

CVPR 2021 口头报告，荣获最佳学生论文荣誉提名。

Jie Lei*, Linjie Li*, Luowei Zhou, Zhe Gan, Tamara L. Berg, Mohit Bansal, Jingjing Liu

ClipBERT 的官方 PyTorch 代码，是一个用于图像-文本和视频-文本任务端到端学习的高效框架。它以原始视频/图像和文本作为输入，输出任务预测结果。ClipBERT 基于 2D CNN 和 Transformer 构建，并采用稀疏采样策略，从而实现高效的端到端视频-语言学习。在本仓库中，我们支持以下任务的端到端预训练和微调：

• COCO 和 VG 数据集上的图像-文本预训练。
• MSRVTT、DiDeMo 和 ActivityNet Captions 数据集上的文本到视频检索任务微调。
• TGIF-QA 和 MSRVTT-QA 数据集上的视频问答任务微调。
• VQA 2.0 数据集上的图像问答任务微调。

此外，添加其他图像-文本或视频-文本任务进行预训练和微调也非常可行且简便。

[新] 如果您对 ClipBERT 感兴趣，您可能也会对我们最近的工作 Singularity（论文，代码) 感兴趣。该模型仅使用单帧进行训练，便在一系列视频-语言任务上取得了当前最优性能。

环境要求

为了便于复现，我们提供了一个 Docker 镜像。请安装以下软件：

• NVIDIA 驱动程序（418 及以上版本），
• Docker（19.03 及以上版本），
• NVIDIA 容器工具包。

我们的脚本要求用户属于 docker 用户组（参考文档），以便无需使用 sudo 即可运行 Docker 命令。 我们仅支持配备 NVIDIA GPU 的 Linux 系统。我们已在 Ubuntu 18.04 和 V100 显卡上进行了测试。由于我们采用混合精度训练，建议使用带有 Tensor Core 的 GPU。

快速入门

通用步骤

1. 创建一个用于存储预训练模型、所有数据和实验结果的文件夹。

   PATH_TO_STORAGE=/path/to/your/data/
   mkdir -p $PATH_TO_STORAGE/txt_db  # 注释文件
   mkdir -p $PATH_TO_STORAGE/vis_db  # 图像和视频数据
   mkdir -p $PATH_TO_STORAGE/finetune  # 微调结果
   mkdir -p $PATH_TO_STORAGE/pretrained  # 预训练模型
   

2. 下载预训练模型。

   我们的端到端预训练 ClipBERT 模型（849MB）可以通过以下命令下载：

   bash scripts/download_pretrained.sh $PATH_TO_STORAGE
   

   该预训练模型可用于视频-文本任务和图像-文本任务的微调。为方便起见，此脚本还会下载 bert-base-uncased 和 grid-feat-vqa 模型权重，它们将作为预训练的初始化参数。

3. 启动用于运行实验的 Docker 容器。

   # Docker 镜像应自动拉取
   source launch_container.sh $PATH_TO_STORAGE/txt_db $PATH_TO_STORAGE/vis_db \
       $PATH_TO_STORAGE/finetune $PATH_TO_STORAGE/pretrained
   

   启动脚本会尊重 $CUDA_VISIBLE_DEVICES 环境变量。请注意，源代码被挂载到容器内的 /clipbert 目录下，而不是直接构建到镜像中，这样用户修改后无需重新构建镜像即可生效。而数据文件夹则单独挂载到容器中，以提高文件夹结构的灵活性。

下游任务微调

文本到视频检索

任务：MSRVTT 检索、DiDeMo 和 ActivityNet Captions 中的段落到视频检索，以及 MSRVTT MC 测试。

1. 下载数据。

   # 容器外部  
   # 下载 $DSET 的视频和标注文件
   bash scripts/download_$DSET.sh $PATH_TO_STORAGE
   

   $DSET 可以是 msrvtt、didemo 或 anet。

2. 微调。

   # 容器内部
   horovodrun -np 4 python src/tasks/run_video_retrieval.py \
       --config $CONFIG_PATH \
       --output_dir $OUTPUT_DIR
   
   # 单 GPU 情况
   python src/tasks/run_video_retrieval.py \
       --config $CONFIG_PATH \
       --output_dir $OUTPUT_DIR
   

   $CONFIG_PATH 应设置为 src/configs 目录下以 _ret 开头的 .json 配置文件之一。例如，可以使用 src/configs/msrvtt_ret_base_resnet50.json 进行 MSRVTT 检索。

3. 运行推理。

   # 容器内部
   horovodrun -np 4 python src/tasks/run_video_retrieval.py \
     --do_inference 1 --output_dir $OUTPUT_DIR \
     --inference_split val --inference_model_step $STEP \
     --inference_txt_db $TXT_DB \
     --inference_img_db $IMG_DB --inference_batch_size 64 \
     --inference_n_clips $INFERENCE_N_CLIPS
   

   $STEP 是一个整数，它指示脚本使用 $OUTPUT_DIR/ckpt/model_step_$STEP.pt 模型检查点进行推理。 $TXT_DB 和 $IMG_DB 分别是标注文件和视频数据的路径。例如，在 MSRVTT 检索验证集上进行推理时，可以使用 TXT_DB=/txt/downstream/msrvtt_retrieval/msrvtt_retrieval_val.jsonl 和 IMG_DB=/img/msrvtt。 推理结果将被写入 $OUTPUT_DIR。可以根据需要调整 $INFERENCE_N_CLIPS 的值，比如 1 或 16。使用更多的片段会显著影响推理速度和内存消耗，因此在设置较大值时，可能需要减小批处理大小。

   在 MSRVTT 检索模型训练完成后，也可以将其用于 MSRVTT MC 测试任务的推理，该任务本质上是在多选题形式下的检索任务。

   # 容器内部
   horovodrun -np 4 python src/tasks/run_msrvtt_mc.py \
     --do_inference 1 --output_dir $OUTPUT_DIR \
     --inference_split val --inference_model_step $STEP \
     --inference_txt_db /txt/downstream/msrvtt_retrieval_mc/msrvtt_retrieval_mc_test.jsonl \
     --inference_img_db /img/msrvtt --inference_batch_size 64 \
     --inference_n_clips $INFERENCE_N_CLIPS
   

视频问答

任务：TGIF-QA 中的动作、过渡和帧级问答任务；MSRVTT-QA。

1. 下载数据。

   # 容器外部  
   # 下载 MSRVTT 视频及 QA 和检索标注
   bash scripts/download_msrvtt.sh $PATH_TO_STORAGE  
   # 下载 TGIF-QA 视频和标注
   bash scripts/download_tgif_qa.sh $PATH_TO_STORAGE  
   

2. 微调。

   # 容器内部
   horovodrun -np 4 python src/tasks/run_video_qa.py \
       --config $CONFIG_PATH \
       --output_dir $OUTPUT_DIR
   

   $CONFIG_PATH 应设置为 src/configs 目录下包含子串 _qa 的 .json 配置文件之一。例如，可以使用 src/configs/msrvtt_qa_base_resnet50.json 进行 MSRVTT-QA。

3. 运行推理。

   # 容器内部
   horovodrun -np 4 python src/tasks/run_video_qa.py \
     --do_inference 1 --output_dir $OUTPUT_DIR \
     --inference_split val --inference_model_step $STEP \
     --inference_txt_db $TXT_DB \
     --inference_img_db $IMG_DB --inference_batch_size 64 \
     --inference_n_clips $INFERENCE_N_CLIPS
   

   $STEP 是一个整数，表示脚本将使用 $OUTPUT_DIR/ckpt/model_step_$STEP.pt 检查点进行推理。 $TXT_DB 和 $IMG_DB 分别是标注文件和视频数据的路径。例如，在 MSRVTT QA 验证集上进行推理时，可以使用 TXT_DB=/txt/downstream/msrvtt_retrieval/msrvtt_qa_val.jsonl 和 IMG_DB=/img/msrvtt。

   推理结果将被写入 $OUTPUT_DIR。可以根据需要调整 $INFERENCE_N_CLIPS 的值，比如 1 或 16。使用更多片段会显著影响推理速度和内存占用，因此在设置较大值时，可能需要降低批处理大小。

图像问答 (VQA)

1. 下载数据

   # 容器外部
   # 下载 COCO 和 VG 数据
   bash scripts/download_coco_vg.sh $PATH_TO_STORAGE
   # 下载 VQA 标注
   bash scripts/download_vqa.sh $PATH_TO_STORAGE
   

2. 微调

   # 容器内部
   horovodrun -np 4 python src/tasks/run_vqa.py \
       --config src/configs/vqa_base_resnet50.json \
       --output_dir $OUTPUT_DIR
   

3. 推理

   # 容器内部
   horovodrun -np 4 python src/tasks/run_vqa.py \
     --do_inference 1 --output_dir $OUTPUT_DIR \
     --inference_split val --inference_model_step $STEP \
     --inference_txt_db $TXT_DB \
     --inference_img_db $IMG_DB \
     --inference_batch_size 64
   

预训练

1. 下载数据

   # 容器外部
   bash scripts/download_coco_vg.sh $PATH_TO_STORAGE
   

2. 预训练

   # 容器内部
   horovodrun -np 8 python src/pretrain/run_pretrain.py \
       --config src/configs/pretrain_image_text_base_resnet50_mlm_itm.json \
       --output_dir $OUTPUT_DIR 
   

数据预处理

ClipBERT 直接以原始视频和文本作为输入，无需进行特征提取。然而，为了提高数据加载速度，我们使用 LMDB 存储原始图像和视频文件。可以使用以下脚本将带有 mp4 和 avi 文件扩展名的视频列表转换为 LMDB：

# 容器外部
python src/preprocessing/file2lmdb.py \
    --data_root /path/to/videos \
    --lmdb_save_dir /path/to/save/lmdb \
    --ext avi mp4 \
    --file_type video 

对于图像，应根据实际情况设置 --ext 和 --file_type image。文本标注文件会被重新组织为 jsonl 文件，具体示例可参见 scripts/ 目录下的脚本下载的预处理文件。

引用

如果您在研究中使用了本代码，请考虑引用以下文献：

@inproceedings{lei2021less,
  title={Less is More: ClipBERT for Video-and-Language Learningvia Sparse Sampling},
  author={Lei, Jie and Li, Linjie and Zhou, Luowei and Gan, Zhe and Berg, Tamara L. and Bansal, Mohit and Liu, Jingjing},
  booktitle={CVPR},
  year={2021}
}

致谢

我们感谢 Yen-Chun Chen、 Ruotian Luo 以及 Microsoft Multimodal AI 的其他成员和实习生 提供的有益讨论。 我们还感谢匿名审稿人提出的建设性意见。

本代码使用了以下开源项目中的资源：transformers、 UNITER、HERO、 grid-feats-vqa、 SlowFast、 Detectron2。 代码基于 PyTorch 实现， 并借助 Horovod 提供的多 GPU 支持 以及 apex 提供的混合精度支持。我们感谢这些项目的作者开放源代码，贡献了如此优秀的成果。

许可证

MIT

ClipBERT 快速上手指南

ClipBERT 是一个高效的视频 - 语言学习框架，采用稀疏采样策略，支持端到端的图像 - 文本和视频 - 文本任务（如检索、问答）。本项目基于 PyTorch 开发，官方推荐使用 Docker 环境运行。

环境准备

系统要求

• 操作系统: Linux (推荐 Ubuntu 18.04+)
• GPU: NVIDIA GPU (推荐具备 Tensor Cores 的显卡，如 V100/A100，以支持混合精度训练)
• 驱动版本: NVIDIA Driver 418+

前置依赖

请确保宿主机已安装以下软件：

1. NVIDIA Driver (418+)
2. Docker (19.03+)
3. nvidia-container-toolkit

注意：当前用户需加入 docker 用户组，以便无需 sudo 即可运行 docker 命令：

sudo usermod -aG docker $USER
# 执行后需重新登录或重启终端生效

安装步骤

1. 创建数据存储目录

选择一个路径用于存储预训练模型、数据集和结果，并创建相应子目录：

PATH_TO_STORAGE=/path/to/your/data/
mkdir -p $PATH_TO_STORAGE/txt_db  # 标注文件
mkdir -p $PATH_TO_STORAGE/vis_db  # 图片和视频数据
mkdir -p $PATH_TO_STORAGE/finetune  # 微调结果
mkdir -p $PATH_TO_STORAGE/pretrained  # 预训练模型

2. 下载预训练模型

运行官方脚本下载 ClipBERT 端到端预训练模型（约 849MB），同时会自动下载 bert-base-uncased 和 grid-feat-vqa 初始化权重：

bash scripts/download_pretrained.sh $PATH_TO_STORAGE

3. 启动 Docker 容器

使用提供的脚本自动拉取镜像并启动容器。代码将挂载到容器内的 /clipbert 目录，数据目录也会分别挂载：

source launch_container.sh $PATH_TO_STORAGE/txt_db $PATH_TO_STORAGE/vis_db \
    $PATH_TO_STORAGE/finetune $PATH_TO_STORAGE/pretrained

注：该脚本会尊重 $CUDA_VISIBLE_DEVICES 环境变量来指定使用的 GPU。

基本使用

以下以 MSRVTT 文本到视频检索 (Text-to-Video Retrieval) 任务为例，展示从数据下载到微调推理的最简流程。其他任务（如 Video-QA, Image-QA）流程类似。

1. 下载数据集

在容器外（宿主机）运行下载脚本（以 msrvtt 为例）：

# 在宿主机执行
bash scripts/download_msrvtt.sh $PATH_TO_STORAGE

可用数据集标识：msrvtt, didemo, anet

2. 模型微调

进入容器内，使用单卡或多卡（Horovod）进行微调。配置文件位于 src/configs/，检索任务配置通常包含 _ret 后缀。

多卡训练示例 (4 卡):

# 在容器内执行
horovodrun -np 4 python src/tasks/run_video_retrieval.py \
    --config src/configs/msrvtt_ret_base_resnet50.json \
    --output_dir $OUTPUT_DIR

单卡训练示例:

# 在容器内执行
python src/tasks/run_video_retrieval.py \
    --config src/configs/msrvtt_ret_base_resnet50.json \
    --output_dir $OUTPUT_DIR

3. 运行推理

微调完成后，使用保存的检查点进行推理。

# 在容器内执行
horovodrun -np 4 python src/tasks/run_video_retrieval.py \
  --do_inference 1 --output_dir $OUTPUT_DIR \
  --inference_split val --inference_model_step $STEP \
  --inference_txt_db /txt/downstream/msrvtt_retrieval/msrvtt_retrieval_val.jsonl \
  --inference_img_db /img/msrvtt --inference_batch_size 64 \
  --inference_n_clips 1

参数说明：

• $STEP: 整数，指定使用的检查点步数（对应文件 model_step_$STEP.pt）。
• --inference_n_clips: 采样片段数量（如 1 或 16）。增加片段数会显著影响显存占用和推理速度，若调大此值建议减小 --inference_batch_size。
• 结果将输出至 $OUTPUT_DIR 目录下。

---

更多任务（Video-QA, Image-QA）及预训练细节请参考项目 src/tasks/ 和 src/pretrain/ 目录下的具体脚本与配置。