CLIP4Clip：CLIP在端到端视频片段检索中的实证研究

(2021年7月28日) 添加了ViT-B/16，并增加了一个--pretrained_clip_name参数。

(2021年4月22日) 初版

这是论文【CLIP4Clip：CLIP在端到端视频片段检索中的实证研究】的实现，该论文发表于arXiv。

CLIP4Clip是一个基于CLIP (ViT-B)的视频-文本检索模型。在本工作中，我们探讨了三种相似度计算方法：无参数型、序列型和紧密型。该模型在MSR-VTT、MSVD、LSMDC、ActivityNet和DiDeMo数据集上均取得了当前最优性能。

环境要求

# 基于CLIP
conda install --yes -c pytorch pytorch=1.7.1 torchvision cudatoolkit=11.0
pip install ftfy regex tqdm
pip install opencv-python boto3 requests pandas

数据准备

针对MSRVTT

官方数据及视频链接可在这里找到。

为方便起见，您也可以通过以下命令下载划分和字幕：

wget https://github.com/ArrowLuo/CLIP4Clip/releases/download/v0.0/msrvtt_data.zip

此外，原始视频可从Frozen in Time的共享资源中获取，具体如下：

wget https://www.robots.ox.ac.uk/~maxbain/frozen-in-time/data/MSRVTT.zip

针对MSVD

原始视频可从这里下载。

划分和raw_captions可在优秀的项目collaborative-experts中找到。为方便起见，您也可以通过以下命令下载：

wget https://github.com/ArrowLuo/CLIP4Clip/releases/download/v0.0/msvd_data.zip

针对LSMDC

您必须获得MPII的许可才能下载和使用该数据集。下载链接在此处：这里。 测试集的1000个片段数据可在这里找到。更多信息请参阅我们的论文以及dataloader。

针对ActivityNet

官方网站已将完整数据集上传至Google Drive和百度网盘，详情请见这里。划分可在collaborative-experts项目中找到。

针对DiDeMo

原始视频可从LisaAnne/LocalizingMoments下载。划分则可在collaborative-experts项目中找到。

视频压缩以提升速度（可选）

python preprocess/compress_video.py --input_root [原始视频路径] --output_root [压缩后视频路径]

此脚本会将视频压缩至3fps，宽度为224（或高度为224）。您可以根据需要修改相关参数。

运行方法

--features_path 是视频根目录路径

--linear_patch 可设置为 2d 或 3d

--sim_header 可设置为 meanP、seqLSTM、seqTransf 或 tightTransf

--pretrained_clip_name 可设置为 ViT-B/32 或 ViT-B/16

--resume_model 可用于重新加载保存的优化器状态，以继续训练模型，注意：需同时通过--init_model指定相应的检查点。

有关--linear_patch和--sim_header的更多细节，请参阅我们的论文。尝试调整更多超参数以获得更好的性能。

下载CLIP (ViT-B/32)权重：

wget -P ./modules https://openaipublic.azureedge.net/clip/models/40d365715913c9da98579312b702a82c18be219cc2a73407c4526f58eba950af/ViT-B-32.pt

或者，下载CLIP (ViT-B/16)权重：

wget -P ./modules https://openaipublic.azureedge.net/clip/models/5806e77cd80f8b59890b7e101eabd078d9fb84e6937f9e85e4ecb61988df416f/ViT-B-16.pt

然后运行：

论文中默认使用CLIP (ViT-B/32)，但为了获得更好的性能，可以替换为ViT-B/16。

MSRVTT

DATA_PATH=[您的MSRVTT数据和视频路径]
python -m torch.distributed.launch --nproc_per_node=4 \
main_task_retrieval.py --do_train --num_thread_reader=0 \
--epochs=5 --batch_size=128 --n_display=50 \
--train_csv ${DATA_PATH}/MSRVTT_train.9k.csv \
--val_csv ${DATA_PATH}/MSRVTT_JSFUSION_test.csv \
--data_path ${DATA_PATH}/MSRVTT_data.json \
--features_path ${DATA_PATH}/MSRVTT_Videos \
--output_dir ckpts/ckpt_msrvtt_retrieval_looseType \
--lr 1e-4 --max_words 32 --max_frames 12 --batch_size_val 16 \
--datatype msrvtt --expand_msrvtt_sentences  \
--feature_framerate 1 --coef_lr 1e-3 \
--freeze_layer_num 0  --slice_framepos 2 \
--loose_type --linear_patch 2d --sim_header meanP \
--pretrained_clip_name ViT-B/32

MSVD

DATA_PATH=[您的MSVD数据和视频路径]
python -m torch.distributed.launch --nproc_per_node=4 \
main_task_retrieval.py --do_train --num_thread_reader=2 \
--epochs=5 --batch_size=128 --n_display=50 \
--data_path ${DATA_PATH} \
--features_path ${DATA_PATH}/MSVD_Videos \
--output_dir ckpts/ckpt_msvd_retrieval_looseType \
--lr 1e-4 --max_words 32 --max_frames 12 --batch_size_val 16 \
--datatype msvd \
--feature_framerate 1 --coef_lr 1e-3 \
--freeze_layer_num 0 --slice_framepos 2 \
--loose_type --linear_patch 2d --sim_header meanP \
--pretrained_clip_name ViT-B/32

LSMDC

DATA_PATH=[您的LSMDC数据和视频路径]
python -m torch.distributed.launch --nproc_per_node=4 \
main_task_retrieval.py --do_train --num_thread_reader=2 \
--epochs=5 --batch_size=128 --n_display=50 \
--data_path ${DATA_PATH} \
--features_path ${DATA_PATH}/LSMDC_Videos \
--output_dir ckpts/ckpt_lsmdc_retrieval_looseType \
--lr 1e-4 --max_words 32 --max_frames 12 --batch_size_val 16 \
--datatype lsmdc --feature_framerate 1 --coef_lr 1e-3 \
--freeze_layer_num 0  --slice_framepos 2 \
--loose_type --linear_patch 2d --sim_header meanP \
--pretrained_clip_name ViT-B/32

ActivityNet

在我们的设置中，ActivityNet被视为视频-段落检索任务，因此需要更多的GPU（或采用多节点运行）。

DATA_PATH=[您的ActivityNet数据和视频路径]
python -m torch.distributed.launch --nproc_per_node=8 \
main_task_retrieval.py --do_train --num_thread_reader=2 \
--epochs=5 --batch_size=128 --n_display=50 \
--data_path ${DATA_PATH} \
--features_path ${DATA_PATH}/Activity_Videos \
--output_dir ckpts/ckpt_activity_retrieval_looseType \
--lr 1e-4 --max_words 64 --max_frames 64 --batch_size_val 16 \
--datatype activity --feature_framerate 1 --coef_lr 1e-3 \
--freeze_layer_num 0  --slice_framepos 2 \
--loose_type --linear_patch 2d --sim_header meanP \
--pretrained_clip_name ViT-B/32

DiDeMo

在我们的场景中，DiDeMo 被视为视频-段落检索任务，因此需要更多的 GPU（或使用多节点运行）。

DATA_PATH=[您存放 DiDeMo 数据和视频的路径]
python -m torch.distributed.launch --nproc_per_node=8 \
main_task_retrieval.py --do_train --num_thread_reader=2 \
--epochs=5 --batch_size=128 --n_display=50 \
--data_path ${DATA_PATH} \
--features_path ${DATA_PATH}/DiDeMo_Videos \
--output_dir ckpts/ckpt_didemo_retrieval_looseType \
--lr 1e-4 --max_words 64 --max_frames 64 --batch_size_val 16 \
--datatype didemo --feature_framerate 1 --coef_lr 1e-3 \
--freeze_layer_num 0  --slice_framepos 2 \
--loose_type --linear_patch 2d --sim_header meanP \
--pretrained_clip_name ViT-B/32

引用

如果您在工作中觉得 CLIP4Clip 很有用，可以引用以下论文：

@Article{Luo2021CLIP4Clip,
  author  = {Huaishao Luo 和 Lei Ji 和 Ming Zhong 和 Yang Chen 和 Wen Lei 和 Nan Duan 和 Tianrui Li},
  title   = {{CLIP4Clip}: 一种针对端到端视频片段检索的 CLIP 实证研究},
  journal = {arXiv 预印本 arXiv:2104.08860},
  year    = {2021},
}

致谢

我们的代码基于 CLIP 和 UniVL。

CLIP4Clip 快速上手指南

CLIP4Clip 是一个基于 CLIP 模型的视频 - 文本检索工具，支持端到端的视频片段检索。它在 MSR-VTT、MSVD、LSMDC、ActivityNet 和 DiDeMo 等多个数据集上取得了 SOTA 结果。

1. 环境准备

系统要求

• 操作系统: Linux (推荐)
• GPU: 支持 CUDA 的 NVIDIA 显卡（训练建议多卡）
• Python: 3.x
• CUDA: 11.0

前置依赖安装

建议使用 Conda 创建独立环境并安装依赖：

# 创建并激活环境（可选）
conda create -n clip4clip python=3.8
conda activate clip4clip

# 安装 PyTorch 及相关组件
conda install --yes -c pytorch pytorch=1.7.1 torchvision cudatoolkit=11.0

# 安装其他 Python 依赖
pip install ftfy regex tqdm
pip install opencv-python boto3 requests pandas

提示：国内用户可使用清华或阿里镜像源加速 pip 安装，例如：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package>

2. 安装步骤

克隆项目代码并下载预训练权重：

# 克隆仓库（假设已 git clone 本项目）
cd CLIP4Clip

# 下载 CLIP (ViT-B/32) 预训练权重（默认）
wget -P ./modules https://openaipublic.azureedge.net/clip/models/40d365715913c9da98579312b702a82c18be219cc2a73407c4526f58eba950af/ViT-B-32.pt

# 或者下载性能更好的 CLIP (ViT-B/16) 权重
wget -P ./modules https://openaipublic.azureedge.net/clip/models/5806e77cd80f8b59890b7e101eabd078d9fb84e6937f9e85e4ecb61988df416f/ViT-B-16.pt

3. 数据准备与预处理

下载数据集

以 MSRVTT 为例，下载处理好的分割文件和字幕：

wget https://github.com/ArrowLuo/CLIP4Clip/releases/download/v0.0/msrvtt_data.zip
unzip msrvtt_data.zip

原始视频需从官方渠道或第三方存储获取（参考 README 中的链接）。其他数据集（MSVD, LSMDC, ActivityNet, DiDeMo）同理。

视频压缩（可选，加速读取）

将视频压缩为 3fps，分辨率宽或高为 224：

python preprocess/compress_video.py --input_root [raw_video_path] --output_root [compressed_video_path]

4. 基本使用

以下是在 MSRVTT 数据集上进行训练的最低限度示例命令。请替换 [Your MSRVTT data and videos path] 为实际路径。

DATA_PATH=[Your MSRVTT data and videos path]

python -m torch.distributed.launch --nproc_per_node=4 \
main_task_retrieval.py --do_train --num_thread_reader=0 \
--epochs=5 --batch_size=128 --n_display=50 \
--train_csv ${DATA_PATH}/MSRVTT_train.9k.csv \
--val_csv ${DATA_PATH}/MSRVTT_JSFUSION_test.csv \
--data_path ${DATA_PATH}/MSRVTT_data.json \
--features_path ${DATA_PATH}/MSRVTT_Videos \
--output_dir ckpts/ckpt_msrvtt_retrieval_looseType \
--lr 1e-4 --max_words 32 --max_frames 12 --batch_size_val 16 \
--datatype msrvtt --expand_msrvtt_sentences \
--feature_framerate 1 --coef_lr 1e-3 \
--freeze_layer_num 0 --slice_framepos 2 \
--loose_type --linear_patch 2d --sim_header meanP \
--pretrained_clip_name ViT-B/32

关键参数说明

• --features_path: 视频文件根目录。
• --linear_patch: 特征提取方式，可选 2d 或 3d。
• --sim_header: 相似度计算方式，可选 meanP, seqLSTM, seqTransf, tightTransf。
• --pretrained_clip_name: 预训练模型版本，可选 ViT-B/32 或 ViT-B/16（推荐后者以获得更好性能）。
• --nproc_per_node: 使用的 GPU 数量。

注意：对于 ActivityNet 和 DiDeMo 等视频 - 段落检索任务，建议增加 --nproc_per_node 至 8 或更多，并调整 --max_words 和 --max_frames 参数。