[ECCV 2024 接受]金鱼：任意长度视频的视觉-语言理解

[CVPR2024W]MiniGPT4-Video：通过交错的视觉-文本标记推进用于视频理解的多模态大模型

本仓库包含用于短视频理解的MiniGPT4-video和用于长视频理解的金鱼的代码。

在线演示

概述

当前大多数基于大模型的视频理解模型能够处理几分钟以内的视频，但在处理较长视频时却面临“噪声与冗余挑战”以及“内存与计算挑战”。在本文中，我们提出了金鱼方法，该方法专为理解任意长度的视频而设计。同时，我们还引入了TVQA-long基准，专门用于评估模型在理解和回答涉及视觉与文本内容问题的长视频方面的能力。金鱼通过一种高效的检索机制来应对这些挑战：首先根据指令筛选出最相关的前k个视频片段，然后再生成所需的响应。这种检索机制的设计使得金鱼能够高效地处理任意长度的视频序列，从而使其适用于电影或电视剧等场景。为了便于检索过程，我们开发了MiniGPT4-Video，它可以为视频片段生成详细的描述。针对长视频评估基准稀缺的问题，我们将TVQA短视频基准扩展应用于更长内容的分析，通过汇总整集节目中的问题，将评估重点从部分片段转向整集的理解。我们在TVQA-long基准上取得了41.78%的准确率，比现有方法高出14.94%。我们的MiniGPT4-Video在短视频理解方面也表现出色，在MSVD、MSRVTT、TGIF和TVQA短视频基准上分别超越了现有最先进方法3.23%、2.03%、16.5%和23.59%。这些结果表明，我们的模型在长视频和短视频理解方面都取得了显著提升。

金鱼框架（长视频）

MiniGPT4-Video （短视频）

:rocket: 演示

1. 克隆仓库

git clone https://github.com/Vision-CAIR/MiniGPT4-video.git
cd MiniGPT4-video

2. 配置环境

conda env create -f environment.yml

3. 下载检查点

MiniGPT4-Video (Llama2 Chat 7B)	MiniGPT4-Video (Mistral 7B)
下载	下载

4. 运行演示
Goldfish 演示

# 为获得推荐性能，请在以下命令中添加参数 --use_openai_embedding True，并将 API 密钥设置到环境变量 OPENAI_API_KEY 中；否则模型将使用默认嵌入。
export OPENAI_API_KEY="your_openai_key" 
# Llama2
python goldfish_demo.py --ckpt path_to_video_checkpoint --cfg-path test_configs/llama2_test_config.yaml 
# Mistral
python goldfish_demo.py --ckpt path_to_video_checkpoint --cfg-path test_configs/mistral_test_config.yaml

MiniGPT4-Video 演示

# Llama2
python minigpt4_video_demo.py --ckpt path_to_video_checkpoint --cfg-path test_configs/llama2_test_config.yaml
# Mistral
python minigpt4_video_demo.py --ckpt path_to_video_checkpoint --cfg-path test_configs/mistral_test_config.yaml

推理

按照上述步骤操作，然后用此步骤替换第 4 步
Goldfish 推理

# 为获得推荐性能，请在以下命令中添加参数 --use_openai_embedding True，并将 API 密钥设置到环境变量 OPENAI_API_KEY 中；否则模型将使用默认嵌入。
export OPENAI_API_KEY="your_openai_key" 
# Llama2
python goldfish_inference.py --ckpt path_to_llama2_checkpoint --cfg-path test_configs/llama2_test_config.yaml --video_path path_to_video --question "Your question here" 
# Mistral
python goldfish_inference.py --ckpt path_to_mistral_checkpoint --cfg-path test_configs/mistral_test_config.yaml --video_path path_to_video --question "Your question here" 

MiniGPT4-Video 推理

# Llama2
python minigpt4_video_inference.py --ckpt path_to_llama2_checkpoint --cfg-path test_configs/llama2_test_config.yaml --video_path path_to_video --question "Your question here" 
# Mistral
python minigpt4_video_inference.py --ckpt path_to_mistral_checkpoint --cfg-path test_configs/mistral_test_config.yaml --video_path path_to_video --question "Your question here" 

:fire: 训练

对于 Goldfish 和 MiniGPT4-Video，唯一需要训练的部分是 MiniGPT4-Video 模型。

为您的专属视频-文本数据集定制 MiniGPT4-Video

您可以在 Custom_training.md 中找到为您的视频-文本数据集定制 MiniGPT4-Video 的步骤。

训练数据集

下载以下数据集后，请前往数据集配置文件夹 minigpt4/configs/datasets，在那里设置每个数据集的路径。
图像-文本训练
您可以在 MiniGPT4 中找到下载这些数据集的步骤。

• LAION
  
• Conceptual Captions
  
• SBU
  

视频-文本训练：

• CMD
  
• Webvid
  
• Video Instructional Dataset 100K
  

您可以在这里找到视频-文本数据集的标注文件 下载

模型训练：

您可以在下面的每个 script.sh 文件中调整 GPU 数量。

第一阶段（图像-文本预训练）

您可以直接下载与 Llama2 对齐的预训练 MiniGPT4 检查点。

或者自行训练：

# 预训练
# Llama2
torchrun --nproc-per-node NUM_GPU train.py --cfg-path train_configs/224_minigpt4_llama2_image.yaml
# Mistral
torchrun --nproc-per-node NUM_GPU train.py --cfg-path train_configs/224_minigpt4_mistral_image.yaml

# 对齐
# 要启动第二阶段对齐，首先指定在预训练阶段训练好的检查点文件路径。
# Llama2
torchrun --nproc-per-node NUM_GPU train.py --cfg-path train_configs/224_minigpt4_llama2_image_align.yaml
# Mistral
torchrun --nproc-per-node NUM_GPU train.py --cfg-path train_configs/224_minigpt4_mistral_image_align.yaml

您可以从这里下载我们在此阶段训练好的权重 Llama2 Mistral

第二阶段（视频字幕预训练）

对于 Llama2
将脚本中的 cfg-path 设置为 train_configs/224_v2_llama2_video_stage_2.yaml
并将模型名称在此处设置为 minigpt4/configs/datasets/cmd_video/default.yaml 和 minigpt4/configs/datasets/webvid/default.yaml 为 llama2
对于 Mistral
将脚本中的 cfg-path 设置为 train_configs/224_v2_mistral_video_stage_2.yaml
并将模型名称在此处设置为 minigpt4/configs/datasets/cmd_video/default.yaml 和 minigpt4/configs/datasets/webvid/default.yaml 为 mistral

bash training_scripts/stage_2.sh

您可以从这里下载我们在此阶段训练好的权重 Llama2 Mistral

第三阶段（视频指令微调）

对于 Llama2
将脚本中的 cfg-path 设置为 train_configs/224_v2_llama2_video_stage_3.yaml
并将模型名称在此处设置为 minigpt4/configs/datasets/video_chatgpt/default.yaml 为 llama2

对于 Mistral
将脚本中的 cfg-path 设置为 train_configs/224_v2_mistral_video_stage_3.yaml
并将模型名称在此处设置为 minigpt4/configs/datasets/video_chatgpt/default.yaml 为 mistral

bash training_scripts/stage_3.sh

您可以从这里下载我们在此阶段训练好的权重 Llama2 Mistral

:zap: MiniGPT4-Video 评估

要复现结果，请使用每个模型的最佳检查点：
Llama2 Mistral
我们采用了与Video-ChatGPT相同的评估方法。

方法	使用字幕	信息正确性	细节导向性	上下文理解	时间顺序理解	一致性
LLaMA Adapter	:x:	2.03	2.32	2.30	1.98	2.15
Video LLaMA	:x:	1.96	2.18	2.16	1.82	1.79
Video Chat	:x:	2.23	2.50	2.53	1.94	2.24
Video-ChatGPT	:x:	2.40	2.52	2.62	1.98	2.37
BT-Adapter-7B	:x:	2.68	2.69	3.27	2.34	2.46
LLaMA-VID-7B	:x:	2.96	3.00	3.53	2.46	2.51
我们的7B Llama2	:x:	2.93	2.97	3.45	2.47	2.60
我们的7B Llama2	:white_check_mark:	3.08	3.02	3.57	2.65	2.67
我们的7B Mistral	:x:	2.83	2.52	3.01	2.32	2.40
我们的7B Mistral	:white_check_mark:	2.91	2.57	3.11	2.33	2.39

方法	使用字幕	MSVD 准确率↑	MSVD 分数↑	MSRVTT 准确率↑	MSRVTT 分数↑	TGIF 准确率↑	TGIF 分数↑	ActivityNet 准确率↑	ActivityNet 分数↑	TVQA 准确率↑
FrozenBiLM	:x:	32.2	--	16.8	--	41	--	24.7	--	29.7
LLaMA Adapter	:x:	54.9	3.1	43.8	2.7	--	--	34.2	2.7	--
Video LLaMA	:x:	51.6	2.5	29	1.8	--	--	12.4	1.1	--
Video Chat	:x:	56.3	2.8	45	2.5	34.4	2.3	26.5	2.2	--
Video-ChatGPT	:x:	64.9	3.3	49.3	2.8	51.4	3.0	35.2	2.7	23.35
BT-Adapter-7B	:x:	67.7	3.7	57	3.2	--	--	45.7	3.2	--
LLaMA-VID-7B	:x:	69.7	3.7	57.7	3.2	--	--	47.4	3.3	--
我们的7B LLama2	:x:	72.93	3.84	58.83	3.29	67.9	3.71	45.85	3.23	36.45
我们的7B Llama2	:white_check_mark:	72.93	3.84	59.73	3.3	67.9	3.71	46.3	3.4	46.94
我们的7B Mistral	:x:	73.92	4.06	58.26	3.52	72.22	4.08	44.25	3.35	33.90
我们的7B Mistral	:white_check_mark:	73.92	4.06	58.68	3.53	72.22	4.08	44.38	3.36	54.21

下载用于评估的数据集

• MSVD
  
• MSRVTT
  
• TGIF
  
• ActivityNet
  
• TVQA
  
• Video-ChatGPT 基准测试
  

您可以在Hugging Face上找到评估数据集的标注文件。

MSR-VTT和ActivityNet的字幕可在此下载：download 请注意，这些字幕是使用Whisper模型生成的。
TVQA的字幕可以从这里下载。

运行评估脚本

在脚本中设置每个评估脚本的参数：

NAME="" # 实验名称
BATCH_SIZE=8 # 批量大小 
CKPT_PATH="" # 检查点路径
DATASET="msvd" # 数据集名称，可用数据集：tvqa、msrvtt、msvd、activitynet、tgif、video_chatgpt_generic、video_chatgpt_temporal、video_chatgpt_consistency
# 设置数据集文件的路径
videos_path="" # 视频文件路径
subtitles_path="" # 字幕文件路径，如果是msrvtt、activitynet或tvqa，则填写；否则留空
ann_path="" # 注释文件路径
cfg_path="" # 配置文件路径

bash evaluation/minigpt4_video_eval/minigpt4_video_evalualtion.sh

然后使用GPT3.5 turbo将预测结果与真实答案进行比较，并生成准确率和分数。
在evaluate_benchmark.sh和evaluate_zeroshot.sh中设置以下变量：

PRED="预测结果路径"
OUTPUT_DIR="输出目录路径"
API_KEY="openAI密钥"
NUM_TASKS=128

然后，要评估[Video-ChatGPT基准]，运行以下脚本：

bash GPT_evaluation/evaluate_benchmark.sh

要评估开放式问题，运行以下脚本：

bash GPT_evaluation/evaluate_zeroshot.py

:zap: Goldfish 评估

针对四个基准的长视频评测结果：LLama-Vid、MovieChat、Movie QA以及我们提出的TVQA-Long。其中“V”模态表示仅使用视频帧，“V+T”表示同时使用视频帧和字幕

方法	模态	LLama-Vid 准确率↑	LLama-Vid 分数↑	MovieChat 准确率↑	MovieChat 分数↑	Movie QA 准确率↑	Movie QA 分数↑	TVQA-Long 准确率↑	TVQA-Long 分数↑
LLAMA-VID	V	20.68	2.41	53.2	3.81	24.42	2.19	24.63	2.16
MovieChat	V	11.71	1.45	NA	NA	16.18	1.68	5.0	0.86
我们	V	23.09	2.19	67.6	4.23	28.49	2.8	28.61	2.78
LLAMA-VID	V+T	41.4†	3.07†	NA	NA	37.65†	3.03†	26.86	2.21
我们	V+T	31.49	2.48	NA	NA	35.24	3.1	41.78	3.21

注：符号†表示该方法在训练时已使用过该基准，这意味着比较并不公平。

要复现结果，请使用checkpoints/video_llama_checkpoint_last.pth，并启用OpenAI嵌入--use_openai_embedding=True。

下载用于评估的数据集

对于 Llama-vid 和 MovieQA：
请从这里下载包含电影和标注的原始 MovieNet 数据。
这些将是 Llama-vid 和 MovieQA 的源视频。

如论文中所示并用于评估的过滤后标注：

Llama-vid
MovieQA
对于 Moviechat，在本工作中可用的视频仅为训练数据的 10%，这也是我们用于评估的数据，可在此处找到：这里。
完整数据集可在此处找到：这里。
对于 TVQA-Long：
如果您想将 TVQA-Long 用于其他模型（如 llama-vid），则视频和标注均可在此处找到：TVQA-Long。
在 Goldfish 评估中，我们将使用来自原始 TVQA 数据集的分离片段。

运行评估脚本

# Llama-vid 评估
# 在脚本中设置以下参数：
videos_path="视频路径"
subtitle_path="字幕路径"
video_clips_saving_path="保存视频片段的路径"
annotation_file="标注文件路径"
movienet_annotations_dir="MovieNet 标注目录路径"
NEIGHBOURS=3
use_openai_embedding="是否使用 OpenAI 嵌入"
# 然后运行脚本
bash evaluation/Goldfish_eval/movies/eval_model_summary_llama_vid.sh

# MovieQA 评估
# 同上，但将脚本中的参数设置为 MovieQA 的路径
bash evaluation/Goldfish_eval/movies/eval_model_summary_movie_qa.sh

# MovieChat 评估
# 在脚本中设置以下参数：
dataset_path="电影文件夹路径"
annotation_json_folder="JSON 文件夹路径"
# 然后运行脚本
bash evaluation/Goldfish_eval/movies/eval_model_summary_movie_chat.sh

TVQA-Long

在 Goldfish 评估中，我们可以使用原始 TVQA 数据集中分离出的片段。
请从这里下载原始 TVQA 视频及短片字幕。
TVQA-Long 的标注文件可在这里获取。
TVQA 的 JSON 字幕文件可在这里获取。

# 在脚本中设置以下参数：
tvqa_json_subtitles="TVQA JSON 字幕文件路径"
tvqa_clips_subtitles="TVQA 片段字幕路径"
videos_frames="视频帧路径"
tvqa_long_annotation="TVQA-Long 标注文件路径"
NEIGHBOURS=3
use_openai_embedding="是否使用 OpenAI 嵌入"
# 然后运行脚本
bash evaluation/Goldfish_eval/tvqa_eval/eval_model_summary.sh

随后使用 GPT-3.5 turbo 将预测结果与真实答案进行对比，并生成准确率和得分。
在 evaluate_zeroshot.sh 中设置以下变量：

PRED="预测结果路径"
OUTPUT_DIR="输出目录路径"
API_KEY="OpenAI API 密钥"
NUM_TASKS=128

要评估开放式问题，请运行以下脚本：

bash GPT_evaluation/evaluate_zeroshot.sh

引用

如果您在研究或应用中使用 MiniGPT4-Video 或 Goldfish，请使用以下 BibTeX 格式引用：

@misc{ataallah2024goldfishvisionlanguageunderstandingarbitrarily,
      title={Goldfish: Vision-Language Understanding of Arbitrarily Long Videos}, 
      author={Kirolos Ataallah and Xiaoqian Shen and Eslam Abdelrahman and Essam Sleiman and Mingchen Zhuge and Jian Ding and Deyao Zhu and Jürgen Schmidhuber and Mohamed Elhoseiny},
      year={2024},
      eprint={2407.12679},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2407.12679}, 
}
@article{ataallah2024minigpt4,
  title={MiniGPT4-Video: Advancing Multimodal LLMs for Video Understanding with Interleaved Visual-Textual Tokens},
  author={Ataallah, Kirolos and Shen, Xiaoqian and Abdelrahman, Eslam and Sleiman, Essam and Zhu, Deyao and Ding, Jian and Elhoseiny, Mohamed},
  journal={arXiv preprint arXiv:2404.03413},
  year={2024}
}

致谢

MiniGPT4
Video-ChatGPT

许可证

本仓库采用 BSD 3-Clause 许可证。许多代码基于 MiniGPT4。

MiniGPT4-video 快速上手指南

MiniGPT4-video 是一个先进的多模态大语言模型，专为视频理解设计。本仓库包含两个核心模型：

• MiniGPT4-Video：擅长处理短视频理解，通过交错视觉 - 文本令牌提升性能。
• Goldfish：专为任意长度长视频设计，通过高效检索机制解决长视频中的噪声冗余及显存计算挑战。

1. 环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux (推荐 Ubuntu 18.04+)
• GPU：NVIDIA GPU (建议显存 16GB 以上，具体取决于模型大小)
• 软件依赖：
  • Python 3.8+
  • Conda (用于环境管理)
  • CUDA Toolkit (与您的显卡驱动匹配)
  • Git

2. 安装步骤

2.1 克隆代码库

git clone https://github.com/Vision-CAIR/MiniGPT4-video.git
cd MiniGPT4-video

2.2 创建并激活虚拟环境

使用提供的 environment.yml 文件创建 Conda 环境：

conda env create -f environment.yml
conda activate minigpt4-video

(注：如果下载依赖较慢，可尝试配置国内镜像源，如清华源或阿里源)

2.3 下载模型检查点

根据需求选择下载 Llama2 或 Mistral 版本的预训练权重：

模型版本	下载链接
MiniGPT4-Video (Llama2 Chat 7B)	Download
MiniGPT4-Video (Mistral 7B)	Download

下载后，请记下检查点文件的路径（例如：./checkpoints/video_llama_checkpoint_last.pth）。

3. 基本使用

本部分展示如何运行推理脚本对单个视频进行问答。

3.1 设置环境变量 (仅 Goldfish/长视频推荐)

如果您使用 Goldfish 处理长视频，为了获得最佳检索性能，建议配置 OpenAI API Key 以使用高质量 Embedding。如果不配置，模型将使用默认 Embedding。

export OPENAI_API_KEY="your_openai_key"

3.2 运行推理示例

请根据您的模型类型（Llama2 或 Mistral）和应用场景（短视频 MiniGPT4-Video 或 长视频 Goldfish）选择以下命令之一。

场景 A：短视频理解 (MiniGPT4-Video)

适用于几分钟内的短视频分析。

使用 Llama2 版本：

python minigpt4_video_inference.py --ckpt path_to_llama2_checkpoint --cfg-path test_configs/llama2_test_config.yaml --video_path path_to_video --question "Your question here"

使用 Mistral 版本：

python minigpt4_video_inference.py --ckpt path_to_mistral_checkpoint --cfg-path test_configs/mistral_test_config.yaml --video_path path_to_video --question "Your question here"

场景 B：长视频理解 (Goldfish)

适用于电影、电视剧集等长视频内容分析。

使用 Llama2 版本：

python goldfish_inference.py --ckpt path_to_llama2_checkpoint --cfg-path test_configs/llama2_test_config.yaml --video_path path_to_video --question "Your question here"

使用 Mistral 版本：

python goldfish_inference.py --ckpt path_to_mistral_checkpoint --cfg-path test_configs/mistral_test_config.yaml --video_path path_to_video --question "Your question here"

参数说明：

• --ckpt: 替换为您下载的 .pth 检查点文件的实际路径。
• --video_path: 替换为您本地视频文件的实际路径。
• --question: 替换为您想要询问关于视频的具体问题。
• --cfg-path: 配置文件路径，通常无需修改，保持默认即可。

3.3 启动交互式 Demo (可选)

如果您希望启动一个本地的交互式界面进行测试，可以使用以下命令：

MiniGPT4-Video Demo:

# Llama2
python minigpt4_video_demo.py --ckpt path_to_video_checkpoint --cfg-path test_configs/llama2_test_config.yaml

Goldfish Demo:

# Llama2 (如需开启 OpenAI Embedding 优化，请确保已 export OPENAI_API_KEY)
python goldfish_demo.py --ckpt path_to_video_checkpoint --cfg-path test_configs/llama2_test_config.yaml