MovieChat

MovieChat：从密集 Token 到稀疏记忆用于长视频理解
Enxin Song*, Wenhao Chai*, Guanhong Wang*, Yucheng Zhang, Haoyang Zhou, Feiyang Wu, Xun Guo, Tian Ye, Yan Lu, Jenq-Neng Hwang, Gaoang Wang✉️
CVPR 2024.

MovieChat 可以在 24GB 显存的显卡上处理超过 10K 帧的视频。在每帧 GPU 显存成本的平均增加方面（从 21.3KB/帧 到 ~200MB/帧），MovieChat 比其他方法具有 10000 倍的优势。

如果您喜欢我们的项目，请在 GitHub 上给我们点个星 ⭐ 以获取最新更新。

🔢 MovieChat-1K 排行榜

欢迎提交您的新结果！

🔢 MovieChat 在现有基准测试上的评估

按字母顺序排列。

:fire: 最新动态

• [2024.10.26] :keyboard: 我们将 MovieChat, MovieChat_OneVision, MovieChat-1K 上传至 lmms-eval。
• [2024.10.26] :keyboard: 我们发布了 MovieChat 的新版本，该版本使用 LLaVA-OneVision 作为基础模型，替代了原有的 VideoLLaMA。新版本可在 MovieChat_Onevision 获取。
• [2024.6.13] :film_projector: 我们在 Hugging Face 上发布了 MovieChat 测试集的真实标签 (ground truth)。
• [2024.5.10] :film_projector: 我们在 Hugging Face 上发布了 MovieChat 训练集的原始视频。
• [2024.4.29] :page_with_curl: 我们更新了 MovieChat+ 论文，包含实现细节、技术评估和数据集信息。
• [2024.4.25] :keyboard: 我们更新了 MovieChat+ 的新版本。我们发布了 MovieChat+ 代码 和相应的 评估代码。我们的论文即将发布！
• [2024.4.19] :keyboard: 我们将 MovieChat 的最新源代码更新至 PyPI (Python 包索引)。现在您可以直接使用 pip install Moviechat 安装并使用 MovieChat！
• [2024.3.25] :bar_chart: 我们在 CVPR 2024 会议上主办了 第四届长视频理解国际研讨会：迈向多模态 AI 助手和副驾驶 (Copilot) 的挑战赛道 1。您可以参与挑战并通过 Codalab 提交您的结果。我们将在 排行榜 上展示结果。对于每位参与者，我们希望您能以 JSON 格式提交结果，并报告平均运行时间和显存 (VRAM) 使用情况。我们将使用这些指标来筛选最高效的方法。关于挑战的详细信息，请参阅此 链接。
• [2024.3.11] :film_projector: 我们在 Hugging Face 上发布了 MovieChat-1K 的测试集。每个视频包含 3 个全局问题和 10 个断点问题。
• [2024.2.27] :tada: 我们的论文被 CVPR 2024 接收！
• [2024.2.14] :film_projector: 我们在 Hugging Face 上发布了 MovieChat-1K 的训练集。由于版权限制，我们分享由 eva_vit_g 提取的片段特征，每个视频包含 8192 帧。
• [2023.11.27] :page_with_curl: 我们更新了 论文，包含实现细节、技术评估和数据集信息。
• [2023.11.23] :keyboard: 我们更新了 MovieChat 的最新源代码。
• [2023.8.1] :page_with_curl: 我们发布了 论文。
• [2023.7.31] :keyboard: 我们发布了用于 MSVD-QA, MSRVTT-QA 和 ActivityNet-QA 短视频问答 (QA) 的评估 代码和说明。
• [2023.7.29] :joystick: 我们发布了 MovieChat 的 Gradio 演示。
• [2023.7.22] :keyboard: 我们发布了 MovieChat 的源代码。

📊MovieChat-1K 上的性能对比

✨如何快速运行 MovieChat？

我们将 MovieChat 打包并上传到了 PyPI。要快速运行 MovieChat，您需要先安装它。

pip install MovieChat

我们建议您目前安装版本 0.6.3。由于 MovieChat 会自动从 Huggingface 下载检查点（checkpoints），如果您的服务不支持从 进行 git clone，我们建议您将检查点下载到您的服务中，并更改包中的相应路径，包括 q_former_model、ckpt_path，以及 llama_model。

在您运行以下推理代码之前，希望您能通过 ffprobe -version 验证 ffprobe 的安装情况。如果正确安装，该命令应返回 ffprobe 的版本。否则，您应该通过 sudo apt-get install ffmpeg (Ubuntu) 进行安装。

from PIL import Image
import cv2

from MovieChat.processors.video_processor import AlproVideoEvalProcessor
from MovieChat.models.chat_model import Chat
from MovieChat.models.moviechat import MovieChat

device = 'cuda:0'
print('Initializing Chat')
moviechat_model = MovieChat.from_config(device=device).to(device)
vis_processor_cfg = {'name': 'alpro_video_eval', 'n_frms': 8, 'image_size': 224}
frame_processor = AlproVideoEvalProcessor.from_config(vis_processor_cfg)
chat = Chat(moviechat_model, frame_processor, device=device)
print('Initialization Finished')

video_path = "Your video path, end with mp4"
fragment_video_path = "The path to store tmp video clips"
middle_video = False # True->Breakpoint mode, False->Global mode
question = "Your Question"
cur_min = 0 # Change it when Breakpoint mode
cur_sec = 0 # Change it when Breakpoint mode

cap = cv2.VideoCapture(video_path)
cur_fps = cap.get(cv2.CAP_PROP_FPS)
cap.set(cv2.CAP_PROP_POS_FRAMES, cur_fps)
ret, frame = cap.read()
rgb_frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
pil_image = Image.fromarray(rgb_frame)
image = chat.image_vis_processor(pil_image).unsqueeze(0).unsqueeze(2).half().to(device)
cur_image = chat.model.encode_image(image)

img_list = []
msg = chat.upload_video_without_audio(
    video_path=video_path, 
    fragment_video_path=fragment_video_path,
    cur_min=cur_min, 
    cur_sec=cur_sec, 
    cur_image=cur_image, 
    img_list=img_list, 
    middle_video=middle_video,
    question=question
)
answer = chat.answer(
    img_list=img_list,
    input_text=question,
    msg = msg,
    num_beams=1,
    temperature=1.0,
    max_new_tokens=300,
    max_length=2000)[0]

print(answer)

注意，如果您收到类似 "Error reading <filename.mp4>" 的 RuntimeError，一种解决方案是使用任何其他视频文件初始化 <filename.mp4>。

💡 概述

📣 演示视频

⚡ 对比案例

😍 示例

🚀 基准测试：MovieChat-1K

为了更好地评估 MovieChat 的性能，我们收集了一个用于长视频理解任务的新基准 MovieChat-1K，该基准包含来自各种电影和电视剧的 1K 个高质量视频片段，并附有 14K 条人工标注。

据我们所知，目前尚未建立长视频理解数据集。我们的工作代表了创建并公开此类数据集的第一步。我们创建了 MovieChat-1K，包含 1K 个长视频及对应的 1K 个密集描述（dense captions），以及 13K 个视觉问答对（visual question-answer pairs）。对于每个视频，我们手动设置并提供 1 个覆盖整个视频的密集描述，3 个全局模式（global mode）的问答对，以及 10 个带时间戳的断点模式（breakpoint mode）的问答对。

我们从 15 个流行类别中收集了视频，分布各不相同，包括纪录片、侦探片、动画片等。其中，每个视频由多个交替的场景组成，在集合背景下贡献了多样且动态的视觉叙事。超过 90% 的视频时长范围为 10K 到 12K 帧，而 14.6% 的视频时长超过 12K 帧。只有 8.6% 的视频时长少于 10K 帧。

问答对

词分布

请注意，MovieChat-1K 是专门为长视频理解任务设计的，大多数问题是开放式的，只有四分之一被归类为选择题，以"Do," "Does," "Is,"或"Are"等引导词标记。我们还计算了所提供问答对的词分布，其中包括常见物体（人、衣服等）、时间（白天、夜晚等）、场景（室内、室外等）等。

句子长度分布

MovieChat-1K 在分段片段级别上展示了多样化的问答对长度。尽管全局模式和断点模式之间的问答对分布有所不同，但大多数问题的长度倾向于集中在 5-15 个单词之间，而答案的长度通常少于 10 个单词。

密集描述

为了促进对长视频的更详细理解，我们为每个视频提供了一个密集描述。MovieChat-1K 在分段片段级别上展示了多样化的描述长度。大约三分之二的片段拥有 100-149 个单词的描述，而五分之一的片段描述少于 100 个单词。约 11% 的片段拥有超过 150 个单词的长描述。

为了分析生成描述的词分布，我们计算了它们的分布。生成的描述词分布如图 B6 所示，其中包括常见物体（男人、女人、人、女孩等）、属性（侦探、各种、小、白色等）、位置（内部、后面、南边、旁边等）、场景（房间、房子、建筑、办公室等）、动作/事件（交谈、进入、离开、拿取等）等。

就动作性而言，MovieChat-1K 描述中的动词数量与 WebVid10M 数据集几乎相同。为了评估这一点，我们使用 NLTK 工具包来分析描述中的动词数量，专注于提取和标记所有唯一的动词。我们发现 WebVid10M 描述数据集中总共有 109,485 个动词，而 MovieChat-1K 描述中包含 102,988 个动词的唯一实例。虽然由于我们简单的计数方法，这些计数可能不完全准确，但我们认为它们提供了两个数据集动作性的粗略指示。

🔐 © 由于版权顾虑和电影大小限制，我们计划发布数据集的特征。请等待几周。

🛠️ 安装

环境准备

首先，创建一个 conda 环境：

conda env create -f environment.yml
conda activate moviechat

前置条件

在使用此仓库之前，请确保您已获得以下前提条件：

预训练语言解码器

• 按照 此处 的说明获取 Hugging Face 格式的原始 LLaMA 权重。
• 下载 Vicuna delta 权重 :point_right: [7B]（注意：我们使用 v0 权重 而不是 v1.1 权重）。
• 使用以下命令将 delta 权重添加到原始 LLaMA 权重中，以获得 Vicuna 权重：

python apply_delta.py \
    --base ckpt/LLaMA/7B_hf \
    --target ckpt/Vicuna/7B \
    --delta ckpt/Vicuna/vicuna-7b-delta-v0 \

MovieChat 的预训练视觉编码器

• 从 此链接 下载 MiniGPT-4 模型（训练好的线性层）。

下载预训练权重

• 从 此链接 下载预训练权重，以便在本地使用 Vicuna-7B 作为语言解码器运行 MovieChat。

🤖 如何在本地运行演示

首先，在 eval_configs/MovieChat.yaml 中设置 llama_model、llama_proj_model 和 ckpt。 然后运行脚本：

python inference.py \
    --cfg-path eval_configs/MovieChat.yaml \
    --gpu-id 0 \
    --num-beams 1 \
    --temperature 1.0 \
    --text-query "What is he doing?" \
    --video-path src/examples/Cooking_cake.mp4 \
    --fragment-video-path src/video_fragment/output.mp4 \
    --cur-min 1 \
    --cur-sec 1 \
    --middle-video 1 \

注意，如果您想使用全局模式（理解并回答整个视频的问题），请记住将 middle-video 改为 0。

🤝 致谢

我们要感谢以下对我们 MovieChat 项目有启发的优秀项目：

• Video-LLaMA: 面向视频理解的指令微调视听语言模型
• Token Merging: 更快的 ViT（视觉 Transformer）
• XMem: 基于 Atkinson-Shiffrin 记忆模型的长时视频目标分割
• MiniGPT-4: 利用先进的大语言模型增强视觉 - 语言理解
• FastChat: 用于训练、部署和评估基于大语言模型的聊天机器人的开放平台
• BLIP-2: 使用冻结图像编码器和大型语言模型引导语言 - 图像预训练
• EVA-CLIP: 大规模 CLIP 的训练技术改进
• LLaMA: 开源且高效的基础语言模型
• VideoChat: 以聊天为中心的视频理解
• LLaVA: 大型语言与视觉助手

🔒 使用条款

我们的 MovieChat 仅是一个研究预览版，仅供非商业用途。您严禁将我们的 MovieChat 用于任何非法、有害、暴力、种族主义或色情目的。严格禁止从事任何可能违反这些指南的活动。

✏️ 引用

如果您发现 MovieChat 对您的研究和应用有用，请使用以下 BibTeX 进行引用：

@article{song2023moviechat,
  title={MovieChat: From Dense Token to Sparse Memory for Long Video Understanding},
  author={Song, Enxin and Chai, Wenhao and Wang, Guanhong and Zhang, Yucheng and Zhou, Haoyang and Wu, Feiyang and Guo, Xun and Ye, Tian and Lu, Yan and Hwang, Jenq-Neng and others},
  journal={arXiv preprint arXiv:2307.16449},
  year={2023}
}

@article{song2024moviechat+,
  title={MovieChat+: Question-aware Sparse Memory for Long Video Question Answering},
  author={Song, Enxin and Chai, Wenhao and Ye, Tian and Hwang, Jenq-Neng and Li, Xi and Wang, Gaoang},
  journal={arXiv preprint arXiv:2404.17176},
  year={2024}
}

MovieChat 快速上手指南

MovieChat 是由 CVPR 2024 论文提出的开源工具，专注于长视频理解。它采用“从密集 Token 到稀疏记忆”的机制，能够在单张 24GB 显存的显卡上处理超过 10,000 帧的视频，显著降低了显存占用。最新版本已更新基于 LLaVA-OneVision 作为基础模型。

环境准备

• 操作系统: Linux / Windows / macOS
• 编程语言: Python >= 3.8
• 深度学习框架: PyTorch (需匹配 CUDA 版本)
• 硬件要求:
  • NVIDIA GPU (建议使用 24GB 显存以支持长视频处理)
  • CUDA Toolkit (根据 PyTorch 版本选择)

💡 提示: 若网络环境受限，建议在安装依赖时使用国内镜像源以提升下载速度。

安装步骤

1. 通过 PyPI 安装 (推荐)

MovieChat 已发布至 PyPI，可直接通过 pip 安装：

pip install Moviechat

若下载速度慢，可使用清华或阿里镜像源：

pip install Moviechat -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 源码部署 (可选)

如需获取最新评估代码或修改源码，可克隆仓库：

git clone https://github.com/rese1f/MovieChat.git
cd MovieChat

基本使用

运行 Gradio 演示

MovieChat 提供了便捷的 Web 界面进行交互式测试。请进入 Gradio_demo 目录并运行启动脚本：

cd Gradio_demo
python app.py

启动后，浏览器将自动打开本地链接，即可上传视频并进行问答测试。

模型评估

项目包含针对多个基准测试（如 ActivityNet-QA, MSVD-QA 等）的评估代码。具体执行方式请参考 eval_code 目录下的说明文档。

注：更多详细信息、数据集及论文请访问 GitHub 仓库。