独角兽 视频-ChatGPT :movie_camera: :speech_balloon:

视频-ChatGPT：通过大型视觉与语言模型实现细节丰富的视频理解 [ACL 2024 🔥]

Muhammad Maaz* , Hanoona Rasheed* , Salman Khan 和 Fahad Khan

* 共同第一作者

穆罕默德·本·扎耶德人工智能大学

---

多样化视频生成性能基准测试 (VCGBench-Diverse)

基于视频的生成性能基准测试

零样本问答评估

---

演示	论文	演示片段	离线演示	训练	视频指令数据	定量评估	定性分析
			离线演示	训练	视频指令数据集	定量评估	定性分析

---

:loudspeaker: 最新动态

• 25年3月28日：移动版-VideoGPT 发布。它在多个基准测试中取得了优异成绩，吞吐量提高了两倍。请查看 移动版-VideoGPT :fire::fire:

---

• 24年6月14日：VideoGPT+ 发布。它在多个基准测试中达到了最先进水平。请访问 [VideoGPT+] (https://github.com/mbzuai-oryx/VideoGPT-plus) 了解详情 :fire::fire:
• 24年6月14日：半自动视频标注流水线 发布。请访问 GitHub 和 HuggingFace 查看详情 :fire::fire:
• 24年6月14日：VCGBench-Diverse 基准测试 发布。该基准提供了涵盖18个视频类别的4,354组人工标注的问答对，用于全面评估视频对话模型的性能。请访问 GitHub 和 HuggingFace 查看详情 :fire::fire:

---

• 24年5月16日：视频-ChatGPT 被 ACL 2024 接受！ 🎊🎊
• 23年9月30日：我们的 VideoInstruct100K 数据集可从 HuggingFace/VideoInstruct100K 下载。 :fire::fire:
• 23年7月15日：我们针对基于视频的对话模型的定量评估基准现在有了专门的网站：https://mbzuai-oryx.github.io/Video-ChatGPT。 :fire::fire:
• 23年6月28日：更新了 GitHub 说明文档，其中包含了视频-ChatGPT 与近期模型——Video Chat、Video LLaMA 和 LLaMA Adapter 的基准比较。在这些先进的对话模型中，视频-ChatGPT 依然保持着最先进的性能。:fire::fire:
• 23年6月8日：发布了训练代码、离线演示、教学数据和技术报告。所有资源，包括模型、数据集和提取的特征，均可在此处获取 这里。 :fire::fire:
• 23年5月21日：视频-ChatGPT 演示发布。

---

在线演示 :computer:

:fire::fire: 您可以通过提供的示例或上传自己的视频来试用我们的演示 在这里。 :fire::fire:

:fire::fire: 或者点击图片即可试用演示！ :fire::fire: 您可以在 这里查看我们演示的所有视频。

---

视频-ChatGPT 概述 :bulb:

视频-ChatGPT 是一种能够围绕视频生成有意义对话的视频对话模型。它结合了大型语言模型的能力，并配备了一个为时空视频表示而优化的预训练视觉编码器。

---

贡献 :trophy:

• 我们引入了10万对高质量的视频-指令数据，并提出了一种可扩展的新型标注框架，能够生成多样化且高质量的视频特定指令集。
• 我们开发了首个用于基准测试视频对话模型的定量视频对话评估框架。
• 具备独特的多模态（视觉-语言）能力，结合视频理解和语言生成，并通过定量和定性的比较，在视频推理、创造力、时空理解以及动作识别等任务上进行了全面评估。

---

安装 :wrench:

我们建议为该项目设置一个 conda 环境：

conda create --name=video_chatgpt python=3.10
conda activate video_chatgpt

git clone https://github.com/mbzuai-oryx/Video-ChatGPT.git
cd Video-ChatGPT
pip install -r requirements.txt

export PYTHONPATH="./:$PYTHONPATH"

此外，为了进行训练，请安装 FlashAttention：

pip install ninja

git clone https://github.com/HazyResearch/flash-attention.git
cd flash-attention
git checkout v1.0.7
python setup.py install

---

离线运行演示 :cd:

要离线运行演示，请参阅 offline_demo.md 中的说明。

---

训练 :train:

有关训练的说明，请查看 train_video_chatgpt.md。

---

视频指令数据集 :open_file_folder:

我们发布了用于训练 Video-ChatGPT 模型的10万条高质量视频指令数据集。您可以从 这里 下载该数据集。 关于用于生成该数据的人工辅助与半自动标注框架的更多详细信息，请参阅 VideoInstructionDataset.md。

---

定量评估 :bar_chart:

我们的论文提出了一种新的基于视频的对话模型定量评估框架。如需探索我们的基准测试并深入了解该框架， 请访问我们的专用网站：https://mbzuai-oryx.github.io/Video-ChatGPT。

有关如何进行定量评估的详细说明，请参阅 QuantitativeEvaluation.md。

提供了 基于视频的生成性能基准测试 和 零样本问答评估 表格，以供详细性能概览。

零样本问答评估

模型	MSVD-QA		MSRVTT-QA		TGIF-QA		Activity Net-QA
	准确率	分数	准确率	分数	准确率	分数	准确率	分数
FrozenBiLM	32.2	--	16.8	--	41.0	--	24.7	--
Video Chat	56.3	2.8	45.0	2.5	34.4	2.3	26.5	2.2
LLaMA Adapter	54.9	3.1	43.8	2.7	-	-	34.2	2.7
Video LLaMA	51.6	2.5	29.6	1.8	-	-	12.4	1.1
Video-ChatGPT	64.9	3.3	49.3	2.8	51.4	3.0	35.2	2.7

---

基于视频的生成性能基准测试

评估方面	Video Chat	LLaMA Adapter	Video LLaMA	Video-ChatGPT
信息准确性	2.23	2.03	1.96	2.40
细节导向性	2.50	2.32	2.18	2.52
上下文理解	2.53	2.30	2.16	2.62
时间理解	1.94	1.98	1.82	1.98
一致性	2.24	2.15	1.79	2.37

---

定性分析 :mag:

对 Video-ChatGPT 在多项任务中的表现进行全面评估。

视频推理任务 :movie_camera:

---

创意与生成任务 :paintbrush:

---

空间理解 :globe_with_meridians:

---

视频理解和对话任务 :speech_balloon:

---

动作识别 :runner:

---

问答任务 :question:

---

时间理解 :hourglass_flowing_sand:

---

致谢 :pray:

• LLaMA：一项致力于开放高效大语言模型的伟大尝试！
• Vicuna：拥有令人惊叹的语言能力！
• LLaVA：我们的架构灵感来源于 LLaVA。
• 感谢 MBZUAI 的同事们在视频标注任务中做出的重要贡献，包括 Salman Khan、Fahad Khan、Abdelrahman Shaker、Shahina Kunhimon、Muhammad Uzair、Sanoojan Baliah、Malitha Gunawardhana、Akhtar Munir、 Vishal Thengane、Vignagajan Vigneswaran、Jiale Cao、Nian Liu、Muhammad Ali、Gayal Kurrupu、Roba Al Majzoub、 Jameel Hassan、Hanan Ghani、Muzammal Naseer、Akshay Dudhane、Jean Lahoud、Awais Rauf、Sahal Shaji、Bokang Jia， 没有他们的努力，本项目将无法实现。

如果您在研究或应用中使用 Video-ChatGPT，请使用以下 BibTeX 格式引用：

@inproceedings{Maaz2023VideoChatGPT,
    title={Video-ChatGPT: Towards Detailed Video Understanding via Large Vision and Language Models},
    author={Maaz, Muhammad and Rasheed, Hanoona and Khan, Salman and Khan, Fahad Shahbaz},
    booktitle={Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (ACL 2024)},
    year={2024}
}

许可证 :scroll:

本作品采用 知识共享 署名-非商业性使用-相同方式共享 4.0 国际许可协议授权。

我们期待您的反馈、贡献和星级评价！ :star2: 如有任何问题或疑问，请在此处提交：这里。

---

Video-ChatGPT 快速上手指南

Video-ChatGPT 是一款能够生成有意义视频对话的多模态模型。它结合了大型语言模型（LLM）的能力与专为时空视频表示而预训练的视觉编码器。

1. 环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐 Ubuntu)
• Python 版本: 3.10
• 硬件: 支持 CUDA 的 NVIDIA GPU (用于训练和推理)
• 依赖管理: Conda

2. 安装步骤

2.1 创建并激活 Conda 环境

首先创建一个名为 video_chatgpt 的独立环境：

conda create --name=video_chatgpt python=3.10
conda activate video_chatgpt

2.2 克隆项目并安装基础依赖

下载源代码并安装 requirements.txt 中的依赖包：

git clone https://github.com/mbzuai-oryx/Video-ChatGPT.git
cd Video-ChatGPT
pip install -r requirements.txt

export PYTHONPATH="./:$PYTHONPATH"

提示：国内用户若遇到 pip 下载缓慢，可添加清华源加速： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

2.3 安装 FlashAttention (训练必需)

为了获得最佳训练性能，需要额外安装 FlashAttention (v1.0.7)：

pip install ninja

git clone https://github.com/HazyResearch/flash-attention.git
cd flash-attention
git checkout v1.0.7
python setup.py install

3. 基本使用

3.1 在线体验 (无需安装)

如果您只想快速测试模型效果，可以直接访问官方提供的在线 Demo，支持上传自有视频或试用示例视频：

• Demo 地址: https://www.ival-mbzuai.com/video-chatgpt

3.2 离线运行 Demo

若需在本地运行演示程序，请参考项目目录下的详细文档：

• 操作指南: docs/offline_demo.md

3.3 模型训练

若需使用自定义数据训练模型，请查阅训练专用文档：

• 操作指南: docs/train_video_chatgpt.md

3.4 数据集获取

本项目发布了用于训练的 10 万条高质量视频指令数据集 (VideoInstruct-100K)：

• 下载地址: HuggingFace - VideoInstruct-100K