VideoLLaMA 2：推进视频大模型中的时空建模与音频理解

如果我们的项目对您有所帮助，请在 GitHub 上给我们点个赞 ⭐，以支持我们。 🙏🙏

💡 您可能对我们团队的其他多模态大模型项目感兴趣 ✨。

VideoLLaMA 3：面向图像与视频理解的前沿多模态基础模型
Boqiang Zhang^* , Kehan Li^* , Zesen Cheng^* , Zhiqiang Hu^* , Yuqian Yuan^* , Guanzheng Chen^* , Sicong Leng^* , Yuming Jiang^* , Hang Zhang^* , Xin Li^* , Peng Jin, Wenqi Zhang, Fan Wang, Lidong Bing, Deli Zhao

Video-LLaMA：用于视频理解的指令微调音视频语言模型
Hang Zhang, Xin Li, Lidong Bing

VCD：通过视觉对比解码缓解大型视觉-语言模型中的对象幻觉问题
Sicong Leng^* , Hang Zhang^* , Guanzheng Chen, Xin Li, Shijian Lu, Chunyan Miao, Lidong Bing

多模态的诅咒：评估大型多模态模型在语言、视觉和音频方面的幻觉现象
Sicong Leng, Yun Xing, Zesen Cheng, Yang Zhou, Hang Zhang, Xin Li, Deli Zhao, Shijian Lu, Chunyan Miao, Lidong Bing

突破内存限制：近无限批量规模的对比损失
Zesen Cheng*, Hang Zhang*, Kehan Li*, Sicong Leng, Zhiqiang Hu, Fei Wu, Deli Zhao, Xin Li, Lidong Bing

📰 新闻

• [2025.01.21] 🚀🚀 我们很高兴地正式发布 VideoLLaMA3，它在图像和视频基准测试中性能全面提升，并附带多种易于操作的推理教程。立即试用吧！
• [2024.10.22] 发布 VideoLLaMA2.1-7B-AV 的检查点。音频视觉分支的代码可在此查看：https://github.com/DAMO-NLP-SG/VideoLLaMA2/tree/audio_visual。
• [2024.10.15] 发布 VideoLLaMA2.1-7B-16F-Base 和 VideoLLaMA2.1-7B-16F 的检查点。
• [2024.08.14] 发布 VideoLLaMA2-72B-Base 和 VideoLLaMA2-72B 的检查点。
• [2024.07.30] 发布 VideoLLaMA2-8x7B-Base 和 VideoLLaMA2-8x7B 的检查点。
• [2024.06.25] 🔥🔥 截至6月25日，我们的 VideoLLaMA2-7B-16F 在 MLVU排行榜 上是约70亿参数规模的视频大模型中的第一名。
• [2024.06.18] 🔥🔥 截至6月18日，我们的 VideoLLaMA2-7B-16F 在 VideoMME排行榜 上是约70亿参数规模的视频大模型中的第一名。
• [2024.06.17] 👋👋 更新技术报告，加入最新结果及遗漏的参考文献。如果您有与 VideoLLaMA 2 密切相关但未在论文中提及的工作，请随时告知我们。
• [2024.06.14] 🔥🔥 在线演示 已上线。
• [2024.06.03] 发布 VideoLLaMA 2 的训练、评估和推理代码。

🛠️ 环境要求与安装

基础依赖：

• Python >= 3.8
• Pytorch >= 2.2.0
• CUDA 版本 >= 11.8
• transformers == 4.40.0（用于复现论文结果）
• tokenizers == 0.19.1

[在线模式] 安装所需包（更适合开发）：

git clone https://github.com/DAMO-NLP-SG/VideoLLaMA2
cd VideoLLaMA2
pip install -r requirements.txt
pip install flash-attn==2.5.8 --no-build-isolation

[离线模式] 将 VideoLLaMA2 作为 Python 包安装（更适合直接使用）：

git clone https://github.com/DAMO-NLP-SG/VideoLLaMA2
cd VideoLLaMA2
pip install --upgrade pip  # 启用 PEP 660 支持
pip install -e .
pip install flash-attn==2.5.8 --no-build-isolation

🚀 主要结果

多选题视频问答与视频字幕生成

开放式视频问答

音频问答

音频-视觉问答

:earth_americas: 模型库

仅视觉检查点

模型名称	模型类型	视觉编码器	语言解码器	训练帧数
VideoLLaMA2-7B-Base	基础版	clip-vit-large-patch14-336	Mistral-7B-Instruct-v0.2	8
VideoLLaMA2-7B	对话版	clip-vit-large-patch14-336	Mistral-7B-Instruct-v0.2	8
VideoLLaMA2-7B-16F-Base	基础版	clip-vit-large-patch14-336	Mistral-7B-Instruct-v0.2	16
VideoLLaMA2-7B-16F	对话版	clip-vit-large-patch14-336	Mistral-7B-Instruct-v0.2	16
VideoLLaMA2-8x7B-Base	基础版	clip-vit-large-patch14-336	Mixtral-8x7B-Instruct-v0.1	8
VideoLLaMA2-8x7B	对话版	clip-vit-large-patch14-336	Mixtral-8x7B-Instruct-v0.1	8
VideoLLaMA2-72B-Base	基础版	clip-vit-large-patch14-336	Qwen2-72B-Instruct	8
VideoLLaMA2-72B	对话版	clip-vit-large-patch14-336	Qwen2-72B-Instruct	8
VideoLLaMA2.1-7B-16F-Base	基础版	siglip-so400m-patch14-384	Qwen2-7B-Instruct	16
VideoLLaMA2.1-7B-16F	对话版	siglip-so400m-patch14-384	Qwen2-7B-Instruct	16

音频-视觉检查点

模型名称	类型	音频编码器	语言解码器
VideoLLaMA2.1-7B-AV	对话版	微调后的 BEATs_iter3+(AS2M)(cpt2)	VideoLLaMA2.1-7B-16F

🤗 演示

强烈建议您先尝试我们的在线演示。

要在您的设备上运行基于视频的大型语言模型（LLM）Web 演示，您首先需要确保已准备好必要的模型检查点，然后按照以下步骤操作，即可成功启动演示。

单模型版本

• 直接启动 Gradio 应用程序（默认采用 VideoLLaMA2-7B）：

python videollama2/serve/gradio_web_server_adhoc.py

多模型版本

1. 启动全局控制器

cd /path/to/VideoLLaMA2
python -m videollama2.serve.controller --host 0.0.0.0 --port 10000

2. 启动 Gradio Web 服务器

python -m videollama2.serve.gradio_web_server --controller http://localhost:10000 --model-list-mode reload

3. 启动一个或多个模型工作节点

#  export HF_ENDPOINT=https://hf-mirror.com  # 如果无法访问 Hugging Face，请尝试取消注释此行。
python -m videollama2.serve.model_worker --host 0.0.0.0 --controller http://localhost:10000 --port 40000 --worker http://localhost:40000 --model-path /PATH/TO/MODEL1
python -m videollama2.serve.model_worker --host 0.0.0.0 --controller http://localhost:10000 --port 40001 --worker http://localhost:40001 --model-path /PATH/TO/MODEL2
python -m videollama2.serve.model_worker --host 0.0.0.0 --controller http://localhost:10000 --port 40002 --worker http://localhost:40002 --model-path /PATH/TO/MODEL3
...

🗝️ 训练与评估

快速入门

为了便于在我们的代码库基础上进行进一步开发，我们提供了一份快速入门指南，介绍如何使用 VideoLLaVA 数据集训练自定义的 VideoLLaMA2，并在主流视频 LLM 基准测试上评估训练好的模型。

1. 训练数据结构：

VideoLLaMA2
├── datasets
│   ├── videollava_pt
|   |   ├── llava_image/ # 可通过以下链接获取：https://pan.baidu.com/s/17GYcE69FcJjjUM0e4Gad2w?pwd=9ga3 或 https://drive.google.com/drive/folders/1QmFj2FcMAoWNCUyiUtdcW0-IOhLbOBcf?usp=drive_link
|   |   ├── valley/      # 可通过以下链接获取：https://pan.baidu.com/s/1jluOimE7mmihEBfnpwwCew?pwd=jyjz 或 https://drive.google.com/drive/folders/1QmFj2FcMAoWNCUyiUtdcW0-IOhLbOBcf?usp=drive_link
|   |   └── valley_llavaimage.json # 可通过以下链接获取：https://drive.google.com/file/d/1zGRyVSUMoczGq6cjQFmT0prH67bu2wXD/view，包含 703K 个视频-文本对和 558K 个图像-文本对
│   ├── videollava_sft
|   |   ├── llava_image_tune/  # 可通过以下链接获取：https://pan.baidu.com/s/1l-jT6t_DlN5DTklwArsqGw?pwd=o6ko
|   |   ├── videochatgpt_tune/ # 可通过以下链接获取：https://pan.baidu.com/s/10hJ_U7wVmYTUo75YHc_n8g?pwd=g1hf
|   |   └── videochatgpt_llavaimage_tune.json # 可通过以下链接获取：https://drive.google.com/file/d/1zGRyVSUMoczGq6cjQFmT0prH67bu2wXD/view，包含 100K 个以视频为中心、625K 个以图像为中心以及 40K 个纯文本对话

2. 命令：

# VideoLLaMA2-vllava 预训练
bash scripts/vllava/pretrain.sh
# VideoLLaMA2-vllava 微调
bash scripts/vllava/finetune.sh

3. 评估数据结构：

VideoLLaMA2
├── eval
│   ├── egoschema # 官方网站：https://github.com/egoschema/EgoSchema
|   |   ├── good_clips_git/ # 可通过以下链接获取：https://drive.google.com/drive/folders/1SS0VVz8rML1e5gWq7D7VtP1oxE2UtmhQ
|   |   └── questions.json  # 可通过以下链接获取：https://github.com/egoschema/EgoSchema/blob/main/questions.json
│   ├── mvbench # 官方网站：https://huggingface.co/datasets/OpenGVLab/MVBench
|   |   ├── video/
|   |   |   ├── clever/
|   |   |   └── ...
|   |   └── json/
|   |   |   ├── action_antonym.json
|   |   |   └── ...
│   ├── perception_test_mcqa # 官方网站：https://huggingface.co/datasets/OpenGVLab/MVBench
|   |   ├── videos/ # 可通过以下链接获取：https://storage.googleapis.com/dm-perception-test/zip_data/test_videos.zip
|   |   └── mc_question_test.json # 可从以下链接下载：https://storage.googleapis.com/dm-perception-test/zip_data/mc_question_test_annotations.zip
│   ├── videomme # 官方网站：https://video-mme.github.io/home_page.html#leaderboard
|   |   ├── test-00000-of-00001.parquet
|   |   ├── videos/
|   |   └── subtitles/
│   ├── Activitynet_Zero_Shot_QA # 官方网站：https://github.com/MILVLG/activitynet-qa
|   |   ├── all_test/   # 可通过以下链接获取：https://mbzuaiac-my.sharepoint.com/:u:/g/personal/hanoona_bangalath_mbzuai_ac_ae/EatOpE7j68tLm2XAd0u6b8ABGGdVAwLMN6rqlDGM_DwhVA?e=90WIuW
|   |   ├── test_q.json # 可通过以下链接获取：https://github.com/MILVLG/activitynet-qa/tree/master/dataset
|   |   └── test_a.json # 可通过以下链接获取：https://github.com/MILVLG/activitynet-qa/tree/master/dataset
│   ├── MSVD_Zero_Shot_QA # 官方网站：https://github.com/xudejing/video-question-answering
|   |   ├── videos/     
|   |   ├── test_q.json 
|   |   └── test_a.json
│   ├── videochatgpt_gen # 官方网站：https://github.com/mbzuai-oryx/Video-ChatGPT/tree/main/quantitative_evaluation
|   |   ├── Test_Videos/ # 可通过以下链接获取：https://mbzuaiac-my.sharepoint.com/:u:/g/personal/hanoona_bangalath_mbzuai_ac_ae/EatOpE7j68tLm2XAd0u6b8ABGGdVAwLMN6rqlDGM_DwhVA?e=90WIuW
|   |   ├── Test_Human_Annotated_Captions/ # 可通过以下链接获取：https://mbzuaiac-my.sharepoint.com/personal/hanoona_bangalath_mbzuai_ac_ae/_layouts/15/onedrive.aspx?id=%2Fpersonal%2Fhanoona%5Fbangalath%5Fmbzuai%5Fac%5Fae%2FDocuments%2FVideo%2DChatGPT%2FData%5FCode%5FModel%5FRelease%2FQuantitative%5FEvaluation%2Fbenchamarking%2FTest%5FHuman%5FAnnotated%5FCaptions%2Ezip&parent=%2Fpersonal%2Fhanoona%5Fbangalath%5Fmbzuai%5Fac%5Fae%2FDocuments%2FVideo%2DChatGPT%2FData%5FCode%5FModel%5FRelease%2FQuantitative%5FEvaluation%2Fbenchamarking&ga=1
|   |   ├── generic_qa.json     # 这三份 JSON 文件可通过以下链接获取：https://mbzuaiac-my.sharepoint.com/personal/hanoona_bangalath_mbzuai_ac_ae/_layouts/15/onedrive.aspx?id=%2Fpersonal%2Fhanoona%5Fbangalath%5Fmbzuai%5Fac%5Fae%2FDocuments%2FVideo%2DChatGPT%2FData%5FCode%5FModel%5FRelease%2FQuantitative%5FEvaluation%2Fbenchamarking%2FBenchmarking%5FQA&ga=1
|   |   ├── temporal_qa.json
|   |   └── consistency_qa.json

4. 命令：

# MVBench 评估
CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 bash scripts/eval/eval_video_qa_mvbench.sh
# Activitynet-qa 评估（需设置 Azure OpenAI 的密钥/端点/部署名称）
CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 bash scripts/eval/eval_video_qa_mvbench.sh

数据格式

如果您想使用自己的数据训练视频-LLM，需要按照以下步骤准备视频/图像的SFT数据：

1. 假设您的数据结构如下：

VideoLLaMA2
├── datasets
│   ├── custom_sft
│   |   ├── images
│   |   ├── videos
|   |   └── custom.json

2. 然后您需要按照以下格式重新组织标注好的视频/图像SFT数据：

[
    {
        "id": 0,
        "video": "images/xxx.jpg",
        "conversations": [
            {
                "from": "human",
                "value": "<image>\n图片中的公交车是什么颜色？"
            },
            {
                "from": "gpt",
                "value": "图片中的公交车是白色和红色的。"
            },
            ...
        ],
    }
    {
        "id": 1,
        "video": "videos/xxx.mp4",
        "conversations": [
            {
                "from": "human",
                "value": "<video>\n视频中主要发生了哪些活动？"
            },
            {
                "from": "gpt",
                "value": "视频中主要发生的活动包括一名男子在准备摄像设备、一群男子乘坐直升机，以及一名男子划船穿越水面。"
            },
            ...
        ],
    },
    ...
]

3. 修改 scripts/custom/finetune.sh：

...
--data_path datasets/custom_sft/custom.json
--data_folder datasets/custom_sft/
--pretrain_mm_mlp_adapter CONNECTOR_DOWNLOAD_PATH (例如：DAMO-NLP-SG/VideoLLaMA2.1-7B-16F-Base)
...

🤖 推理

视频/图像推理：

import sys
sys.path.append('./')
from videollama2 import model_init, mm_infer
from videollama2.utils import disable_torch_init


def inference():
    disable_torch_init()

    # 视频推理
    modal = 'video'
    modal_path = 'assets/cat_and_chicken.mp4' 
    instruct = '视频里有哪些动物？它们在做什么？这段视频给人什么感觉？'
    # 回答：
    # 视频中有一只小猫和一只小鸡在一起玩耍。小猫躺在地板上，而小鸡则蹦蹦跳跳地四处走动。两只动物之间互动得很有趣，整段视频给人一种可爱又温馨的感觉。

    # 图像推理
    modal = 'image'
    modal_path = 'assets/sora.png'
    instruct = '图中的女士穿了什么？她在做什么？这张图片给人什么感觉？'
    # 回答：
    # 图中女士身穿黑色外套和太阳镜，正走在被雨水浸湿的城市街道上。画面充满活力与生机，明亮的城市灯光映照在湿漉漉的路面上，营造出一种极具视觉吸引力的氛围。女士的存在为这幅场景增添了时尚与自信的气息，她从容地穿梭于繁忙的都市环境中。

    model_path = 'DAMO-NLP-SG/VideoLLaMA2.1-7B-16F'
    # 基础模型推理（只需替换model_path）
    # model_path = 'DAMO-NLP-SG/VideoLLaMA2.1-7B-16F-Base'
    model, processor, tokenizer = model_init(model_path)
    output = mm_infer(processor[modal](modal_path), instruct, model=model, tokenizer=tokenizer, do_sample=False, modal=modal)

    print(output)

if __name__ == "__main__":
    inference()

📑 引用

如果您在研究和应用中使用了VideoLLaMA，请使用以下BibTeX格式引用：

@article{damonlpsg2024videollama2,
  title={VideoLLaMA 2: 在视频-LLM中推进时空建模和音频理解},
  author={Cheng, Zesen and Leng, Sicong and Zhang, Hang and Xin, Yifei and Li, Xin and Chen, Guanzheng and Zhu, Yongxin and Zhang, Wenqi and Luo, Ziyang and Zhao, Deli and Bing, Lidong},
  journal={arXiv预印本 arXiv:2406.07476},
  year={2024},
  url = {https://arxiv.org/abs/2406.07476}
}

@article{damonlpsg2023videollama,
  title = {Video-LLaMA：用于视频理解的指令微调视听语言模型},
  author = {Zhang, Hang and Li, Xin and Bing, Lidong},
  journal = {arXiv预印本 arXiv:2306.02858},
  year = {2023},
  url = {https://arxiv.org/abs/2306.02858}
}

👍 致谢

VideoLLaMA 2的代码库改编自LLaVA 1.5和FastChat。我们还要感谢以下项目，正是它们促成了VideoLLaMA 2的诞生：

• LLaMA 2、Mistral-7B、OpenAI CLIP、Qwen2、SigLIP、Honeybee。
• Video-ChatGPT、Video-LLaVA。
• WebVid、Panda-70M、LanguageBind、InternVid。
• VideoChat2、Valley、VTimeLLM、ShareGPT4V。
• Magpie、ALLaVA、AVInstruct。

🔒 许可证

本项目采用Apache 2.0许可证发布，具体见LICENSE文件。该服务为研究预览版，仅限非商业用途，同时需遵守LLaMA和Mistral的模型许可、OpenAI生成数据的使用条款以及ShareGPT的隐私政策。如发现任何潜在违规行为，请及时与我们联系。

VideoLLaMA2 快速上手指南

VideoLLaMA2 是一款先进的视频 - 语言大模型，专注于提升视频的时空建模能力和音频理解能力。本指南将帮助开发者快速完成环境配置并运行模型。

1. 环境准备

在开始之前，请确保您的系统满足以下硬件和软件要求：

• 操作系统: Linux (推荐)
• Python: >= 3.8
• PyTorch: >= 2.2.0
• CUDA: >= 11.8
• 显存建议: 运行 7B 模型建议至少 16GB GPU 显存；运行更大模型（如 72B 或 MoE 版本）需要多卡或更高显存。

核心依赖版本说明： 为了复现论文结果，官方推荐以下特定版本：

• transformers == 4.40.0
• tokenizers == 0.19.1

国内加速提示：建议使用国内镜像源安装依赖，以提升下载速度。 例如使用清华源：pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 安装步骤

您可以选择在线模式（适合开发和修改代码）或离线模式（适合作为包直接调用）。以下以推荐的在线模式为例：

第一步：克隆项目

git clone https://github.com/DAMO-NLP-SG/VideoLLaMA2
cd VideoLLaMA2

第二步：安装基础依赖

# 推荐使用国内镜像加速
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

第三步：安装 Flash Attention

VideoLLaMA2 依赖 flash-attn 进行高效推理，需单独安装：

pip install flash-attn==2.5.8 --no-build-isolation

注意：如果编译失败，请确保已正确安装 CUDA Toolkit 且版本匹配。

---

若需作为 Python 包安装（离线模式），可执行：

pip install --upgrade pip
pip install -e .
pip install flash-attn==2.5.8 --no-build-isolation

3. 基本使用

安装完成后，您可以加载预训练模型进行推理。以下是基于 Hugging Face transformers 库的最简使用示例。

前置准备：下载模型

请从 Hugging Face Model Zoo 下载您需要的模型权重（例如 VideoLLaMA2-7B）。 国内用户可使用镜像站下载或使用 hf-mirror 工具。

推理代码示例

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from videollama2.conversation import get_conv_template
from videollama2.mm_utils import process_images, tokenizer_image_token
from videollama2.constants import IMAGE_TOKEN_INDEX, DEFAULT_IMAGE_TOKEN

# 1. 配置模型路径
model_path = "DAMO-NLP-SG/VideoLLaMA2-7B"  # 替换为您本地的模型路径

# 2. 加载模型和分词器
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_path,
    torch_dtype=torch.bfloat16,  # 建议使用 bfloat16 以节省显存
    device_map="auto",
    trust_remote_code=True
)
model.eval()

# 3. 准备输入 (视频帧列表 和 文本问题)
# 注意：实际使用时需使用视频处理工具提取帧并转换为 Tensor
# 此处 video_tensors 假设为已经处理好的视频帧张量列表 [frame1, frame2, ...]
# prompt 为用户提出的问题
video_tensors = [...] 
prompt = "请描述这个视频中发生了什么？"

# 构建对话模板
conv = get_conv_template("videollama2")
conv.append_message(conv.roles[0], DEFAULT_IMAGE_TOKEN + "\n" + prompt)
conv.append_message(conv.roles[1], None)
query = conv.get_prompt()

# 4. 推理生成
input_ids = tokenizer_image_token(query, tokenizer, IMAGE_TOKEN_INDEX, return_tensors='pt').unsqueeze(0).cuda()

with torch.inference_mode():
    output_ids = model.generate(
        input_ids,
        images=video_tensors,
        do_sample=True,
        temperature=0.2,
        max_new_tokens=1024,
        use_cache=True
    )

# 5. 解码输出
output = tokenizer.batch_decode(output_ids, skip_special_tokens=True)[0]
print(output)

提示：完整的视频预处理（帧提取、缩放、归一化）逻辑请参考仓库中的 demo 或 eval 脚本，以确保输入格式与模型训练时一致。