VideoLLM-online：面向流式视频的在线视频大语言模型

更新

2025-09-03

我进行了一些更新，以确保此仓库能够使用最新的 transformers==4.55.4 和 pytorch==2.7.1+cu128 进行推理。类似的版本应该也可以。如果你想获得一个强大的 VLM-online 模型，我强烈建议你在这里使用流式 EOS 损失对 Qwen2.5VL-Instruct 进行微调。无需再使用较弱的纯文本 Llama3。

2025-04-24

更新！我们的新论文：LiveCC：大规模流式语音转录下的视频大语言模型学习。所有资源，包括训练视频数据，已在 LiveCC 网站 上发布。

简要说明

首个流式视频大语言模型，在长视频（10分钟）上具有高速性能（在 NVIDIA 3090 GPU 上为 510 FPS，A100 GPU 上为 1015 FPS），并在在线/离线设置中均达到 SOTA 性能。

简介

这是 VideoLLM-online：面向流式视频的在线视频大语言模型，CVPR 2024 的官方实现。与流行的图像/视频/多模态模型相比，我们的论文引入了几项有趣的内容：

• 在线视频流：不同于以往仅支持离线模式（即对完整视频进行查询和响应）的模型，我们的模型支持在视频流中的在线交互。它能够在流媒体过程中主动更新响应，例如实时记录活动变化或帮助用户完成下一步操作。即使是基于音频驱动的 GPT-4o，也需要用户通过语音与视觉场景互动，而不能真正实现视频流处理。

• 廉价且可扩展的流式数据合成：目前用于训练多模态大语言模型的视频数据集大多是离线的，不适合训练在线视频语言模型。我们的方法通过提示开源大语言模型，将任何离线标注转化为流式对话数据。该模型完全基于 Llama 合成的数据进行训练。

• 并行化实时推理：我们的推理方法将视频编码、视频帧的 LLM 前向传播以及 LLM 响应生成并行化，并以异步方式安排它们。这显著提升了实时性能，在 A100 GPU 上可达到 10-15 FPS。

快速开始

• （推荐）在本地启动 Gradio 演示：

python -m demo.app --resume_from_checkpoint chenjoya/videollm-online-8b-v1plus

但如果 flash-attn 出现一些问题，可以尝试使用以下命令：

python -m demo.app --resume_from_checkpoint chenjoya/videollm-online-8b-v1plus --attn_implementation sdpa

• （推荐）在本地启动 CLI：

python -m demo.cli --resume_from_checkpoint chenjoya/videollm-online-8b-v1plus

• （已弃用，Hugging Face Spaces 过慢）请尝试在 上进行演示。

通过传递 --resume_from_checkpoint chenjoya/videollm-online-8b-v1plus，PEFT 检查点将自动下载并应用到 meta-llama/Meta-Llama-3-8B-Instruct 上。

安装

请确保已安装 Miniconda 和 Python 3.10 或更高版本，然后运行：

conda install -y pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia
pip install transformers accelerate deepspeed peft editdistance Levenshtein tensorboard gradio moviepy submitit
pip install flash-attn --no-build-isolation

PyTorch 源代码会安装 ffmpeg，但通常是旧版本，预处理质量较低。请按照以下步骤安装最新版 ffmpeg：

wget https://johnvansickle.com/ffmpeg/releases/ffmpeg-release-amd64-static.tar.xz
tar xvf ffmpeg-release-amd64-static.tar.xz
rm ffmpeg-release-amd64-static.tar.xz
mv ffmpeg-7.0.2-amd64-static ffmpeg

如果你想在实时流中使用音频来体验我们的模型，请同时克隆 ChatTTS。

pip install omegaconf vocos vector_quantize_pytorch cython
git clone git+https://github.com/2noise/ChatTTS
mv ChatTTS demo/rendering/

训练与评估

• 从 下载流式对话数据。

• 对视频帧进行分布式预处理：帧率 2 FPS，分辨率为 384x384，然后使用 google/siglip-large-patch16-384 提取 CLS 特征，并对 3x3 空间特征进行平均池化。具体操作请参考 [data/preprocess/] 目录下的说明。

• 参考 [scripts/] 目录下的示例。

• 如果你对我们生成的流式对话数据感兴趣，请查看 [data/livechat/] 目录。

模型库

[VideoLLM-online-8B-v1+] (https://huggingface.co/chenjoya/videollm-online-8b-v1plus)

• LLM：meta-llama/Meta-Llama-3-8B-Instruct
• 视觉策略：
  • 帧编码器：google/siglip-large-patch16-384
  • 帧特征：CLS 特征 + 3x3 平均池化的空间特征
  • 帧率：训练时 2 FPS，推理时 2~10 FPS
  • 帧分辨率：最大分辨率 384，通过零填充保持宽高比
  • 视频长度：10 分钟
• 训练数据：Ego4D 叙述流 11.3 万条 + Ego4D 目标步骤流 2.1 万条

[VideoLLM-online-8B-v1] (...)

• LLM：meta-llama/Meta-Llama-3-8B-Instruct
• 视觉策略：
  • 帧编码器：google/siglip-large-patch16-384
  • 帧特征：CLS 特征
  • 帧率：训练时 2 FPS，推理时 2~10 FPS
  • 帧分辨率：最大分辨率 384，通过零填充保持宽高比
  • 视频长度：60 分钟
• 训练数据：Ego4D 叙述流 11.3 万条 + Ego4D 目标步骤流 2.1 万条

VideoLLM-online 超越 Llama

该代码库的实现非常简单且清晰。您只需将继承的类从 Llama 更改为 Mistral，即可获得 VideoLLM-online 的 Mistral 版本。请参考 models/live_llama 中的示例。

引用

@inproceedings{videollm-online,
  author       = {Joya Chen 和 Zhaoyang Lv 和 Shiwei Wu 和 Kevin Qinghong Lin 和 Chenan Song 和 Difei Gao 和 Jia-Wei Liu 和 Ziteng Gao 和 Dongxing Mao 和 Mike Zheng Shou},
  title        = {VideoLLM-online：用于流式视频的在线视频大语言模型},
  booktitle    = {CVPR},
  year         = {2024},
}

VideoLLM-online 快速上手指南

VideoLLM-online 是首个支持流式视频交互的视频大语言模型。它能够在长视频（如 10 分钟）中实现实时在线互动，主动更新回答（如记录活动变化或提供实时步骤指导），在 NVIDIA A100 GPU 上推理速度可达 10-15 FPS。

环境准备

系统要求：

• 操作系统: Linux (推荐)
• Python 版本: >= 3.10
• GPU: 支持 CUDA 的 NVIDIA 显卡 (推荐 3090 及以上，显存建议 24GB+)
• 包管理器: Miniconda 或 Anaconda

前置依赖说明：

• 本项目依赖较新版本的 PyTorch 和 Transformers。
• 重要提示：系统自带的 ffmpeg 通常版本过旧，会导致视频预处理质量低下，必须手动安装最新版 ffmpeg。

安装步骤

1. 创建 Conda 环境并安装 PyTorch

首先创建环境并安装与 CUDA 12.1 兼容的 PyTorch 全家桶：

conda create -n videollm python=3.10 -y
conda activate videollm
conda install -y pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia

2. 安装 Python 依赖库

安装核心依赖及 flash-attn（用于加速注意力机制）：

pip install transformers accelerate deepspeed peft editdistance Levenshtein tensorboard gradio moviepy submitit
pip install flash-attn --no-build-isolation

注意：如果国内网络下载 flash-attn 失败，可尝试使用清华源或阿里源： pip install flash-attn --no-build-isolation -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 安装最新版 FFmpeg

PyTorch 自带的 ffmpeg 版本较老，请执行以下命令下载并配置静态编译版 ffmpeg (7.0.2)：

wget https://johnvansickle.com/ffmpeg/releases/ffmpeg-release-amd64-static.tar.xz
tar xvf ffmpeg-release-amd64-static.tar.xz
rm ffmpeg-release-amd64-static.tar.xz
mv ffmpeg-7.0.2-amd64-static ffmpeg
export PATH=$PWD/ffmpeg/bin:$PATH

(建议将 export 命令加入 ~/.bashrc 以永久生效)

4. (可选) 安装音频支持

若需体验实时流式音频交互，需克隆并安装 ChatTTS 相关依赖：

pip install omegaconf vocos vector_quantize_pytorch cython
git clone git+https://github.com/2noise/ChatTTS
mv ChatTTS demo/rendering/

基本使用

模型权重将通过 --resume_from_checkpoint 参数自动从 Hugging Face 下载并应用于基座模型。

方式一：启动 Web 演示界面 (推荐)

使用 Gradio 启动本地网页端，支持上传视频并进行流式对话：

python -m demo.app --resume_from_checkpoint chenjoya/videollm-online-8b-v1plus

故障排除：如果运行时报错涉及 flash-attn，请添加 --attn_implementation sdpa 参数改用标准注意力实现：

python -m demo.app --resume_from_checkpoint chenjoya/videollm-online-8b-v1plus --attn_implementation sdpa

方式二：启动命令行交互 (CLI)

偏好终端操作的用户可使用以下命令：

python -m demo.cli --resume_from_checkpoint chenjoya/videollm-online-8b-v1plus

使用说明

• 模型版本：上述命令默认加载 videollm-online-8b-v1plus 版本（基于 Llama-3-8B-Instruct），该版本针对流式 EOS loss 进行了优化，性能更强。
• 输入方式：启动后，直接在界面或终端中输入视频路径即可开始流式分析。模型支持长达 10 分钟的视频处理。