VLog

VLog 旨在探索视频与语言理解的新视角。

👇 点击分支以查看更多使用说明。

	VLog (CVPR'25)	VLog-Agent
简要介绍	视频解说作为词汇表	将视频视为长文档
方法	一种新颖且高效的视频解说器（基于 GPT2），通过生成式检索构建解说词汇表。	给定一段视频，我们将其转化为包含视觉与音频信息的文本文档。将这份文档输入大语言模型，我们便能围绕视频展开对话！

🎓 BibTeX

如果您觉得我们的工作有帮助，请务必考虑引用我们的论文。

@misc{lin2025vlog,
      title={VLog：基于生成式检索解说词汇的视频-语言模型}, 
      author={Kevin Qinghong Lin 和 Mike Zheng Shou},
      year={2025},
      eprint={2503.09402},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2503.09402}, 
}

VLog 快速上手指南

VLog 旨在为视频 - 语言理解提供新视角。本项目包含两个主要分支：VLog（基于生成式检索的视频叙述词汇）和 VLog-Agent（将视频转化为长文档进行对话）。请根据您的研究或使用需求选择对应的分支。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+) 或 macOS
• Python: 3.8 或更高版本
• GPU: 推荐使用 NVIDIA GPU (CUDA 11.7+) 以加速推理和训练
• 前置依赖:
  • PyTorch
  • Transformers (Hugging Face)
  • FFmpeg (用于视频处理)

国内加速建议： 安装 Python 依赖时，建议使用清华或阿里镜像源以提升下载速度： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

克隆仓库并进入对应分支进行安装。

1. 克隆代码库

git clone https://github.com/microsoft/VLog.git
cd VLog

2. 安装依赖

根据您想使用的功能模块，选择以下任一方式安装：

选项 A：安装核心模型 (VLog - CVPR'25) 适用于视频叙述与生成式检索任务。

cd VLog
pip install -r requirements.txt
# 如有国内加速需求
# pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

选项 B：安装智能体模块 (VLog-Agent) 适用于将视频转为文本并与 LLM 进行对话的任务。

cd VLog-agent
pip install -r requirements.txt
# 如有国内加速需求
# pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

以下是两个模块的最简使用示例。请确保已准备好测试视频文件（如 input.mp4）。

场景一：使用 VLog 进行视频叙述 (Video Narration)

此模式利用基于 GPT2 的叙述器和生成式检索词汇对视频内容进行描述。

from vlog import VLogNarrator

# 初始化模型
narrator = VLogNarrator.from_pretrained("microsoft/vlog-base")

# 输入视频路径
video_path = "input.mp4"

# 生成视频叙述
narration = narrator.generate(video_path)

print(narration)

场景二：使用 VLog-Agent 进行视频对话 (Chat over Video)

此模式将视频（包含视觉和音频信息）转换为文本长文档，并发送给大语言模型进行交互。

from vlog_agent import VLogAgent

# 初始化 Agent (需配置本地 LLM 或 API Key)
agent = VLogAgent(llm_model="chatglm3-6b", device="cuda")

# 加载视频并构建文档
video_doc = agent.load_video("input.mp4")

# 发起对话
response = agent.chat(video_doc, "视频中主角在做什么？")

print(response)

注意：具体模型权重路径和参数配置请参考各分支目录下的 README.md 及配置文件。