Vidi2.5：用于视频理解与创作的大型多模态模型

主页：https://bytedance.github.io/vidi-website/

我们推出了Vidi，这是一系列大型多模态模型（LMMs），适用于广泛的视频理解与编辑（VUE）场景。首次发布聚焦于时间检索（TR），即识别输入视频中与给定文本查询相对应的时间范围。第二次发布则进一步发展为具备先进时空定位（STG）和时间检索能力的基础模型，同时保持基本的开放式视频问答性能。

发布

• [2026年1月20日] 🔥 Vidi2.5发布，包含更新的报告、GitHub仓库和演示。其中包含了VUE_PLOT基准测试以及Vidi1.5-9B权重和微调代码。
• [2025年11月25日] 🔥 Vidi2在报告、GitHub、主页和演示上正式发布。
• [2025年8月29日] 🔥 Vidi1.5-9B演示在https://vidi.byteintl.com/上线，并采用了全新的UI设计。
• [2025年6月6日] 🔥 Vidi-7B演示在https://vidi.byteintl.com/发布。请按照“演示”部分的说明运行演示。
• [2025年4月21日] 🔥 Vidi的首次发布包括技术报告和VUE-TR评估基准。7B模型的演示和权重将很快推出。

内容

• 演示
• 评估（VUE-PLOT）
• 评估（VUE-STG）
• 评估（VUE-TR-V2）
• 模型推理与微调

演示

演示已在https://vidi.byteintl.com/更新。演示分为两个页面，分别是vidi基础页面和vidi编辑页面。

Vidi

1. 在分段按钮上从【定位、检索、章节、亮点、VQA、思考】中选择一种模式。为了获得最佳体验，请使用英文查询。

• “定位”：输入一个指示要搜索对象的文本查询。模型会找到与该文本查询对应的片段，并在对象上绘制边界框。

• “检索”：输入一个要搜索的文本查询。模型会找到与该文本查询对应的片段。

• “章节”：无需输入查询。直接输出一组带有标题的章节。

• “亮点”：无需输入查询。直接输出一组带有标题的精彩片段。

• “VQA”：输入关于视频的问题或指令。模型会回答问题。

• “思考”：输入关于视频的问题或指令。模型会思考并回答问题。

2. 点击“上传”按钮，选择本地视频文件（mp4格式）。请确保视频未损坏，且分辨率不要过高。建议使用480p以便快速上传和解码。
3. 视频上传完成后，等待上传结束，视频将在框内准备播放。
4. 如有需要，输入文本查询并点击“发送”按钮。
5. 等待结果片段显示在聊天框中。对于较长的视频，这可能需要几分钟时间。

Vidi-Edit

选择“编辑”页面。上传多个视频并点击生成按钮。系统将自动输出一段包含故事情节、音乐、特效等的剪辑视频。

评估（VUE-STG）

我们以CSV文件的形式发布了视频ID、真值标注和评估结果。请按照VUE_STG/README.md中的说明进行评估。

cd VUE_STG
python3 evaluate.py

要评估您自己的模型：

1. 首先根据VUE_STG/vue-stg-benchmark/video.csv中的ID，从YouTube下载视频（例如使用yt-dlp工具）。
2. 按照VUE_STG/results/vidi2/tubes.csv中的格式生成结果，并运行评估脚本。

评估（VUE-TR-V2）

我们以5个JSON文件的形式发布了真值标注和评估结果。可运行以下脚本进行独立评估：

cd VUE_TR_V2
bash install.sh
python3 -u qa_eval.py --pred_path results_Vidi.json

评估结果图表将保存在输出文件夹中（默认为‘./results’）。 .

对于新模型的评估，首先根据VUE_TR_V2/video_id.txt中的ID从YouTube下载视频（例如使用yt-dlp工具）。然后运行推理，并将结果按以下格式保存：

[
    {
        "query_id": 0,
        "video_id": "6Qv-LrXJjSM",
        "duration": 3884.049,
        "query": "幻灯片展示了塔可钟为中国新年推出的紫色红包，一位女士解释说，在中国传统中，紫色象征着皇室。",
        "answer": [
            [
                913.1399199,
                953.5340295
            ]
        ],
        "task": "temporal_retrieval"
    },
    ...
]

您可以在VUE_TR/README.md中找到关于先前版本（VUE-TR）的说明和数据。

评估（VUE-PLOT）

我们发布了用于情节理解的VUE-PLOT基准测试，包含角色和推理两个赛道。请按照VUE_PLOT/readme.md中的说明进行评估。 要评估您自己的模型：

1. 您可以使用YouTube视频ID获取原始视频，或者从Condensed Movies数据集的主页下载这些视频。
2. 生成您模型的结果，并按照VUE_PLOT/readme.md中的指导完成评估。

模型推理与微调

• 要对Vidi1.5-9B进行推理和微调，请遵循Vidi1.5_9B/README.md中的说明。

• 要对Vidi-7B进行推理，请遵循Vidi_7B/README.md中的说明。

引用

如果您在研究和应用中使用了 Vidi，请使用以下 BibTeX 格式引用：

@article{Vidi2026vidi2.5,
    title={Vidi2.5：用于视频理解和生成的大型多模态模型},
    author={Vidi 团队、郭家文、黄创、杜大伟、陈凡、雷凡丁、高峰、陈光、张浩基、赵浩俊、刘进、诸晶晶、方丽丽、张凌曦、温龙寅、郭璐、徐璐、李露莎、范启航、邓瑞秋、方绍博、张舒、朱思杰、史都特·西欧、陶伟彦、钟文、沈晓辉、顾欣、袁晔、何一成、崔一鸣、陈振芳、吴志华、林祖华},
    journal={arXiv 预印本 arXiv:2511.19529},
    year={2026}
}
@article{Vidi2025vidi,
    title={Vidi：用于视频理解和编辑的大型多模态模型},
    author={Vidi 团队、刘策隆、郭家文、杜大伟、陈凡、陈光、袁佳敏、张凌曦、郭璐、李露莎、温龙寅、陈青宇、邓瑞秋、朱思杰、史都特·西欧、金彤、陆伟、钟文、沈晓辉、顾欣、梅星、瞿雪琼、陈振芳},
    journal={arXiv 预印本 arXiv:2504.15681},
    year={2025}
}

Vidi 快速上手指南

Vidi 是由字节跳动开源的一系列用于视频理解与创作的大型多模态模型（LMMs）。最新版本 Vidi2.5 在时空定位（STG）和时间检索（TR）任务上达到了业界领先水平，同时支持开放域视频问答。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+)
• Python: 3.8 或更高版本
• GPU: 支持 CUDA 的 NVIDIA 显卡（建议显存 16GB+ 以运行 7B/9B 模型）
• 依赖管理: pip 或 conda
• 其他工具:
  • git
  • ffmpeg (用于视频处理)
  • yt-dlp (用于评估时下载 YouTube 视频)

注意：具体依赖库版本请参考各模型子目录下的 requirements.txt。

安装步骤

1. 克隆仓库

首先从 GitHub 克隆 Vidi 项目代码：

git clone https://github.com/bytedance/vidi.git
cd vidi

2. 创建虚拟环境并安装依赖

建议使用 conda 创建独立的 Python 环境：

conda create -n vidi python=3.10 -y
conda activate vidi
pip install -r requirements.txt

(注：若国内下载缓慢，可临时使用清华源加速：pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple)

3. 下载模型权重

根据需求选择下载 Vidi-7B 或 Vidi1.5-9B 模型。模型托管于 Hugging Face。

选项 A：下载 Vidi-7B

# 需安装 huggingface-cli
pip install huggingface_hub
huggingface-cli download bytedance-research/Vidi-7B --local-dir ./models/Vidi-7B

选项 B：下载 Vidi1.5-9B (含微调代码支持)

huggingface-cli download bytedance-research/Vidi1.5-9B --local-dir ./models/Vidi1.5-9B

国内加速提示：如果无法直接访问 Hugging Face，建议使用镜像站（如 hf-mirror.com）：

export HF_ENDPOINT=https://hf-mirror.com
huggingface-cli download bytedance-research/Vidi-7B --local-dir ./models/Vidi-7B

基本使用

方式一：在线 Demo 体验（无需本地部署）

最快体验 Vidi 功能的方式是访问官方在线演示页面，支持视频上传与多种任务模式（定位、检索、章节生成、高光时刻、问答等）。

• 地址: https://vidi.byteintl.com/
• 操作流程:
  1. 进入网站，选择 "Vidi" 或 "Vidi-Edit" 页面。
  2. 在模式按钮中选择任务类型（如 Grounding, Retrieval, VQA 等）。
  3. 点击 Upload 上传本地 MP4 视频（建议分辨率 480p 以加快处理）。
  4. 输入文本查询（英文效果最佳），点击 Send。
  5. 等待数分钟后查看结果片段或回答。

方式二：本地推理 (Inference)

本地运行模型需要参照具体模型版本的 README 执行脚本。以下为通用逻辑示例：

运行 Vidi-7B 推理： 请进入 Vidi_7B 目录并按照该目录下 README.md 的指示运行。通常命令结构如下：

cd Vidi_7B
# 示例：运行推理脚本（具体参数请参考子目录文档）
python inference.py --model_path ../models/Vidi-7B --video_path ./test_video.mp4 --query "Find the moment where the dog jumps."

运行 Vidi1.5-9B 推理或微调： 请进入 Vidi1.5_9B 目录，参考 README.md 进行操作。该版本提供了完整的微调代码支持。

cd Vidi1.5_9B
# 示例：启动微调或推理
python train.py --model_name_or_path ../models/Vidi1.5-9B ...

方式三：运行评估基准 (Evaluation)

如果您希望复现论文中的评估结果（如 VUE-STG, VUE-TR-V2, VUE-PLOT），请进入对应目录运行脚本。

示例：运行 VUE-TR-V2 评估

cd VUE_TR_V2
bash install.sh
python3 -u qa_eval.py --pred_path results_Vidi.json

注意：评估新模型前，需先根据 video_id.txt 使用 yt-dlp 下载对应的 YouTube 视频数据集。