🦜 VideoChat 家族：Ask-Anything

| | | |
[VideoChat-7B-8Bit] 用于视频和图像的端到端（End2End）聊天机器人。 [InternVideo2-Chat-8B-HD]

中文 README 及 中文交流群 | 论文

⭐️：我们也在开发一个更新版本，敬请期待！

🔥 更新

• 2025/01/18: 我们发布了 videochat-flash 和 videochat-tpo，以扩展多模态大语言模型（MLLMs）在长视频和精确视频理解方面的能力。videochat-flash 在多个视频基准测试中（包括短视频和长视频）创下新纪录，并通过利用 LLaVA 等提升了代码可用性。videochat-tpo 利用经典视觉任务标注（例如跟踪）以直接偏好优化（DPO）方式优化 MLLMs，增强了 MLLMs 的性能并实现了跟踪、分割等能力。

• 2024/06/25: 我们发布了使用 vllm 的 videochat2 分支，加快了 videochat2 的推理速度。

• 2024/06/19: 🎉🎉 我们的 VideoChat2 在 MLVU（多任务长视频理解基准）上取得了开源视频大语言模型（VideoLLMs）中的最佳性能。

• 2024/06/13: 修复了一些 bug 并提供了测试脚本。

  • :warning: 我们替换了 MVBench 中一些重复的 (~30) 问答，这可能仅影响结果 0.5%。
  • :loudspeaker: 我们提供了测试 EgoSchema 和 Video-MME 的脚本，请查看 demo_mistral.ipynb 和 demo_mistral_hd.ipynb。

• 2024/06/07: :fire::fire::fire: 我们发布了 VideoChat2_HD，它使用高分辨率数据进行了微调，能够处理更多样化的任务。它在不同基准测试中展现了更好的性能，特别是在详细描述生成方面。此外，它在 Video-MME 上达到了 54.8%，这是 7B MLLMs 中的最高分。快来试试吧！🏃🏻‍♀️🏃🏻

• 2024/06/06: 我们发布了 VideoChat2_phi3，这是一个具有稳健性能的更快模型。

• 2024/05/22: 我们发布了 VideoChat2_mistral，它在多样化任务上显示出更好的能力（MVBench 上 60.4%，NExT-QA 上 78.6%，STAR 上 63.8%，TVQA 上 46.4%，EgoSchema-full 上 54.4% 以及 IntentQA 上 80.5%）。更多细节已在论文中更新。

• 2024/04/05 MVBench 被选为海报展示（亮点）！

• 2024/2/27 MVBench 被 CVPR2024 接收。

• 2023/11/29 发布了 VideoChat2 和 MVBench。

  • VideoChat2 是一个基于 UMT 和 Vicuna-v0 构建的稳健基线。
  • 发布了 2M 多样化的 指令数据 用于有效微调。
  • MVBench 是一个全面的视频理解基准测试。

• 2023/05/11 端到端 VideoChat 及其技术报告。

  • VideoChat1: 用于视频聊天的指令微调（也支持图像）。
  • 论文: 我们介绍了如何使用两个版本（通过文本和嵌入）构建 VideoChat，以及关于其背景、应用等的讨论。

• 2023/04/25 使用 chatGPT 观看超过一分钟的视频

  • VideoChat LongVideo: 将 langchain 和 whisper 集成到 VideoChat 中。

• 2023/04/21 与 MOSS 聊天

  • VideoChat with MOSS: 与 MOSS 进行显式通信。

• 2023/04/20: 与 StableLM 聊天

  • VideoChat with StableLM: 与 StableLM 进行显式通信。

• 2023/04/19: 代码发布 & 在线演示

  • VideoChat with ChatGPT: 与 ChatGPT 进行显式通信。对时间敏感。
  • MiniGPT-4 for video: 与 Vicuna 进行隐式通信。对时间不敏感。（MiniGPT-4 的简单扩展，未来将改进。）

🔨 快速开始

使用以下方式构建视频聊天：

• End2End
• ChatGPT
• StableLM
• MOSS
• MiniGPT-4

:clapper: [端到端聊天机器人 (ChatBot)]

https://github.com/OpenGVLab/Ask-Anything/assets/24236723/a8667e87-49dd-4fc8-a620-3e408c058e26

:movie_camera: [与 ChatGPT 交流]

https://user-images.githubusercontent.com/24236723/233630363-b20304ab-763b-40e5-b526-e2a6b9e9cae2.mp4

:page_facing_up: 引用

如果您在研究中发现本项目有用，请考虑引用：

@article{2023videochat,
  title={VideoChat: Chat-Centric Video Understanding},
  author={KunChang Li, Yinan He, Yi Wang, Yizhuo Li, Wenhai Wang, Ping Luo, Yali Wang, Limin Wang, and Yu Qiao},
  journal={arXiv preprint arXiv:2305.06355},
  year={2023}
}

@inproceedings{li2024mvbench,
  title={Mvbench: A comprehensive multi-modal video understanding benchmark},
  author={Li, Kunchang and Wang, Yali and He, Yinan and Li, Yizhuo and Wang, Yi and Liu, Yi and Wang, Zun and Xu, Jilan and Chen, Guo and Luo, Ping and others},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
  pages={22195--22206},
  year={2024}
}

🌤️ 讨论组

如果在试用、运行或部署过程中有任何问题，欢迎加入我们的微信群讨论！如果您对项目有任何想法或建议，也欢迎加入我们的微信群讨论！

我们在通用视觉组 (General Vision Group), 上海人工智能实验室 (Shanghai AI Lab) 招聘研究人员、工程师和实习生。如果您有兴趣加入我们，请联系 Yi Wang (wangyi@pjlab.org.cn)。

Ask-Anything (VideoChat Family) 快速上手指南

Ask-Anything（VideoChat Family）是一个强大的开源视频与图像理解聊天机器人项目，支持端到端的多模态对话、长视频理解及高分辨率任务处理。本项目基于 VideoChat2 系列模型，提供多种后端选择（如 Mistral, Phi3, ChatGPT 等）。

1. 环境准备

在开始本地部署前，请确保您的开发环境满足以下基础要求：

• 操作系统: Linux / macOS / Windows (WSL)
• Python: 推荐版本 3.8+
• 深度学习框架: PyTorch (需匹配 CUDA 版本)
• 其他: Git, FFmpeg (用于视频处理)

💡 国内加速建议：由于涉及大量模型权重下载，建议使用国内镜像源或访问 OpenXLab 在线体验，避免网络超时。

2. 安装与部署

方案 A：在线体验（推荐，无需本地安装）

最快体验方式是通过 OpenXLab 或 HuggingFace Spaces 直接运行 Demo，无需配置本地环境。

• OpenXLab App: 点击访问 VideoChat2
• HuggingFace Spaces: VideoChat-7B-8Bit | InternVideo2-Chat-8B-HD

方案 B：本地部署

若需进行二次开发或批量推理，请克隆仓库并进入对应子目录。

git clone https://github.com/OpenGVLab/Ask-Anything.git
cd Ask-Anything

注意：具体的依赖安装命令和详细配置位于各个功能子目录中，请根据需求选择：

• VideoChat2 (最新基线): ./video_chat2/
• 优化推理速度: 可切换至 vllm 分支以加速 VideoChat2 推理

  git checkout vllm
  

• 特定模型构建:
  • End2End
  • ChatGPT
  • StableLM
  • MOSS
  • MiniGPT-4

3. 基本使用

运行测试脚本

项目提供了 Jupyter Notebook 示例用于快速验证模型效果（以 Mistral 为例）：

• 标准版测试: ./video_chat2/demo/demo_mistral.ipynb
• 高清版测试: ./video_chat2/demo/demo_mistral_hd.ipynb

启动在线聊天机器人

您可以直接访问官方提供的 Web 界面进行交互：

• End2End ChatBot: https://vchat.opengvlab.com
• Communication with ChatGPT: https://vchat.opengvlab.com

模型特性说明

• VideoChat2_HD: 针对高分辨率数据微调，擅长细节描述，在 Video-MME 上达到 54.8% 分数。
• VideoChat2_phi3: 更快速的模型，具有稳健的性能。
• VideoChat2_mistral: 支持多样化任务，在 MVBench 上表现优异 (60.4%)。
• Long Video Support: 支持通过 long_video_support 分支结合 langchain 和 whisper 处理超过一分钟的长视频。