ShareGPT4Video：通过更优质的字幕提升视频理解与生成能力

⭐️ 我们的系列工作： [MMStar] [ShareGPT4V] [ShareGPT4Omni]

---

🚀🚀🚀 ShareGPT4Video：通过更优质的字幕提升视频理解与生成能力 的官方实现。

这里有一段清晰介绍 ShareGPT4Video 的视频：

![video]

• 作者：Lin Chen*、Xilin Wei*、Jinsong Li*、Xiaoyi Dong、Pan Zhang、Yuhang Zang、Zehui Chen、Haodong Duan、Bin Lin、Zhenyu Tang、Li Yuan、Yu Qiao、Dahua Lin、Feng Zhao📧、Jiaqi Wang 📧
• 机构：中国科学技术大学；香港中文大学；北京大学；上海人工智能实验室
• 资源：[论文] [项目主页] [ShareGPT4Video 数据集] [Colab]
• 模型：[🤗ShareGPT4Video-8B] [🤗ShareCaptioner-Video]
• 演示：[🤗ShareGPT4Video-8B] [🤗ShareCaptioner-Video]

💡 亮点

• 🔥 一个 大规模、高度描述性的视频-文本数据集，包含 4万条 GPT4-Vision 生成的视频字幕，以及约 40万条 隐式分割的视频字幕。
• 🔥 一个 适用于各种时长、分辨率和宽高比的通用视频字幕生成器，其字幕生成能力接近 GPT4-Vision，提供针对质量和效率优化的两种推理模式。
• 🔥 一款性能卓越的大规模视频-语言模型 ShareGPT4Video-8B，在 8 张 A100 GPU 上分别训练了 5 小时。
• 🔥 通过我们生成的高质量视频字幕 提升文本到视频生成性能。感谢 Open-Sora-Plan 的支持。

📜 最新消息

[2024年10月1日] ShareGPT4Video 已被 NeurIPS 2024 D&B 轨道接收！

[2024年7月1日] ShareCaptioner-Video 的批量推理代码现已可用！

[2024年6月11日] ShareCaptioner-Video 的网页版和本地版演示现已上线！

[2024年6月11日] ShareGPT4Video-8B 的网页版和本地版演示现已上线！

[2024年6月7日] 我们的论文被选为 HuggingFace Daily Papers，并在 6 月 7 日排名第一。

[2024年5月27日] ShareGPT4Video-8B 模型正式发布！

[2024年5月26日] ShareGPT4Video 数据集 和 项目主页（sharegpt4video.github.io）正式上线！

👨‍💻 待办事项

• ShareGPT4Video-8B 的训练代码
• ShareCaptioner-Video 的批量推理代码
• ShareCaptioner-Video 的网页版和本地版演示
• ShareGPT4Video-8B 的网页版和本地版演示
• ShareGPT4Video-8B 的检查点

快速使用

你可以通过以下命令直接使用我们的 ShareGPT4Video 模型与自己的视频进行对话：

python run.py --model-path Lin-Chen/sharegpt4video-8b --video examples/yoga.mp4 --query 请详细描述这段视频。

或者，你也可以通过以下命令搭建本地演示，体验我们的 ShareGPT4Video-8B：

python app.py

如果你想体验我们的 ShareCaptioner-Video，可以按照以下步骤搭建本地演示：

cd captioner

python app.py

安装

git clone https://github.com/ShareGPT4Omni/ShareGPT4Video
conda create -n share4video python=3.10 -y
conda activate share4video

cd ShareGPT4Video
pip install --upgrade pip
pip install -e .
pip install -e ".[train]"
pip install flash-attn --no-build-isolation

训练

为了验证高质量视频字幕对提升 LVLM 理解能力的有效性，我们选择了 VideoLLaVA 和 LLaMA-VID 作为基线模型。两者的 SFT 数据均采用 LLaVA-mix665K 图像数据加上 VideoChatGPT-100K 视频数据。我们将 VideoChatGPT-100K 中的 2.8万条字幕替换为来自 ShareGPT4Video 的 2.8万条高质量字幕。接下来以 VideoLLaVA 为例说明。

你需要先按照 VideoLLaVA 的 说明文档 准备好图像和视频，然后从 HuggingFace 下载 ShareGPT4Video 中使用的 2.8万条视频（仅涉及 bdd100k、ego4d 和 panda）。

最后，在 finetune.sh 中指定 llava_v1_5_mix665k_with_video_chatgpt72k_share4video28k.json 文件，即可执行 SFT，从而复现论文中的结果。

✒️ 引用

如果您觉得我们的工作对您的研究有所帮助，请考虑给项目点赞 ⭐ 并引用 📝 我们的工作。

@article{chen2024sharegpt4video,
  title={ShareGPT4Video：通过更优质的字幕提升视频理解与生成能力},
  author={陈林、魏锡林、李劲松、董晓怡、张攀、臧宇航、陈泽辉、段浩东、林彬、唐振宇等},
  journal={arXiv 预印本 arXiv:2406.04325},
  year={2024}
}

@article{chen2023sharegpt4v,
  title={ShareGPT4V：利用更优质的字幕改进大型多模态模型},
  author={陈林、李劲松、董晓怡、张攀、何聪辉、王佳琪、赵峰、林大华},
  journal={arXiv 预印本 arXiv:2311.12793},
  year={2023}
}

@article{chen2024we,
  title={我们在评估大型视觉-语言模型的道路上走对了吗？},
  author={陈林、李劲松、董晓怡、张攀、臧宇航、陈泽辉、段浩东、王佳琪、乔宇、林大华等},
  journal={arXiv 预印本 arXiv:2403.20330},
  year={2024}
}

❤️ 致谢

• LLaVA：我们在此基础上进行开发的代码库。感谢他们出色的工作。
• Open-Sora-Plan：一款优秀的开源代码库，用于实现类似 Sora 的文本到视频生成。感谢他们出色的工作。
• Open-LLaVA-NeXT：一个用于复现 LLaVA-NeXT 系列训练流程的开源代码库。

ShareGPT4Video 快速上手指南

ShareGPT4Video 是一个旨在通过高质量视频描述提升视频理解与生成能力的大型多模态模型项目。本指南将帮助您快速部署并体验其核心功能。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+)
• Python 版本: 3.10
• GPU: 支持 CUDA 的 NVIDIA 显卡（训练或运行大模型建议使用显存较大的显卡，如 A100/V100/3090/4090 等）
• 包管理工具: Conda (推荐 Miniconda 或 Anaconda)
• 网络环境: 需要访问 Hugging Face 和 GitHub。国内用户建议配置代理或使用镜像源加速下载。

安装步骤

请按照以下步骤克隆代码库并安装依赖：

1. 克隆项目代码

   git clone https://github.com/ShareGPT4Omni/ShareGPT4Video
   cd ShareGPT4Video
   

2. 创建并激活 Conda 环境

   conda create -n share4video python=3.10 -y
   conda activate share4video
   

3. 安装基础依赖与训练组件 注：国内用户若下载缓慢，可临时配置 pip 使用清华或阿里镜像源。

   pip install --upgrade pip
   # 可选：配置国内镜像源加速
   # pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
   
   pip install -e .
   pip install -e ".[train]"
   

4. 安装 Flash Attention 这是提升模型推理和训练效率的关键组件，需指定参数安装以避免构建隔离问题：

   pip install flash-attn --no-build-isolation
   

基本使用

安装完成后，您可以选择直接通过命令行与视频对话，或启动本地 Web Demo 进行交互。模型权重会自动从 Hugging Face 下载（首次运行可能需要一些时间）。

方式一：命令行快速推理

使用 run.py 脚本，指定模型路径、视频文件和问题即可获取回答。

python run.py --model-path Lin-Chen/sharegpt4video-8b --video examples/yoga.mp4 --query "Describe this video in detail."

注意：请确保 examples/yoga.mp4 替换为您本地的实际视频路径。

方式二：启动本地 Web Demo (视频对话)

启动交互式界面，上传视频并进行多轮对话：

python app.py

启动后，请在浏览器访问终端显示的地址（通常为 http://localhost:7860）。

方式三：启动本地 Web Demo (视频描述生成)

如果您只想使用 ShareCaptioner-Video 模型来生成高质量的视频描述：

cd captioner
python app.py