InternVideo 快速上手指南

InternVideo 是上海人工智能实验室开源的视频基础模型系列，旨在通过生成式和判别式学习实现多模态视频理解。本指南基于最新的 InternVideo2 系列模型，帮助开发者快速搭建环境并运行示例。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04/20.04/22.04)
• Python: 3.8 或更高版本
• GPU: 支持 CUDA 的 NVIDIA 显卡 (建议显存 16GB 以上以运行大模型，小模型可酌情降低)
• CUDA: 11.7 或更高版本
• PyTorch: 2.0.0 或更高版本

前置依赖安装： 建议使用 conda 创建独立虚拟环境。

conda create -n internvideo python=3.10 -y
conda activate internvideo

安装步骤

1. 克隆代码库

git clone https://github.com/OpenGVLab/InternVideo.git
cd InternVideo

2. 安装核心依赖

推荐使用国内镜像源（如清华源）加速 PyTorch 及相关库的安装。

# 安装 PyTorch (根据实际 CUDA 版本调整，此处以 CUDA 11.8 为例)
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

# 安装其他依赖
pip install -r requirements.txt

3. 安装 InternVideo 包

进入对应子目录进行安装（以 InternVideo2 为例）：

cd InternVideo2
pip install -e .

注意：如果您需要使用特定的多模态功能（如 VideoChat），请确保安装了 decord, transformers, accelerate 等额外库。

基本使用

以下示例展示如何加载预训练的 InternVideo2 模型并进行简单的视频特征提取。

1. 下载预训练模型

您可以从 HuggingFace 或 ModelScope（魔搭社区，国内访问更快）下载权重。

使用 ModelScope 下载（推荐国内用户）：

# 需先安装 modelscope: pip install modelscope
python -c "from modelscope import snapshot_download; snapshot_download('OpenGVLab/InternVideo2-Stage1_1B-224p', local_dir='./checkpoints/internvideo2_stage1')"

2. 运行推理示例

创建一个 Python 脚本 demo.py，执行以下代码：

import torch
from internvideo2.modeling import build_model
from internvideo2.utils.config import Config

# 1. 加载配置文件 (路径需根据实际项目结构调整)
cfg = Config.from_file("configs/pretrain/internvideo2_stage1_1b_224p.py")

# 2. 构建模型
model = build_model(cfg, pretrain=True)
model.eval()
model.cuda()

# 3. 准备输入数据 (此处为伪代码，实际需使用 decord 读取视频帧)
# 假设 video_frames 是一个形状为 [1, frames, channels, height, width] 的 Tensor
# video_frames = load_video_frames("your_video.mp4") 
video_frames = torch.randn(1, 16, 3, 224, 224).cuda()

# 4. 前向推理
with torch.no_grad():
    features = model.extract_features(video_frames)

print(f"输出特征形状：{features.shape}")
print("视频特征提取完成！")

3. 运行多模态对话 (InternVideo2-Chat)

如果您已下载 8B 聊天模型，可使用 transformers 库快速启动对话：

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model_path = "OpenGVLab/InternVideo2-Chat-8B" # 或本地路径

tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_path, 
    device_map="auto", 
    trust_remote_code=True,
    torch_dtype=torch.bfloat16
)

video_path = "example.mp4"
prompt = "请描述这个视频的内容。"

# 执行推理 (具体 API 请参考官方 scripts/chat_demo.py)
response = model.chat(tokenizer, video_path, prompt)
print(response)

---

更多详细用法、微调教程及数据集介绍，请参阅仓库中各子模块（InternVideo1, InternVideo2, InternVid）的独立文档。