用于视频理解研究的深度学习库。

更多信息请访问网站。

在三星 Galaxy S10 手机上运行的 PyTorchVideo 加速的 X3D 模型。该模型运行速度比实时快约 8 倍，处理一秒钟视频大约需要 130 毫秒。	基于 PyTorchVideo 的 SlowFast 模型进行视频动作检测。

X3D 模型 Web 演示

集成到 Huggingface Spaces 中，使用 Gradio。查看演示：

简介

PyTorchVideo 是一个专注于视频理解工作的深度学习库。PyTorchVideo 提供了可重用、模块化且高效的组件，以加速视频理解研究。PyTorchVideo 使用 PyTorch 开发，支持多种深度学习视频组件，如视频模型、视频数据集和特定于视频的变换。

主要特性包括：

• 基于 PyTorch： 使用 PyTorch 构建，便于使用 PyTorch 生态系统中的所有组件。
• 可复现的模型库： 各种最先进的预训练视频模型及其相关基准测试，开箱即用。此外，PyTorchVideo 还配备了支持不同数据集的丰富数据加载器。
• 高效视频组件： 专注于视频的快速高效组件，易于使用。支持在硬件上进行加速推理。

更新

• 2021 年 8 月：多尺度视觉 Transformer 已发布在 PyTorchVideo 中，详情请参阅 此处。

安装

在 conda 环境（Python >=3.7）中安装 PyTorchVideo：

pip install pytorchvideo

有关详细说明，请参阅 INSTALL.md。

许可证

PyTorchVideo 根据 Apache 2.0 许可证 发布。

教程

通过尝试我们的 教程 或运行 教程文件夹 中的示例，开始使用 PyTorchVideo。

模型库和基准

我们提供大量基准结果和已训练模型，可在 PyTorchVideo 模型库 中下载。

贡献者

以下是按字母顺序排列的不断增长的 PyTorchVideo 贡献者列表（如果您希望被添加，请告知我们）： Aaron Adcock、Amy Bearman、Bernard Nguyen、Bo Xiong、Chengyuan Yan、Christoph Feichtenhofer、Dave Schnizlein、Haoqi Fan、Heng Wang、Jackson Hamburger、Jitendra Malik、Kalyan Vasudev Alwala、Matt Feiszli、Nikhila Ravi、Ross Girshick、Tullie Murrell、Wan-Yen Lo、Weiyao Wang、Xiaowen Lin、Yanghao Li、Yilei Li、Zhengxing Chen、Zhicheng Yan。

开发

我们欢迎对 PyTorchVideo 的新贡献，并将积极维护此库！有关如何运行代码、测试和 linter，以及提交拉取请求的完整说明，请参阅 CONTRIBUTING.md。

引用 PyTorchVideo

如果您在工作中发现 PyTorchVideo 很有用，请使用以下 BibTeX 条目进行引用。

@inproceedings{fan2021pytorchvideo,
    author =       {Haoqi Fan 和 Tullie Murrell、Heng Wang、Kalyan Vasudev Alwala、Yanghao Li、Yilei Li、Bo Xiong、Nikhila Ravi、Meng Li、Haichuan Yang、Jitendra Malik、Ross Girshick、Matt Feiszli、Aaron Adcock、Wan-Yen Lo、Christoph Feichtenhofer},
    title = {{PyTorchVideo}: 视频理解的深度学习库},
    booktitle = {第 29 届 ACM 国际多媒体会议论文集},
    year = {2021},
    note = {\url{https://pytorchvideo.org/}},
}

PyTorchVideo 快速上手指南

PyTorchVideo 是一个专注于视频理解研究的深度学习库，基于 PyTorch 构建，提供可复用、模块化且高效的视频模型、数据集加载器及专用变换组件。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux 或 macOS（Windows 支持可能受限，建议优先使用 Linux）
• Python 版本：>= 3.7
• 前置依赖：
  • 已安装 PyTorch (推荐最新稳定版)
  • 推荐使用 conda 管理虚拟环境

安装步骤

建议在 conda 虚拟环境中进行安装，以避免依赖冲突。

1. 创建并激活 conda 环境（如已存在可跳过）：

   conda create -n ptv python=3.8
   conda activate ptv
   

2. 安装 PyTorchVideo：

   直接使用 pip 安装官方发布版本：

   pip install pytorchvideo
   

   国内加速提示：如果下载速度较慢，可使用清华或阿里镜像源加速安装：

   pip install pytorchvideo -i https://pypi.tuna.tsinghua.edu.cn/simple
   

   注：如需安装包含最新未发布特性的开发版，或需要特定的 CUDA 版本支持，请参考项目根目录下的 INSTALL.md 文件获取详细编译指令。

基本使用

安装完成后，您可以直接导入库并使用预训练模型。以下是一个加载预训练模型并进行简单推理的最小化示例：

import torch
from pytorchvideo.models.x3d import x3d_xs

# 1. 构建模型 (以 X3D-XS 为例)
model = x3d_xs(pretrained=True)
model.eval()

# 2. 准备输入数据 (模拟一个视频片段)
# 形状通常为 (Batch, Channel, Time, Height, Width)
# 这里假设输入为 16 帧，224x224 分辨率的 RGB 视频
input_video = torch.rand(1, 3, 16, 224, 224)

# 3. 前向推理
with torch.no_grad():
    output = model(input_video)

print(f"输出形状：{output.shape}")
print("模型推理完成！")

下一步建议：

• 访问 PyTorchVideo 官方教程 学习数据加载、自定义变换及训练流程。
• 查看 Model Zoo 获取更多预训练模型（如 SlowFast, MViT 等）及其基准性能。