OpenMMLab官网 ^热门      OpenMMLab平台 ^立即体验

📘文档 | 🛠️安装 | 👀模型库 | 🆕更新消息 | 🚀进行中项目 | 🤔提交问题

English | 简体中文

📄 目录

• 📄 目录
• 🥳 🚀 最新动态
• 📖 简介
• 🎁 主要特性
• 🛠️ 安装
• 👀 模型库
• 👨‍🏫 快速入门
• 🎫 许可证
• 🖊️ 引用
• 🙌 贡献
• 🤝 致谢
• 🏗️ OpenMMLab中的项目

🥳 🚀 最新动态 🔝

默认分支已从master(当前0.x)切换至main(之前的1.x)，我们鼓励用户迁移到最新版本，该版本支持更多模型、更强的预训练检查点以及更简洁的代码。更多详情请参阅迁移指南。

发布日期（2023年10月12日）： v1.2.0 新增以下功能：

• 支持VindLU多模态算法及ActionClip的训练
• 支持轻量级模型MobileOne TSN/TSM
• 支持视频检索数据集MSVD
• 支持使用SlowOnly K700特征训练定位模型
• 支持视频和音频演示

📖 简介 🔝

MMAction2是一个基于PyTorch的开源视频理解工具箱。 它是OpenMMLab项目的一部分。

基于Kinetics-400的动作分类（左）和基于NTU-RGB+D-120的骨骼动作分类（右）

基于骨骼的时空动作检测及在Kinetics-400上的动作分类结果

AVA-2.1上的时空动作检测结果

🎁 主要特性 🔝

• 模块化设计：我们将视频理解框架分解为不同的组件。用户可以通过组合不同模块轻松构建自定义的视频理解框架。

• 支持五大视频理解任务：MMAction2实现了多种算法，用于处理包括动作分类、动作定位、时空动作检测、基于骨骼的动作检测以及视频检索在内的多项视频理解任务。

• 经过充分测试与完善文档：我们提供了详尽的文档和API参考，以及单元测试。

🛠️ 安装 🔝

MMAction2 依赖于 PyTorch、MMCV、MMEngine、MMDetection（可选）以及 MMPose（可选）。

请参阅 install.md 获取详细说明。

conda create --name openmmlab python=3.8 -y
conda activate openmmlab
conda install pytorch torchvision -c pytorch  # 此命令将自动安装最新版本的 PyTorch 和 cudatoolkit，请检查它们是否与您的环境匹配。
pip install -U openmim
mim install mmengine
mim install mmcv
mim install mmdet  # 可选
mim install mmpose  # 可选
git clone https://github.com/open-mmlab/mmaction2.git
cd mmaction2
pip install -v -e .

👀 模型库 🔝

结果和模型可在 模型库 中找到。

👨‍🏫 开始使用 🔝

为了帮助用户快速上手，我们提供了以下基础使用指南：

• 从 MMAction2 0.X 迁移
• 配置文件详解
• 数据集准备
• 使用现有模型进行推理
• 训练与测试

🎫 许可证 🔝

本项目采用 Apache 2.0 许可证 发布。

🖊️ 引用 🔝

如果您在研究中使用了本项目，请考虑引用：

@misc{2020mmaction2,
    title={OpenMMLab 下一代视频理解工具箱及基准},
    author={MMAction2 贡献者},
    howpublished = {\url{https://github.com/open-mmlab/mmaction2}},
    year={2020}
}

🙌 贡献 🔝

我们非常欢迎对 MMAction2 的任何贡献。有关贡献指南的详细信息，请参阅 MMCV 中的 CONTRIBUTING.md。

🤝 致谢 🔝

MMAction2 是一个开源项目，由来自不同院校和公司的研究人员与工程师共同贡献而成。 我们感谢所有实现其方法或添加新功能的贡献者，以及提供宝贵反馈的用户。 我们希望该工具箱和基准能够为不断壮大的研究社区服务，提供一个灵活的工具集，用于复现现有方法并开发新的模型。

🏗️ OpenMMLab 中的项目 🔝

• MMEngine：OpenMMLab 用于训练深度学习模型的基础库。
• MMCV：OpenMMLab 用于计算机视觉的基础库。
• MIM：MIM 用于安装 OpenMMLab 的相关软件包。
• MMEval：一个面向多种机器学习框架的统一评估库。
• MMPreTrain：OpenMMLab 的预训练工具箱及基准。
• MMDetection：OpenMMLab 的目标检测工具箱及基准。
• MMDetection3D：OpenMMLab 新一代通用 3D 物体检测平台。
• MMRotate：OpenMMLab 的旋转目标检测工具箱及基准。
• MMYOLO：OpenMMLab YOLO 系列工具箱及基准。
• MMSegmentation：OpenMMLab 的语义分割工具箱及基准。
• MMOCR：OpenMMLab 的文本检测、识别与理解工具箱。
• MMPose：OpenMMLab 的姿态估计工具箱及基准。
• MMHuman3D：OpenMMLab 的 3D 人体参数化模型工具箱及基准。
• MMSelfSup：OpenMMLab 的自监督学习工具箱及基准。
• MMRazor：OpenMMLab 的模型压缩工具箱及基准。
• MMFewShot：OpenMMLab 的少样本学习工具箱及基准。
• MMAction2：OpenMMLab 下一代动作理解工具箱及基准。
• MMTracking：OpenMMLab 的视频感知工具箱及基准。
• MMFlow：OpenMMLab 的光流计算工具箱及基准。
• MMagic：OpenMMLab Advanced, Generative and Intelligent Creation 工具箱。
• MMGeneration：OpenMMLab 的图像和视频生成模型工具箱。
• MMDeploy：OpenMMLab 的模型部署框架。
• Playground：一个汇集并展示基于 OpenMMLab 构建的优秀项目的中心平台。

MMAction2 快速上手指南

MMAction2 是一个基于 PyTorch 的开源视频理解工具箱，由 OpenMMLab 开发。它支持动作识别、动作定位、时空动作检测、基于骨架的动作检测及视频检索等五大核心任务。

1. 环境准备

在开始安装前，请确保满足以下系统要求：

• 操作系统: Linux (推荐), Windows, macOS
• Python: 3.8 及以上版本
• PyTorch: 1.6+ (推荐最新稳定版)
• CUDA: 根据显卡型号安装对应的 CUDA Toolkit (可选，用于 GPU 加速)
• 前置依赖: 需安装 mmcv, mmengine，可选安装 mmdet (用于检测任务) 和 mmpose (用于骨架任务)。

提示：国内用户建议使用清华源或阿里源加速 Python 包下载。

2. 安装步骤

推荐使用 conda 创建独立虚拟环境，并使用 openmim 工具管理 OpenMMLab 系列依赖。

第一步：创建并激活环境

conda create --name openmmlab python=3.8 -y
conda activate openmmlab

第二步：安装 PyTorch

根据您的 CUDA 版本选择安装命令（以下为通用命令，会自动匹配最新兼容版本）：

conda install pytorch torchvision -c pytorch

国内加速方案（清华源）:

conda install pytorch torchvision -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/

第三步：安装 OpenMMLab 核心组件

使用 mim (OpenMMLab Package Manager) 安装依赖，它会自动处理版本兼容性：

pip install -U openmim
mim install mmengine
mim install mmcv

如需支持动作定位或骨架检测任务，请安装可选依赖：

mim install mmdet
mim install mmpose

第四步：安装 MMAction2

克隆源码并以可编辑模式安装：

git clone https://github.com/open-mmlab/mmaction2.git
cd mmaction2
pip install -v -e .

国内加速克隆:

git clone https://gitee.com/openmmlab/mmaction2.git

3. 基本使用

安装完成后，您可以直接使用提供的配置文件进行模型推理或训练。以下是一个最简单的视频动作识别推理示例。

准备测试视频

确保当前目录下有一个视频文件（例如 demo.mp4），或者使用项目自带的示例视频。

运行推理脚本

使用预训练模型对视频进行动作识别。以下命令使用 TSN 模型（ResNet50 骨干网络）在 Kinetics-400 数据集上预训练的权重进行测试：

python demo/demo_inferencer.py \
    demo/demo.mp4 \
    configs/recognition/tsn/tsn_imagenet-pretrained-r50_8xb32-1x1x3-100e_kinetics400-rgb.py \
    https://download.openmmlab.com/mmaction/v1.0/recognition/tsn/tsn_imagenet-pretrained-r50_8xb32-1x1x3-100e_kinetics400-rgb/tsn_imagenet-pretrained-r50_8xb32-1x1x3-100e_kinetics400-rgb_20220922-10297f05.pth \
    --out-dir result

参数说明：

• demo/demo.mp4: 输入视频路径。
• .py 文件：模型配置文件（定义了网络结构）。
• .pth 文件：预训练权重文件链接（也可下载后使用本地路径）。
• --out-dir result: 输出结果目录，包含带有预测标签的视频和文本结果。

执行完毕后，查看 result 文件夹即可看到标注了动作类别的视频文件。