MMSkeleton

简介

MMSkeleton 是一个基于骨架的人体理解开源工具箱。 它是 open-mmlab 项目的一部分，由 香港中文大学多媒体实验室 负责维护。 MMSkeleton 基于我们的研究项目 ST-GCN 开发。

更新日志

• [2020-01-21] MMSkeleton v0.7 发布。
• [2019-10-09] MMSkeleton v0.6 发布。
• [2019-10-08] 支持模型库。
• [2019-10-02] 支持自定义数据集。
• [2019-09-23] 添加基于视频的姿态估计演示。
• [2019-08-29] MMSkeleton v0.5 发布。

特性

• 高度可扩展性

  MMSkeleton 提供了一个灵活的框架，用于系统地组织代码和项目，能够扩展到各种任务，并支持构建复杂的深度模型。

• 多任务支持

  MMSkeleton 涵盖了人体理解中的多个任务，包括但不限于：

  • 基于骨架的动作识别 (ST-GCN)
  • 2D 姿态估计
  • 基于骨架的动作生成
  • 3D 姿态估计
  • 姿态跟踪
  • 构建自定义的基于骨架的数据集
  • 创建您自己的应用

快速入门

有关 MMSkeleton 的更多详细信息，请参阅 GETTING_STARTED.md。

许可证

本项目采用 Apache 2.0 许可证 开源。

贡献

我们欢迎所有对 MMSkeleton 的改进贡献。 请参考 CONTRIBUTING.md 了解贡献指南。

引用

如果您在研究中使用本仓库，请引用以下论文：

@misc{mmskeleton2019,
  author =       {Sijie Yan, Yuanjun Xiong, Jingbo Wang, Dahua Lin},
  title =        {MMSkeleton},
  howpublished = {\url{https://github.com/open-mmlab/mmskeleton}},
  year =         {2019}
}

联系方式

如有任何问题，请随时联系：

Yan Sijie     : ys016@ie.cuhk.edu.hk
Wang Jingbo   : wangjingbo1219@foxmail.com
Xiong Yuanjun : bitxiong@gmail.com

MMSkeleton 快速上手指南

MMSkeleton 是一个基于骨骼点的开源人体理解工具箱，由香港中文大学多媒体实验室开发。它支持骨骼动作识别（如 ST-GCN）、2D 姿态估计及自定义数据集构建等任务。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 16.04+)
• Python: 3.5+
• 深度学习框架: PyTorch 1.1+
• 其他依赖:
  • CUDA (如需 GPU 加速)
  • OpenCV
  • NumPy, Pillow 等基础科学计算库

建议先安装好 PyTorch 环境。国内用户可使用清华或阿里镜像源加速安装：

pip install torch torchvision -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆仓库

使用 git 克隆 MMSkeleton 代码库：

git clone https://github.com/open-mmlab/mmskeleton.git
cd mmskeleton

2. 安装依赖

安装项目所需的 Python 依赖包。推荐使用国内镜像源以提高下载速度：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 安装 MMSkeleton

以可编辑模式安装该工具包，以便进行开发和调试：

pip install -e .

基本使用

以下是一个最简单的骨骼动作识别示例流程，演示如何加载模型并进行推理。

1. 准备数据

确保您拥有符合格式的骨骼点数据（通常为 .pkl 或 .json 格式）。如果是自定义数据，请参考官方文档 doc/CUSTOM_DATASET.md 进行配置。

2. 运行推理示例

假设您已下载了预训练模型权重（例如 st_gcn_kinetics-skeleton.pth），可以使用以下 Python 代码进行快速测试：

import torch
from mmskeleton.apis import init_model, inference_skeleton

# 配置文件路径 (需根据实际下载的配置文件调整)
config_file = 'configs/st_gcn/kinetics-skeleton/st_gcn_80x256x50.py'
# 预训练权重路径
checkpoint_file = 'checkpoints/st_gcn_kinetics-skeleton.pth'

# 初始化模型
model = init_model(config_file, checkpoint_file)

# 模拟输入数据 (batch_size, num_person, num_frame, num_joint, coord_dim)
# 此处仅为示例张量，实际使用时请替换为真实骨骼数据
dummy_input = torch.randn(1, 2, 50, 18, 2) 

# 执行推理
result = inference_skeleton(model, dummy_input)

print(f"预测结果类别索引：{result}")

3. 视频姿态估计演示

MMSkeleton 还支持从视频中提取姿态并进行识别。若已安装相关视觉依赖，可运行如下命令查看演示效果：

python demo/pose_estimation.py --video demo/demo_video.mp4 --config configs/hrnet/coco/hrnet_w32_256x192.py --checkpoint checkpoints/hrnet_w32_256x192.pth

提示：更多详细任务（如训练自定义模型、构建数据集）请参阅 doc/ 目录下的具体文档。