---

功能特性 • 文档 • 快速开始 • 性能 • 精度 • 引用我们 • 许可证

HyperPose

HyperPose 是一个用于构建高性能自定义姿态估计（Pose Estimation）应用的库。

功能特性

HyperPose 具有两个关键特性：

• 基于 CPU/GPU 的高性能姿态估计：HyperPose 通过一个高性能的姿态估计引擎实现了实时姿态估计。该引擎实现了许多系统优化，例如流水线并行、使用 TensorRT 进行模型推理、CPU/GPU 混合调度等。这些优化使得其相比 OpenPose、TF-Pose 和 OpenPifPaf 等工具，帧率（FPS）提升了高达 10 倍。
• 开发自定义姿态估计模型的灵活性：HyperPose 提供了高级 Python API 来开发姿态估计模型。HyperPose 用户可以：
  • 自定义训练、评估、可视化、预处理和后处理流程。
  • 自定义模型架构（如 OpenPose、Pifpaf、PoseProposal Network）和训练数据集。
  • 使用多 GPU 加速训练。

示例

使用 HyperPose 实现的新宝岛（轻量级 OpenPose 模型）

快速开始

HyperPose 库包含两个部分：

• 一个用于高性能姿态估计模型推理的 C++ 库。
• 一个用于开发自定义姿态估计模型的 Python 库。

C++ 推理库

使用推理库最简单的方式是通过 Docker 镜像。此镜像的前置条件包括：

• CUDA 驱动 >= 418.81.07（适用于默认 CUDA 10.0 镜像）
• NVIDIA Docker >= 2.0
• Docker CE 引擎 >= 19.03

运行以下命令以检查前置条件是否已准备好：

wget https://raw.githubusercontent.com/tensorlayer/hyperpose/master/scripts/test_docker.py -qO- | python

前置条件准备完成后，拉取 HyperPose Docker 镜像：

docker pull tensorlayer/hyperpose

我们在该镜像中提供了 4 个示例（以下命令已在 Ubuntu 18.04 上测试通过）：

# [示例 1]：对给定视频进行推理，并将 output.avi 复制到本地路径。
docker run --name quick-start --gpus all tensorlayer/hyperpose --runtime=stream
docker cp quick-start:/hyperpose/build/output.avi .
docker rm quick-start


# [示例 2]（需要 X11 服务器才能看到 imshow 窗口）：实时推理。
# 您可能需要在本地安装 X11 服务器：
# sudo apt install xorg openbox xauth
xhost +; docker run --rm --gpus all -e DISPLAY=$DISPLAY -v /tmp/.X11-unix:/tmp/.X11-unix tensorlayer/hyperpose --imshow


# [示例 3]：摄像头 + imshow 窗口
xhost +; docker run --name pose-camera --rm --gpus all -e DISPLAY=$DISPLAY -v /tmp/.X11-unix:/tmp/.X11-unix --device=/dev/video0:/dev/video0 tensorlayer/hyperpose --source=camera --imshow
# 要退出此镜像，请在另一个终端中输入 `docker kill pose-camera`。


# [深入镜像]
xhost +; docker run --rm --gpus all -it -e DISPLAY=$DISPLAY -v /tmp/.X11-unix:/tmp/.X11-unix --device=/dev/video0:/dev/video0 --entrypoint /bin/bash tensorlayer/hyperpose
# 对于无法访问摄像头或 X11 服务器的用户，也可以使用：
# docker run --rm --gpus all -it --entrypoint /bin/bash tensorlayer/hyperpose

有关命令行标志的更多用法，请访问此处。

Python 训练库

我们建议在 Anaconda 环境中使用 Python 训练库。以下快速入门已在以下环境中测试通过：

操作系统	NVIDIA 驱动	CUDA 工具包	GPU
Ubuntu 18.04	410.79	10.0	Tesla V100-DGX
Ubuntu 18.04	440.33.01	10.2	Tesla V100-DGX
Ubuntu 18.04	430.64	10.1	TITAN RTX
Ubuntu 18.04	430.26	10.2	TITAN XP
Ubuntu 16.04	430.50	10.1	RTX 2080Ti

安装 Anaconda 后，运行以下 Bash 命令创建虚拟环境：

# 创建虚拟环境（选择“是”）
conda create -n hyperpose python=3.7
# 激活虚拟环境，开始安装
conda activate hyperpose
# 使用 conda 安装 cudatoolkit 和 cudnn 库
conda install cudatoolkit=10.0.130
conda install cudnn=7.6.0

然后克隆代码仓库并安装 requirements.txt 中列出的依赖项：

git clone https://github.com/tensorlayer/hyperpose.git && cd hyperpose
pip install -r requirements.txt

我们演示如何使用 HyperPose 训练一个自定义姿态估计模型。HyperPose API 包含三个关键模块：Config（配置）、Model（模型）和 Dataset（数据集），其基本用法如下所示。

from hyperpose import Config, Model, Dataset

# 设置模型名称以区分不同模型（必要）
Config.set_model_name("MyLightweightOpenPose")

设置模型类型、模型主干网络和数据集

Config.set_model_type(Config.MODEL.LightweightOpenpose) Config.set_model_backbone(Config.BACKBONE.Vggtiny) Config.set_dataset_type(Config.DATA.MSCOCO)

设置单节点训练或并行训练

Config.set_train_type(Config.TRAIN.Single_train)

config = Config.get_config() model = Model.get_model(config) dataset = Dataset.get_dataset(config)

开始训练过程

Model.get_train(config)(model, dataset)

完整的训练程序可以在[这里](https://github.com/tensorlayer/hyperpose/blob/master/train.py)找到。要评估训练好的模型，可以使用[这里的](https://github.com/tensorlayer/hyperpose/blob/master/eval.py)评估程序。更多关于训练库的信息可以参考[这里](https://hyperpose.readthedocs.io/en/latest/markdown/quick_start/training.html)。


## 文档

HyperPose 训练库和推理库的 API 在[文档](https://hyperpose.readthedocs.io/en/latest/)中有详细描述。

## 性能

我们将 HyperPose 的预测性能与 [OpenPose 1.6](https://github.com/CMU-Perceptual-Computing-Lab/openpose)、[TF-Pose](https://github.com/ildoonet/tf-pose-estimation) 和 [OpenPifPaf 0.12](https://github.com/openpifpaf/openpifpaf) 进行了比较。测试环境为 Ubuntu18.04，1070Ti GPU，Intel i7 CPU（12个逻辑核心）。

| HyperPose 配置 | DNN 大小 | 输入尺寸 | HyperPose | 基线 |
| --------------- | ------------- | ------------------ | ------------------ | --------------------- |
| OpenPose (VGG)   | 209.3MB       | 656 x 368            | **27.32 FPS**           | 8 FPS (OpenPose)          |
| OpenPose (TinyVGG)  | 34.7 MB       | 384 x 256          | **124.925 FPS**         | N/A                   |
| OpenPose (MobileNet) | 17.9 MB       | 432 x 368          | **84.32 FPS**           | 8.5 FPS (TF-Pose)         |
| OpenPose (ResNet18)  | 45.0 MB       | 432 x 368          | **62.52 FPS**           | N/A                  |
| OpenPifPaf (ResNet50)  | 97.6 MB       | 432 x 368          | **44.16 FPS**           | 14.5 FPS (OpenPifPaf)    |

## 精度

我们评估了由 HyperPose 开发的姿态估计模型的精度。测试环境为 Ubuntu16.04，配备 4 个 V100-DGX 和 24 核 Intel Xeon CPU。每个模型的训练过程使用 1 个 V100-DGX，耗时 1~2 周。（如果您不想从头开始训练，可以使用我们的预训练主干模型）

| HyperPose 配置 | DNN 大小 | 输入尺寸 | 评估数据集 | 精度-hyperpose (Iou=0.50:0.95) | 精度-original (Iou=0.50:0.95) |
| -------------------- | ---------- | ------------- | ---------------- | --------------------- | ----------------------- |
| OpenPose (VGG19)   | 199 MB | 432 x 368 | MSCOCO2014 (随机 1160 张图像) | 57.0 map | 58.4 map  |
| LightweightOpenPose (Dilated MobileNet)   | 17.7 MB | 432 x 368 | MSCOCO2017(全部 5000 张图像) | 46.1 map | 42.8 map |
| LightweightOpenPose (MobileNet-Thin)   | 17.4 MB | 432 x 368 | MSCOCO2017 (全部 5000 张图像) | 44.2 map | 28.06 map (MSCOCO2014) |
| LightweightOpenPose (tiny VGG)   | 23.6 MB | 432 x 368 | MSCOCO2017 (全部 5000 张图像) | 47.3 map | - |
| LightweightOpenPose (ResNet50)   | 42.7 MB | 432 x 368 | MSCOCO2017 (全部 5000 张图像) | 48.2 map | - |
| PoseProposal (ResNet18)   | 45.2 MB | 384 x 384 | MPII (全部 2729 张图像) | 54.9 map (PCKh) | 72.8 map (PCKh)|

## 引用

如果 HyperPose 对您的项目有所帮助，请引用我们的论文：

@article{hyperpose2021, author = {Guo, Yixiao and Liu, Jiawei and Li, Guo and Mai, Luo and Dong, Hao}, journal = {ACM Multimedia}, title = {{Fast and Flexible Human Pose Estimation with HyperPose}}, url = {https://github.com/tensorlayer/hyperpose}, year = {2021} }

## 许可证

HyperPose 在 [Apache 2.0 许可证](https://github.com/tensorlayer/tensorlayer/blob/master/LICENSE.rst)下开源。

HyperPose 快速上手指南

HyperPose 是一个用于构建高性能自定义姿态估计应用的开源库，包含 C++ 推理库和 Python 训练库两部分。

---

环境准备

系统要求

• 操作系统: Ubuntu 16.04 或 18.04
• GPU 驱动: CUDA Driver >= 418.81.07（默认 CUDA 10.0 镜像）
• NVIDIA Docker: NVIDIA Docker >= 2.0
• Docker 版本: Docker CE Engine >= 19.03

前置依赖

• C++ 推理库:
  • CUDA Toolkit
  • NVIDIA Docker
  • Docker CE
• Python 训练库:
  • Anaconda（推荐）
  • GPU 环境（如 Tesla V100、TITAN RTX 等）

---

安装步骤

C++ 推理库

通过 Docker 快速安装和运行：

# 检查前置依赖是否满足
wget https://raw.githubusercontent.com/tensorlayer/hyperpose/master/scripts/test_docker.py -qO- | python

# 拉取 HyperPose Docker 镜像
docker pull tensorlayer/hyperpose

Python 训练库

在 Anaconda 环境中安装：

# 创建并激活虚拟环境
conda create -n hyperpose python=3.7
conda activate hyperpose

# 安装 CUDA 和 cuDNN 库
conda install cudatoolkit=10.0.130
conda install cudnn=7.6.0

# 克隆代码仓库并安装依赖
git clone https://github.com/tensorlayer/hyperpose.git && cd hyperpose
pip install -r requirements.txt

---

基本使用

C++ 推理库示例

以下命令展示了如何使用 HyperPose 的 C++ 推理库进行视频推理或实时摄像头姿态估计：

# 示例 1: 对给定视频进行推理，并将结果保存为 output.avi
docker run --name quick-start --gpus all tensorlayer/hyperpose --runtime=stream
docker cp quick-start:/hyperpose/build/output.avi .
docker rm quick-start

# 示例 2: 实时推理（需要 X11 支持）
xhost +; docker run --rm --gpus all -e DISPLAY=$DISPLAY -v /tmp/.X11-unix:/tmp/.X11-unix tensorlayer/hyperpose --imshow

# 示例 3: 使用摄像头进行实时推理（需要摄像头支持）
xhost +; docker run --name pose-camera --rm --gpus all -e DISPLAY=$DISPLAY -v /tmp/.X11-unix:/tmp/.X11-unix --device=/dev/video0:/dev/video0 tensorlayer/hyperpose --source=camera --imshow

更多命令行参数说明，请参考官方文档。

---

Python 训练库示例

以下代码展示了如何使用 HyperPose 的 Python API 训练一个轻量级 OpenPose 模型：

from hyperpose import Config, Model, Dataset

# 设置模型名称（必须）
Config.set_model_name("MyLightweightOpenPose")

# 设置模型类型、骨干网络和数据集
Config.set_model_type(Config.MODEL.LightweightOpenpose)
Config.set_model_backbone(Config.BACKBONE.Vggtiny)
Config.set_dataset_type(Config.DATA.MSCOCO)

# 设置单节点训练或并行训练
Config.set_train_type(Config.TRAIN.Single_train)

# 获取配置并初始化模型和数据集
config = Config.get_config()
model = Model.get_model(config)
dataset = Dataset.get_dataset(config)

# 开始训练
Model.get_train(config)(model, dataset)

完整训练脚本可参考train.py，评估脚本可参考eval.py。

---

参考资料

• 官方文档: HyperPose 文档
• 预训练模型: Google Drive 模型库
• 论文引用:

  @article{hyperpose2021,
      author  = {Guo, Yixiao and Liu, Jiawei and Li, Guo and Mai, Luo and Dong, Hao},
      journal = {ACM Multimedia},
      title   = {{Fast and Flexible Human Pose Estimation with HyperPose}},
      url     = {https://github.com/tensorlayer/hyperpose},
      year    = {2021}
  }