使用 TensorFlow 进行人体姿态估计

在这里，您可以找到人体姿态估计算法的实现，该算法分别在 DeeperCut 和 ArtTrack 论文中提出：

Eldar Insafutdinov、Leonid Pishchulin、Bjoern Andres、Mykhaylo Andriluka 和 Bernt Schiele
DeeperCut：一种更深入、更强健且更快的多人姿态估计模型。
载于 欧洲计算机视觉会议 (ECCV)，2016 年

Eldar Insafutdinov、Mykhaylo Andriluka、Leonid Pishchulin、Siyu Tang、Evgeny Levinkov、Bjoern Andres 和 Bernt Schiele
ArtTrack：野外环境下的多人体关节式跟踪。
载于 计算机视觉与模式识别会议 (CVPR)，2017 年

更多信息请访问 http://pose.mpi-inf.mpg.de

前置条件

本实现基于 Python 3 和 TensorFlow。我们建议使用 conda 来安装依赖项。首先，创建一个 Python 3.6 环境：

conda create -n py36 python=3.6
conda activate py36

然后，使用 conda 安装基本依赖项：

conda install numpy scikit-image pillow scipy pyyaml matplotlib cython

再使用 pip 安装 TensorFlow 及其余软件包：

pip install tensorflow-gpu easydict munkres

运行训练或预测脚本时，请确保将环境变量 TF_CUDNN_USE_AUTOTUNE 设置为 0（详情请参阅 此问题）。

如果您的机器有多块 GPU，可以通过设置环境变量来选择使用的 GPU，例如 CUDA_VISIBLE_DEVICES=0。

示例代码

单人场景（图像中仅有一人）

# 下载预训练模型文件
$ cd models/mpii
$ ./download_models.sh
$ cd -

# 运行单人姿态估计示例
$ TF_CUDNN_USE_AUTOTUNE=0 python3 demo/singleperson.py

多人场景

# 编译依赖项
$ ./compile.sh

# 下载预训练模型文件
$ cd models/coco
$ ./download_models.sh
$ cd -

# 运行多人姿态估计示例
$ TF_CUDNN_USE_AUTOTUNE=0 python3 demo/demo_multiperson.py

模型训练

请按照这些 说明 进行操作。

引用

如果您认为对研究有帮助，请在您的出版物中引用 ArtTrack 和 DeeperCut：

@inproceedings{insafutdinov2017cvpr,
    title = {ArtTrack: 野外环境下的多人体关节式跟踪},
    booktitle = {CVPR'17},
    url = {http://arxiv.org/abs/1612.01465},
    author = {Eldar Insafutdinov、Mykhaylo Andriluka、Leonid Pishchulin、Siyu Tang、Evgeny Levinkov、Bjoern Andres 和 Bernt Schiele}
}

@article{insafutdinov2016eccv,
    title = {DeeperCut：一种更深入、更强健且更快的多人姿态估计模型},
    booktitle = {ECCV'16},
    url = {http://arxiv.org/abs/1605.03170},
    author = {Eldar Insafutdinov、Leonid Pishchulin、Bjoern Andres、Mykhaylo Andriluka 和 Bernt Schiele}
}

pose-tensorflow 快速上手指南

环境准备

本项目基于 Python 3.6 和 TensorFlow 开发，推荐在 Linux 环境下运行。请确保您的系统已安装 conda 包管理器，并具备支持 CUDA 的 NVIDIA GPU（如需使用 GPU 加速）。

前置依赖：

• Python 3.6
• conda
• NVIDIA GPU 及对应驱动（可选，用于加速）

安装步骤

1. 创建并激活虚拟环境

首先创建一个名为 py36 的 Python 3.6 环境：

conda create -n py36 python=3.6
conda activate py36

2. 安装基础依赖

使用 conda 安装必要的科学计算库：

conda install numpy scikit-image pillow scipy pyyaml matplotlib cython

提示：国内用户可添加清华或中科大镜像源以加速下载，例如： conda install -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main ...

3. 安装 TensorFlow 及其他包

使用 pip 安装 TensorFlow（GPU 版本）和其他辅助库：

pip install tensorflow-gpu easydict munkres

注意：运行训练或预测脚本前，务必设置环境变量 TF_CUDNN_USE_AUTOTUNE=0 以避免潜在错误。若机器有多张显卡，可通过 CUDA_VISIBLE_DEVICES 指定使用的 GPU（例如：export CUDA_VISIBLE_DEVICES=0）。

基本使用

本工具提供单人姿态估计和多人姿态估计两种演示模式。

模式一：单人姿态估计 (Single-Person)

适用于图像中仅包含一个人的场景。

1. 下载预训练模型：

   cd models/mpii
   ./download_models.sh
   cd -
   

2. 运行演示：

   TF_CUDNN_USE_AUTOTUNE=0 python3 demo/singleperson.py
   

模式二：多人姿态估计 (Multiple People)

适用于图像中包含多个人的复杂场景。

1. 编译依赖项：

   ./compile.sh
   

2. 下载预训练模型：

   cd models/coco
   ./download_models.sh
   cd -
   

3. 运行演示：

   TF_CUDNN_USE_AUTOTUNE=0 python3 demo/demo_multiperson.py
   

运行成功后，程序将加载默认图片并进行人体关键点检测，输出可视化结果。如需训练自定义模型，请参考 models/README.md 中的详细指令。