实时多人姿态估计

作者：Zhe Cao、Tomas Simon、Shih-En Wei、Yaser Sheikh。

简介

本代码库曾荣获2016年MSCOCO关键点挑战赛冠军、2016年ECCV最佳演示奖以及2017年CVPR口头报告论文。

请观看我们的视频演示：YouTube 或 我们的网站。

我们提出了一种自下而上的实时多人姿态估计方法，无需使用任何人体检测器。更多细节请参阅我们的 CVPR'17论文、我们在CVPR 2017的 口头报告视频录像，或我们在ILSVRC和COCO研讨会2016上的 演示幻灯片。

本项目遵循 LICENSE 中的条款进行许可。

其他实现

感谢大家为重新实现所做的努力！如果您有新的实现并希望与他人分享，请随时提交拉取请求或发送邮件给我！

• 我们的全新C++库 OpenPose（仅测试中）
• Tensorflow [版本1] | [版本2] | [版本3] | [版本4] | [版本5] | [版本6] | [版本7 - TF2.1]
• Pytorch [版本1] | [版本2] | [版本3]
• Caffe2 [版本1]
• Chainer [版本1]
• MXnet [版本1]
• MatConvnet [版本1]
• CNTK [版本1]

目录

1. 测试
2. 训练
3. 引用

测试

C++（实时版本，用于演示）

• 请使用 OpenPose，目前支持CPU/GPU以及Windows/Linux系统。
• 输入选项包括：图片、视频、网络摄像头。

Matlab（较慢，用于COCO评估）

• 兼容通用的 Caffe。编译matcaffe。
• 运行 cd testing; get_model.sh 以从我们的服务器获取最新的MSCOCO模型。
• 修改 config.m 中的caffepath路径，并运行 demo.m 以查看示例用法。

Python

• cd testing/python
• ipython notebook
• 打开 demo.ipynb 并执行代码。

训练

网络架构

训练步骤

• 运行 cd training; bash getData.sh 以获取COCO数据集中的图像文件（dataset/COCO/images/）、关键点标注文件（dataset/COCO/annotations/）以及COCO官方工具箱（dataset/COCO/coco/）。
• 在Matlab中运行 getANNO.m 将标注格式从json转换为mat格式，并保存至 dataset/COCO/mat/。
• 在Matlab中运行 genCOCOMask.m 以生成未标记人员的掩码图像。可使用Matlab的parfor加速计算。
• 运行 genJSON('COCO') 以在 dataset/COCO/json/ 文件夹中生成一个json文件。该文件包含训练所需的基础信息。
• 运行 python genLMDB.py 以生成LMDB文件。（您也可以通过运行 bash get_lmdb.sh 下载我们提供的COCO数据集LMDB文件，大小为189GB）
• 下载我们修改过的Caffe：caffe_train。编译pycaffe。它将很快与用于测试的caffe_rtpose合并。
• 运行 python setLayers.py --exp 1 以生成用于训练的prototxt和shell脚本。
• 下载 VGG-19模型，我们将用其初始化前10层以开始训练。
• 运行 bash train_pose.sh 0,1（由setLayers.py生成）以使用两块GPU启动训练。

引用

如果本文对您的研究有所帮助，请在您的出版物中引用以下文献：

@inproceedings{cao2017realtime,
  author = {Zhe Cao and Tomas Simon and Shih-En Wei and Yaser Sheikh},
  booktitle = {CVPR},
  title = {Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields},
  year = {2017}
  }
  
@inproceedings{wei2016cpm,
  author = {Shih-En Wei and Varun Ramakrishna and Takeo Kanade and Yaser Sheikh},
  booktitle = {CVPR},
  title = {Convolutional pose machines},
  year = {2016}
  }

Realtime Multi-Person Pose Estimation 快速上手指南

本指南基于 Zhe Cao 等人提出的实时多人姿态估计项目（OpenPose 前身），帮助开发者快速在本地运行演示或复现训练流程。

1. 环境准备

系统要求

• 操作系统: Linux (Ubuntu 推荐) 或 macOS。Windows 用户建议直接使用后续提到的 C++ 版本 OpenPose。
• 硬件: NVIDIA GPU (用于加速推理和训练)，显存建议 4GB 以上。
• 软件依赖:
  • CUDA & cuDNN (需与 Caffe 版本匹配)
  • Caffe (官方原版或修改版 caffe_train)
  • MATLAB (用于数据预处理和部分测试脚本)
  • Python 2.7/3.x (配合 IPython Notebook 使用)
  • OpenCV, Protobuf, LMDB, Glog, Gflags

前置依赖安装 (Ubuntu 示例)

sudo apt-get update
sudo apt-get install -y libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev \
libhdf5-serial-dev protobuf-compiler libatlas-base-dev libboost-all-dev \
libgflags-dev libgoogle-glog-dev liblmdb-dev git wget

2. 安装步骤

本项目主要提供 Matlab、Python 和 C++ 三种接口。以下为各接口的快速配置流程。

方案 A：C++ 版本 (推荐，性能最佳)

原作者已将该算法重构为独立的 C++ 库 OpenPose，支持 CPU/GPU 及 Windows/Linux/Mac，适合生产环境和实时演示。

• 获取代码:

  git clone https://github.com/CMU-Perceptual-Computing-Lab/openpose.git
  cd openpose
  

• 编译与运行: 请参考 OpenPose 官方文档进行 CMake 编译。编译完成后可直接通过命令行调用摄像头或视频文件。

方案 B：Matlab 版本 (适合 COCO 评估)

1. 克隆仓库:

   git clone https://github.com/ZheC/Multi-Person-Pose-Estimation.git
   cd Multi-Person-Pose-Estimation
   

2. 下载模型:

   cd testing
   bash get_model.sh
   

   注：若下载速度慢，可手动从项目发布页下载模型并放入对应目录。
3. 配置路径: 编辑 config.m 文件，将 caffepath 修改为你本地编译好的 Caffe 路径。
4. 编译 MatCaffe: 确保你的 Caffe 已开启 MATLAB_INTERFACE := 1 并编译成功。

方案 C：Python 版本 (适合快速验证)

1. 进入目录:

   cd testing/python
   

2. 启动 Notebook:

   ipython notebook
   

3. 运行示例: 在浏览器中打开 demo.ipynb，按顺序执行单元格即可加载模型并测试图片。

3. 基本使用

使用 Matlab 运行演示

完成上述“方案 B"配置后，在 MATLAB 命令行中运行：

cd testing
demo.m

该脚本将加载预训练的 MSCOCO 模型，对示例图像进行多人关键点检测并可视化结果。

使用 Python 运行演示

在 demo.ipynb 中，核心调用逻辑如下（保持原代码风格）：

# 加载网络
net = caffe.Net('pose_deploy.prototxt', 'pose_iter_440000.caffemodel', caffe.TEST)

# 预处理输入图像
input_image = ... 
transformed_image = transformer.preprocess('data', input_image)

# 前向传播
net.blobs['data'].data[...] = transformed_image
output = net.forward()

# 解析输出热力图并进行关联 (Part Affinity Fields)
# 具体解析逻辑请参阅 demo.ipynb 中的完整代码

使用 C++ (OpenPose) 运行实时检测

编译完 OpenPose 后，在终端执行以下命令调用摄像头：

./build/examples/openpose/openpose.bin --display 1 --write_json output/

或使用视频文件：

./build/examples/openpose/openpose.bin --video examples/media/video.avi --display 1

---

提示：如需重新训练模型，请参照原文档 "Training" 章节，依次执行 getData.sh 获取 COCO 数据集，使用 Matlab 脚本转换标注格式，生成 LMDB 数据库，最后使用修改版的 caffe_train 进行训练。