该仓库已与最新且推荐的 TensorFlow 2.0 版本不兼容。为了避免痛苦地重构代码，我创建了一个全新的仓库，并添加了一些额外功能，例如：

• 基于 MobileNetV2 的小型模型训练代码。

• 在 TensorBoard 中可视化预测结果（热力图、PAFs）。

• 用于转换和测试 TensorFlow Lite 模型的附加脚本。

新仓库的链接如下：tensorflow_Realtime_Multi-Person_Pose_Estimation

---

实时多人姿态估计（已弃用）

这是 Realtime Multi-Person Pose Estimation 项目的 Keras 版本。

简介

这是一个使用 Keras 复现 2017 CVPR 论文的代码库。

这是一个经过改进的新版本。主要目标是移除对独立 C++ 服务器的依赖，因为该服务器不仅编译复杂，还存在一些 bug，而且速度非常慢。旧版本利用了 rmpe_dataset_server，如果你真的想查看，仍然可以在 v0.1 标签下找到它。

结果

目录

1. 将 Caffe 模型转换为 Keras 模型
2. 测试步骤
3. 训练步骤
4. 变更记录

需求

1. Keras
2. 如果你想将 Caffe 模型转换为 Keras 模型，则需要 Caffe - docker。你无需在本地机器上编译或安装 Caffe。

将 Caffe 模型转换为 Keras 模型

原始实现 的作者已经发布了训练好的 Caffe 模型，你可以使用它来提取权重数据。

• 下载 Caffe 模型 cd model; sh get_caffe_model.sh
• 将 Caffe 层转储为 NumPy 数据 cd ..; docker run -v [绝对路径到你的 keras_Realtime_Multi-Person_Pose_Estimation 文件夹]:/workspace -it bvlc/caffe:cpu python dump_caffe_layers.py 注意，Docker 只接受绝对路径，因此你需要设置包含该项目文件夹的完整路径。
• 将 Caffe 模型（从 NumPy 数据）转换为 Keras 模型 python caffe_to_keras.py

测试步骤

• 将 Caffe 模型转换为 Keras 模型，或者下载已经转换好的 Keras 模型 https://www.dropbox.com/s/llpxd14is7gyj0z/model.h5
• 运行笔记本 demo.ipynb。
• python demo_image.py --image sample_images/ski.jpg 来运行图片演示。结果将保存在 result.png 文件中。你可以使用任何图像文件作为输入。

训练步骤

• 安装 gsutil curl https://sdk.cloud.google.com | bash。这是一个非常有用的工具，用于下载大型数据集。
• 下载数据集（约 25 GB）cd dataset; sh get_dataset.sh
• 在 dataset/coco/ 中下载 COCO 官方工具箱。
• cd coco/PythonAPI; sudo python setup.py install 来安装 pycocotools。
• 进入“training”文件夹 cd ../../../training。
• 你可以选择设置用于并行生成样本的进程数 dataset.py -> 找到这一行 df = PrefetchDataZMQ(df, nr_proc=4)
• 在终端中运行命令 python train_pose.py

变更记录

2018年6月25日

• 性能提升，得益于用 tensorpack dataflow 替代了 C++ 服务器 rmpe_dataset_server。 Tensorpack 是一个非常高效的库，用于 TensorFlow 模型的预处理和数据加载。Dataflow 对象的行为类似于普通的 Python 迭代器，但它可以使用多个进程生成样本。这显著减少了 GPU 等待下一个样本进行处理时的延迟。

• 动态生成掩码——无需再运行单独的脚本生成掩码。事实上，大多数掩码都是正向的（没有需要遮盖的部分）。

• 掩盖掉那些距离画面中主要人物过近而被丢弃的人，这样网络就永远不会看到未标记的人。以前我们会过滤掉这些较小人物的关键点，但他们仍然会出现在画面中。

• 已修复掩码处理不当的问题。rmpe_dataset_server 有时会为图像分配错误的掩码，从而误导网络。

2017年10月26日

修复了训练过程中的问题。 以下是我训练 5 个 epoch（共 25000 次迭代，1 个 epoch 大约 5000 个批次）后的结果： 损失值与原始训练的结果非常相似——output.txt

使用仅训练了 25000 次迭代的模型运行 demo_image --image sample_images/ski.jpg --model training/weights.best.h5 的结果。还不错！！！在我的单块 1070 显卡上训练大约花了 10 个小时。

2017年10月22日

增强后的样本是从 服务器 获取的。网络永远不会看到相同的图像两次， 这在之前的方法（工具 rmpe_dataset_transformer）中是一个问题。这使得你可以在本地或在不同的节点上运行数据增强。 你可以启动两个实例，一个服务于训练集，另一个服务于验证集（如果是在本地，可以使用不同的端口）。

相关仓库

• CVPR'16，卷积姿态机器。
• CVPR'17，实时多人姿态估计。

引用

如果你的研究受益于此论文，请在你的出版物中引用：

@InProceedings{cao2017realtime,
  title = {使用部分亲和场进行实时多人二维姿态估计},
  author = {曹哲、托马斯·西蒙、魏世恩、亚瑟·谢赫},
  booktitle = {IEEE 计算机视觉与模式识别会议 (CVPR)},
  year = {2017}
  }

Keras 实时多人姿态估计快速上手指南

⚠️ 重要提示：本仓库（keras_Realtime_Multi-Person_Pose_Estimation）已不再兼容最新的 TensorFlow 2.0 版本，处于**弃用（DEPRECATED）**状态。

作者已推出基于 TensorFlow 2.0 的全新重构版本，支持 MobileNetV2 小模型训练、TensorBoard 可视化及 TFLite 转换。 强烈建议新用户直接使用新版仓库：tensorflow_Realtime_Multi-Person_Pose_Estimation

以下指南仅适用于需要复现 2017 CVPR 论文原始 Keras 版本或维护旧项目的开发者。

---

1. 环境准备

系统要求

• 操作系统: Linux (推荐) 或 macOS
• GPU: NVIDIA GPU (可选，用于加速训练和推理)
• Docker: 必须安装（用于转换 Caffe 模型，避免本地编译 Caffe）

前置依赖

请确保已安装以下 Python 库：

• Keras (后端建议使用 TensorFlow 1.x)
• OpenCV
• NumPy
• pycocotools (用于训练数据处理)
• gsutil (用于下载大型数据集)

安装基础 Python 依赖：

pip install keras opencv-python numpy

若需进行训练，还需安装 COCO API：

# 下载 COCO official toolbox 到 dataset/coco/ 目录后执行
cd dataset/coco/PythonAPI
sudo python setup.py install

---

2. 安装与模型转换

本项目核心是将原作者提供的 Caffe 模型权重转换为 Keras 格式。你无需在本地安装 Caffe，只需使用 Docker。

步骤一：获取 Caffe 预训练模型

进入模型目录并下载官方提供的 Caffe 模型文件：

cd model
sh get_caffe_model.sh
cd ..

步骤二：导出 Caffe 层数据

使用 Docker 将 Caffe 模型层数据导出为 NumPy 格式。 注意：请将 [absolute path to your folder] 替换为你当前项目文件夹的绝对路径。

docker run -v [absolute path to your keras_Realtime_Multi-Person_Pose_Estimation folder]:/workspace -it bvlc/caffe:cpu python dump_caffe_layers.py

步骤三：转换为 Keras 模型

运行转换脚本生成 .h5 模型文件：

python caffe_to_keras.py

快捷方式：如果你不想自行转换，可以直接下载作者已转换好的 Keras 模型： model.h5 (Dropbox)

---

3. 基本使用

图像演示（最快上手）

使用转换好的模型对单张图片进行姿态估计。

命令示例：

python demo_image.py --image sample_images/ski.jpg

• 输入：任意图片路径（如 sample_images/ski.jpg）
• 输出：结果将保存为当前目录下的 result.png

Jupyter Notebook 演示

如果你希望通过交互式界面查看热力图（heatmaps）和亲和场（PAFs）的详细过程：

jupyter notebook demo.ipynb

---

4. 训练步骤（可选）

如需从头训练或微调模型，请按以下步骤操作：

1. 安装谷歌云工具 (用于高速下载数据集)：

   curl https://sdk.cloud.google.com | bash
   

2. 下载数据集 (约 25 GB)：

   cd dataset
   sh get_dataset.sh
   

3. 配置数据加载 (可选优化)： 编辑 training/dataset.py，找到 PrefetchDataZMQ 行，调整并行进程数：

   df = PrefetchDataZMQ(df, nr_proc=4) # 根据 CPU 核心数调整
   

4. 开始训练：

   cd training
   python train_pose.py
   

   注：在单张 GTX 1070 GPU 上训练 5 个 epoch (约 25000 次迭代) 大约需要 10 小时。