“基于单张RGB图像的3D多人姿态估计的相机距离感知自顶向下方法”中的PoseNet

简介

本仓库是 Camera Distance-aware Top-down Approach for 3D Multi-person Pose Estimation from a Single RGB Image (ICCV 2019) 的官方 PyTorch 实现，其中包含了 PoseNet 部分。

本仓库提供的内容：

• Camera Distance-aware Top-down Approach for 3D Multi-person Pose Estimation from a Single RGB Image (ICCV 2019) 的 PyTorch 实现。
• 灵活且简洁的代码。
• 兼容大多数公开可用的2D和3D、单人及多人姿态估计数据集，包括 Human3.6M, MPII, MS COCO 2017, MuCo-3DHP 和 MuPoTS-3D。
• 人体姿态估计可视化代码。

依赖项

• PyTorch
• CUDA
• cuDNN
• Anaconda
• COCO API

该代码已在 Ubuntu 16.04、CUDA 9.0、cuDNN 7.1 环境下，使用两块 NVIDIA 1080Ti 显卡进行了测试。

开发过程中使用了 Python 3.6.5 版本与 Anaconda 3。

快速演示

您可以在 demo 文件夹中尝试快速演示。

• 请从 这里 下载预训练的 PoseNet 模型。
• 在 demo 文件夹中准备 input.jpg 和预训练模型快照。
• 在 此处 设置 bbox_list。
• 在 此处 设置 root_depth_list。
• 如果您想在 GPU 0 上运行，请执行 python demo.py --gpu 0 --test_epoch 24。
• 您将看到 output_pose_2d.jpg 以及显示3D姿态的新窗口。

目录结构

根目录

${POSE_ROOT} 的目录结构如下：

${POSE_ROOT}
|-- data
|-- demo
|-- common
|-- main
|-- tool
|-- vis
`-- output

• data 包含数据加载代码以及指向图像和标注目录的软链接。
• demo 包含演示代码。
• common 包含用于3D多人姿态估计系统的内核代码。
• main 包含用于训练或测试网络的高层代码。
• tool 包含数据预处理代码。您无需运行此代码，我已提供预处理后的数据。
• vis 包含3D可视化脚本。
• output 存储日志、训练好的模型、可视化输出以及测试结果。

数据目录

请按照以下目录结构设置 data 目录：

${POSE_ROOT}
|-- data
|   |-- Human36M
|   |   |-- bbox_root
|   |   |   |-- bbox_root_human36m_output.json
|   |   |-- images
|   |   |-- annotations
|   |-- MPII
|   |   |-- images
|   |   |-- annotations
|   |-- MSCOCO
|   |   |-- bbox_root
|   |   |   |-- bbox_root_coco_output.json
|   |   |-- images
|   |   |   |-- train2017
|   |   |   |-- val2017
|   |   |-- annotations
|   |-- MuCo
|   |   |-- data
|   |   |   |-- augmented_set
|   |   |   |-- unaugmented_set
|   |   |   |-- MuCo-3DHP.json
|   |-- MuPoTS
|   |   |-- bbox_root
|   |   |   |-- bbox_mupots_output.json
|   |   |-- data
|   |   |   |-- MultiPersonTestSet
|   |   |   |-- MuPoTS-3D.json

• 下载 Human3.6M 解析后的数据 [数据]
• 下载 MPII 解析后的数据 [图片][标注]
• 下载 MuCo 解析并合成后的数据 [数据]
• 下载 MuPoTS 解析后的数据 [图片][标注]
• 所有标注文件均遵循 MS COCO 格式。
• 如果您想添加自己的数据集，必须将其转换为 MS COCO 格式。

如需从 Google Drive 下载多个文件而不压缩它们，请尝试使用 此工具。 如果您在下载 Google Drive 链接中的数据集时遇到“下载限制”问题，请尝试以下方法：

* 进入包含您要复制文件的共享文件夹  
* 选中所有要复制的文件  
* 在右上角点击三个竖直点，选择“制作副本”  
* 此时，文件将被复制到您的个人 Google Drive 账户。您可以从个人账户下载这些文件。  

输出目录

请按照以下目录结构设置 output 文件夹：

${POSE_ROOT}
|-- output
|-- |-- log
|-- |-- model_dump
|-- |-- result
`-- |-- vis

• 建议以软链接形式创建 output 文件夹，而非普通文件夹形式，因为这会占用大量存储空间。
• log 文件夹包含训练日志文件。
• model_dump 文件夹保存每个epoch的检查点。
• result 文件夹包含测试阶段生成的最终估计文件。
• vis 文件夹包含可视化的结果。

3D 可视化

• 运行 $DB_NAME_img_name.py 以获取 .txt 格式的图像文件名列表。
• 将您的测试结果文件（preds_2d_kpt_$DB_NAME.mat, preds_3d_kpt_$DB_NAME.mat）放入 single 或 multi 文件夹中。
• 运行 draw_3Dpose_$DB_NAME.m

运行 3DMPPE_POSENET

启动

• 在 main/config.py 中，您可以更改模型的设置，包括使用的数据集、网络主干、输入尺寸等。

训练

在 main 文件夹中，运行

python train.py --gpu 0-1

即可在 GPU 0 和 1 上训练网络。

如果您想继续实验，请运行

python train.py --gpu 0-1 --continue

其中 --gpu 0,1 可以替代 --gpu 0-1。

测试

将训练好的模型放置在 output/model_dump/ 目录中。

在 main 文件夹中，运行

python test.py --gpu 0-1 --test_epoch 20

即可在 GPU 0 和 1 上使用第20个epoch的模型进行测试。同样地，--gpu 0,1 可以替代 --gpu 0-1。

结果

在此报告 PoseNet 的性能。

• 可在此处下载 PoseNet 的预训练模型：这里
• Human3.6M、MSCOCO 和 MuPoTS-3D 数据集的边界框（来自 DetectNet）以及根关节坐标（来自 RootNet）可在此处获取：这里。

使用协议 1 的 Human3.6M 数据集

进行评估时，可以运行 test.py，或者使用 Human36M 文件夹中的评估代码。

使用协议 2 的 Human3.6M 数据集

进行评估时，可以运行 test.py，或者使用 Human36M 文件夹中的评估代码。

MuPoTS-3D 数据集

进行评估时，请运行 test.py。随后，将 data/MuPoTS/mpii_mupots_multiperson_eval.m 移至 data/MuPoTS/data 目录下，并将测试结果文件（preds_2d_kpt_mupots.mat 和 preds_3d_kpt_mupots.mat）也移至该目录。然后，使用您的评估模式参数运行 mpii_mupots_multiperson_eval.m。

MSCOCO 数据集

我们还额外提供了 MSCOCO 数据集中估计的人体根关节 3D 坐标。这些坐标采用 3D 摄像机坐标系，且 x 和 y 轴的焦距均设置为 1500 mm。您可以通过公式 2 或我论文 arXiv:1907.11346 补充材料中的公式来调整焦距及相应距离。

参考文献

@InProceedings{Moon_2019_ICCV_3DMPPE,
author = {Moon, Gyeongsik and Chang, Juyong and Lee, Kyoung Mu},
title = {Camera Distance-aware Top-down Approach for 3D Multi-person Pose Estimation from a Single RGB Image},
booktitle = {The IEEE Conference on International Conference on Computer Vision (ICCV)},
year = {2019}
}

3DMPPE_POSENET_RELEASE 快速上手指南

本指南基于 ICCV 2019 论文《Camera Distance-aware Top-down Approach for 3D Multi-person Pose Estimation from a Single RGB Image》的官方 PyTorch 实现，用于从单张 RGB 图像中进行 3D 多人姿态估计。

环境准备

系统要求

• 操作系统: Ubuntu 16.04 (推荐) 或更高版本
• GPU: NVIDIA GPU (测试环境为双路 1080Ti)
• CUDA: 9.0 或更高版本
• cuDNN: 7.1 或更高版本
• Python: 3.6.5 (推荐使用 Anaconda 管理环境)

前置依赖

请确保已安装以下库：

• PyTorch
• Anaconda
• COCO API

国内加速建议：

• 安装 PyTorch 时可使用清华或中科大镜像源。
• 下载 Google Drive 数据集若遇限速，可参考 README 中提到的"Make a copy"技巧，或使用第三方下载工具。

安装步骤

1. 克隆仓库

   git clone https://github.com/mks0601/3DMPPE_POSENET_RELEASE.git
   cd 3DMPPE_POSENET_RELEASE
   

2. 创建 Conda 环境并安装依赖

   conda create -n posenet python=3.6.5 anaconda
   conda activate posenet
   
   # 安装 PyTorch (请根据你的 CUDA 版本选择对应命令，以下为示例)
   pip install torch torchvision
   
   # 安装 COCO API
   git clone https://github.com/cocodataset/cocoapi.git
   cd cocoapi/PythonAPI
   python setup.py build_ext install
   cd ../../
   
   # 安装其他必要 Python 包
   pip install opencv-python matplotlib
   

3. 配置目录结构 项目需要特定的目录结构来存放数据和输出。建议在 output 目录使用软链接以节省空间：

   mkdir -p output/log output/model_dump output/result output/vis
   

4. 准备数据与模型 (可选，仅演示用)

   • 预训练模型: 下载 PoseNet 预训练权重放入 demo 文件夹。
     • 下载地址: Google Drive Link
   • 数据集: 若需训练或完整测试，需按 data 目录结构下载 Human3.6M, MSCOCO 等数据集及对应的标注文件（格式需符合 MS COCO standard）。

基本使用

1. 快速演示 (Demo)

无需训练，直接使用预训练模型对单张图片进行推理。

• 准备文件: 将输入图片重命名为 input.jpg 放入 demo 文件夹，并将下载的预训练模型也放入该文件夹。

• 配置参数: 编辑 demo/demo.py 文件：

  • 第 68 行：设置 bbox_list (检测框坐标)。
  • 第 74 行：设置 root_depth_list (根节点深度估计值)。

• 运行演示:

  cd demo
  python demo.py --gpu 0 --test_epoch 24
  

  运行成功后，将在当前目录生成 output_pose_2d.jpg，并弹出窗口显示 3D 姿态结果。

2. 模型训练

在开始训练前，请修改 main/config.py 以设置数据集、骨干网络及输入尺寸等参数。

• 启动训练 (使用 GPU 0 和 1):

  cd main
  python train.py --gpu 0-1
  

• 断点续训:

  python train.py --gpu 0-1 --continue
  

3. 模型测试

将训练好的模型 checkpoint 放入 output/model_dump/ 目录。

• 执行测试 (使用第 20 个 epoch 的模型):

  cd main
  python test.py --gpu 0-1 --test_epoch 20
  

  测试结果将保存在 output/result 和 output/vis 目录中。

4. 3D 可视化

若需对测试结果进行详细的 3D 可视化（需 MATLAB 环境）：

1. 运行脚本获取图片列表：$DB_NAME_img_name.py (生成 .txt)。
2. 将测试生成的 .mat 文件 (preds_2d_kpt_*.mat, preds_3d_kpt_*.mat) 放入 single 或 multi 文件夹。
3. 运行 MATLAB 脚本：draw_3Dpose_$DB_NAME.m。