用于人体姿态估计的分布感知坐标表示

作为一款与模型无关的插件，DARK 能显著提升多种最先进的人体姿态估计模型的性能！

新闻

• [2019/10/14] DarkPose 现已在 ArXiv 上发布。
• [2019/10/15] 创建了 项目页面。
• [2019/10/27] DarkPose 在 COCO 测试挑战赛中取得了 76.4 的成绩（COCO 关键点挑战赛 ICCV 2019 第二名）！
• [2020/02/24] DarkPose 被 CVPR2020 接受。
• [2020/06/17] 代码正式发布。
• [2020/08/07] 提供了 预训练模型。

简介

    本工作通过研究以热图为核心的坐标表示方法，填补了这一领域的空白。我们提出了一种新颖的关键点分布感知坐标表示方法（DARK）。作为一种与模型无关的插件，DARK 能显著提升多种最先进的人体姿态估计模型的性能！

我们在 CVPR2019 上发表的快速人体姿态估计工作可以与 DARK 无缝配合，相关代码可在 Github 上找到。

主要结果

在 COCO val2017 数据集上的结果，检测器在该数据集上的人体 AP 为 56.4

基线	输入尺寸	参数量	GFLOPs	AP	Ap .5	AP .75	AP (M)	AP (L)	AR
Hourglass(4 层)	128×96	13.0M	2.7	66.2	87.6	75.1	63.8	71.4	72.8
Hourglass(4 层) + DARK	128×96	13.0M	2.7	69.6	87.8	77.0	67.0	75.4	75.7
Hourglass(8 层)	128×96	25.1M	4.9	67.6	88.3	77.4	65.2	73.0	74.0
Hourglass(8 层) + DARK	128×96	25.1M	4.9	70.8	87.9	78.3	68.3	76.4	76.6
SimpleBaseline-R50	128×96	34.0M	2.3	59.3	85.5	67.4	57.8	63.8	66.6
SimpleBaseline-R50 + DARK	128×96	34.0M	2.3	62.6	86.1	70.4	60.4	67.9	69.5
SimpleBaseline-R101	128×96	53.0M	3.1	58.8	85.3	66.1	57.3	63.4	66.1
SimpleBaseline-R101 + DARK	128×96	53.0M	3.1	63.2	86.2	71.1	61.2	68.5	70.0
SimpleBaseline-R152	128×96	68.6M	3.9	60.7	86.0	69.6	59.0	65.4	68.0
SimpleBaseline-R152 + DARK	128×96	68.6M	3.9	63.1	86.2	71.6	61.3	68.1	70.0
HRNet-W32	128×96	28.5M	1.8	66.9	88.7	76.3	64.6	72.3	73.7
HRNet-W32 + DARK	128×96	28.5M	1.8	70.7	88.9	78.4	67.9	76.6	76.7
HRNet-W48	128×96	63.6M	3.6	68.0	88.9	77.4	65.7	73.7	74.7
HRNet-W48 + DARK	128×96	63.6M	3.6	71.9	89.1	79.6	69.2	78.0	77.9
HRNet-W32	256×192	28.5M	7.1	74.4	90.5	81.9	70.8	81.0	79.8
HRNet-W32 + DARK	256×192	28.5M	7.1	75.6	90.5	82.1	71.8	82.8	80.8
HRNet-W32	384×288	28.5M	16.0	75.8	90.6	82.5	72.0	82.7	80.9
HRNet-W32 + DARK	384×288	28.5M	16.0	76.6	90.7	82.8	72.7	83.9	81.5
HRNet-W48	384×288	63.6M	32.9	76.3	90.8	82.9	72.3	83.4	81.2
HRNet-W48 + DARK	384×288	63.6M	32.9	76.8	90.6	83.2	72.8	84.0	81.7

注意：

• 使用了翻转测试。
• 人体检测器在 COCO val2017 数据集上的 AP 为 56.4。
• GFLOPs 仅计算卷积和全连接层。

在 COCO test-dev2017 数据集上的结果，检测器在该数据集上的人体 AP 为 60.9

基线	输入尺寸	参数量	GFLOPs	AP	Ap.5	AP.75	AP(M)	AP(L)	AR
HRNet-W48	384x288	63.6M	32.9	75.5	92.5	83.3	71.9	81.5	80.5
HRNet-W48 + DARK	384x288	63.6M	32.9	76.2	92.5	83.6	72.5	82.4	81.1
HRNet-W48*	384x288	63.6M	32.9	77.0	92.7	84.5	73.4	83.1	82.0
HRNet-W48 + DARK*	384x288	63.6M	32.9	77.4	92.6	84.6	73.6	83.7	82.3
HRNet-W48 + DARK*-	384x288	63.6M	32.9	78.2	93.5	85.5	74.4	84.2	83.5
HRNet-W48 + DARK*-+	384x288	63.6M	32.9	78.9	93.8	86.0	75.1	84.4	83.5

注意：

• 使用了翻转测试。
• 人体检测器在 COCO test-dev2017 数据集上的 AP 为 60.9。
• GFLOPs 仅计算卷积和全连接层。
• * 表示使用来自 AI challenger 的额外数据进行训练。
• - 表示将检测器与 HTC 和 SNIPER 进行集成。
• + 表示使用模型集成。

在 MPII 验证集上的结果

PCKh	基线	头部	肩部	肘部	手腕	髋部	膝部	踝部	平均
0.5	HRNet_w32	97.1	95.9	90.3	86.5	89.1	87.1	83.3	90.3
0.5	HRNet_w32 + DARK	97.2	95.9	91.2	86.7	89.7	86.7	84.0	90.6
0.1	HRNet_w32	51.1	42.7	42.0	41.6	17.9	29.9	31.0	37.7
0.1	HRNet_w32 + DARK	55.2	47.8	47.4	45.2	20.1	33.4	35.4	42.0

注意：

• 使用了翻转测试。
• 输入尺寸为 256x256。
• GFLOPs 仅计算卷积和全连接层。

快速入门

1. 准备工作

1.1 准备数据集

对于 MPII 数据集，原始标注文件为 MATLAB 格式。我们已将其转换为 JSON 格式，您也可以从 OneDrive 或 GoogleDrive 下载。 请将这些文件解压到 {POSE_ROOT}/data 目录下，您的目录结构应如下所示：

${POSE_ROOT}/data/mpii
├── images
└── mpii_human_pose_v1_u12_1.mat
|—— annot
|   |—— gt_valid.mat
└── |—— test.json
    |   |—— train.json
    |   |—— trainval.json
    |   |—— valid.json
    └── images
        |—— 000001163.jpg
        |—— 000003072.jpg

对于 COCO 数据集，您的目录结构应如下所示：

${POSE_ROOT}/data/coco
├── annotations
├── images
│   ├── test2017
│   ├── train2017
│   └── val2017
└── person_detection_results

1.2 下载预训练模型

提供了预训练模型。

1.3 准备环境

按照如下方式设置文件 prepare_env.sh 中的参数：

# DATASET_ROOT=$HOME/datasets
# COCO_ROOT=${DATASET_ROOT}/MSCOCO
# MPII_ROOT=${DATASET_ROOT}/MPII
# MODELS_ROOT=${DATASET_ROOT}/models

然后执行：

bash prepare_env.sh

如果你愿意，也可以逐步准备环境。

引用

如果你在研究中使用了我们的代码或模型，请引用以下文献：

@InProceedings{Zhang_2020_CVPR,
    author = {Zhang, Feng and Zhu, Xiatian and Dai, Hanbin and Ye, Mao and Zhu, Ce},
    title = {Distribution-Aware Coordinate Representation for Human Pose Estimation},
    booktitle = {IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
    month = {June},
    year = {2020}
}

致谢

感谢开源的 HRNet：

• Deep High-Resolution Representation Learning for Human Pose Estimation, Sun, Ke and Xiao, Bin and Liu, Dong and Wang, Jingdong

DarkPose 快速上手指南

DarkPose (Distribution-Aware Coordinate Representation) 是一个模型无关的插件，旨在显著提升各类先进人体姿态估计模型（如 HRNet, SimpleBaseline, Hourglass 等）的性能。它通过改进热图到坐标的解码方式，在不增加额外参数和计算量的情况下提高精度。

1. 环境准备

系统要求

• 操作系统: Linux (推荐 Ubuntu 16.04/18.04/20.04)
• Python: 3.6+
• 深度学习框架: PyTorch 1.4+ (建议与原版 HRNet 环境兼容)
• GPU: 支持 CUDA 的 NVIDIA 显卡

前置依赖

确保已安装以下基础库：

pip install numpy opencv-python scipy pandas pyyaml tqdm

注意：本项目基于 deep-high-resolution-net.pytorch 架构开发，建议参考其环境配置进行底层依赖安装。

2. 安装步骤

2.1 克隆代码库

git clone https://github.com/ilovepose/DarkPose.git
cd DarkPose
export POSE_ROOT=$(pwd)

2.2 配置环境变量

编辑 prepare_env.sh 文件，设置数据集和模型的路径：

# 修改以下路径为你本地的实际路径
# DATASET_ROOT=$HOME/datasets
# COCO_ROOT=${DATASET_ROOT}/MSCOCO
# MPII_ROOT=${DATASET_ROOT}/MPII
# MODELS_ROOT=${DATASET_ROOT}/models

执行配置脚本：

bash prepare_env.sh

2.3 下载预训练模型

从 Google Drive 下载官方提供的预训练模型，并放置于配置好的 MODELS_ROOT 目录下：

• 预训练模型链接

(注：国内用户若下载困难，可尝试使用第三方谷歌云盘加速工具或寻找国内镜像源)

2.4 准备数据集

MPII 数据集

原始标注为 matlab 格式，需下载转换后的 JSON 文件。

• 下载地址: OneDrive 或 GoogleDrive
• 目录结构要求:

${POSE_ROOT}/data/mpii
├── images
├── mpii_human_pose_v1_u12_1.mat
└── annot
    ├── gt_valid.mat
    └── test.json
    └── train.json
    └── trainval.json
    └── valid.json

COCO 数据集

• 目录结构要求:

${POSE_ROOT}/data/coco
├── annotations
├── images
│   ├── test2017
│   ├── train2017
│   └── val2017
└── person_detection_results

请确保 person_detection_results 中包含对应的人体检测框结果文件。

3. 基本使用

DarkPose 主要作为解码策略集成在现有的姿态估计网络中。以下是基于测试脚本的运行示例。

测试评估 (Evaluation)

假设你已下载了 HRNet-W32 的 DarkPose 版本预训练模型，并在 COCO 验证集上进行测试：

python tools/test.py \
    --cfg experiments/coco/hrnet/w32_384x284_dark.yaml \
    --modelDir models/coco/hrnet/w32_384x284_dark.pth.tar \
    --logDir log \
    --dataDir data

关键配置说明

要启用 DarkPose，只需在模型的配置文件 (.yaml) 中将 DARK 相关参数设为 True。例如在 experiments/coco/hrnet/w32_384x284_dark.yaml 中：

DARK:
  ENABLE: True
  POST_PROCESS: True
  KERNEL_SIZE: 3

相比传统的高斯热图取最大值法，开启 DARK 后无需重新训练骨干网络（Backbone），即可直接利用现有的权重获得更高的 AP 精度（通常提升 1%~3%）。

训练 (Training)

如果你需要从头训练集成了 DarkPose 的模型，使用标准的训练命令即可，配置文件需指定包含 Dark 解码策略：

python tools/train.py \
    --cfg experiments/coco/hrnet/w32_384x284_dark.yaml