朝着野外环境下的3D人体姿态估计：一种弱监督方法

本仓库是论文中提出的网络的PyTorch实现：

Xingyi Zhou, Qixing Huang, Xiao Sun, Xiangyang Xue, Yichen Wei, 朝着野外环境下的3D人体姿态估计：一种弱监督方法 ICCV 2017 (arXiv:1704.02447)

注意： 本仓库已更新，与论文中描述的方法有所不同。要完全复现论文中的结果，请检出原始的torch实现或我们的pytorch重实现分支（性能略逊于torch版本）。我们还提供了一个干净的2D hourglass网络分支。

更新内容包括：

• 将网络主干改为带有反卷积层的ResNet50（Xiao等人ECCV2018）。现在训练速度比原来的hourglass网络主干快约3倍（但性能提升不明显）。
• 将深度回归子网络改为单层深度图（详见我们的StarMap项目）。
• 将Human3.6M数据集替换为ECCV18挑战赛的官方发布版本。
• 从Python 2.7和PyTorch 0.1.12升级到Python 3.6和PyTorch 0.4.1。

联系方式：zhouxy2017@gmail.com

安装

代码已在Anaconda Python 3.6和PyTorch v0.4.1环境下测试通过。安装Anaconda和PyTorch后：

1. 克隆仓库：

    POSE_ROOT=/path/to/clone/pytorch-pose-hg-3d
    git clone https://github.com/xingyizhou/pytorch-pose-hg-3d POSE_ROOT
   

2. 安装依赖项（opencv和progressbar）：

    conda install --channel https://conda.anaconda.org/menpo opencv
    conda install --channel https://conda.anaconda.org/auto progress
   

3. 禁用batch_norm的cudnn（参见issue)：

    # PYTORCH=/path/to/pytorch
    # 对于pytorch v0.4.0
    sed -i "1194s/torch\.backends\.cudnn\.enabled/False/g" ${PYTORCH}/torch/nn/functional.py
    # 对于pytorch v0.4.1
    sed -i "1254s/torch\.backends\.cudnn\.enabled/False/g" ${PYTORCH}/torch/nn/functional.py
   

4. 可选：安装tensorboard以可视化训练过程。

    pip install tensorflow
   

演示

• 下载我们预训练的模型并将其移动到models目录。
• 运行python demo.py --demo /path/to/image/or/image/folder [--gpus -1] [--load_model /path/to/model]。

--gpus -1表示使用CPU模式。 我们在images/中提供了示例图片。若要测试您自己的图片，重要的是人物应位于图像中心，且大部分身体部位应在图像范围内。

基准测试

要在Human3.6数据集上测试我们的模型，请运行：

python main.py --exp_id test --task human3d --dataset fusion_3d --load_model ../models/fusion_3d_var.pth --test --full_test

预期结果应为64.55mm。

训练

• 准备训练数据：

  • 从MPII数据集下载图像及其标注的json格式文件（train.json和val.json）（来自Xiao等人ECCV2018）。
  • 下载Human3.6M ECCV挑战赛数据集。
  • 下载Human3.6数据集的元数据（2D边界框）（来自Sun等人ECCV 2018）。
  • 将数据放置到位（或创建符号链接），使数据文件夹结构如下：

  ${POSE_ROOT}
  |-- data
  `-- |-- mpii
      `-- |-- annot
          |   |-- train.json
          |   |-- valid.json
          `-- images
              |-- 000001163.jpg
              |-- 000003072.jpg
  `-- |-- h36m
      `-- |-- ECCV18_Challenge
          |   |-- Train
          |   |-- Val
          `-- msra_cache
              `-- |-- HM36_eccv_challenge_Train_cache
                  |   |-- HM36_eccv_challenge_Train_w288xh384_keypoint_jnt_bbox_db.pkl
                  `-- HM36_eccv_challenge_Val_cache
                      |-- HM36_eccv_challenge_Val_w288xh384_keypoint_jnt_bbox_db.pkl
  

• 第一阶段：仅训练2D姿态。模型，日志

python main.py --exp_id mpii

• 第二阶段：在2D和3D数据上训练，不使用几何损失（在第45个epoch时降低学习率）。模型，日志

python main.py --exp_id fusion_3d --task human3d --dataset fusion_3d --ratio_3d 1 --weight_3d 0.1 --load_model ../exp/mpii/model_last.pth --num_epoch 60 --lr_step 45

• 第三阶段：使用几何损失进行训练。模型，日志

python main.py --exp_id fusion_3d_var --task human3d --dataset fusion_3d --ratio_3d 1 --weight_3d 0.1 --weight_var 0.01 --load_model ../models/fusion_3d.pth  --num_epoch 10 --lr 1e-4

引用

@InProceedings{Zhou_2017_ICCV,
author = {Zhou, Xingyi and Huang, Qixing and Sun, Xiao and Xue, Xiangyang and Wei, Yichen},
title = {Towards 3D Human Pose Estimation in the Wild: A Weakly-Supervised Approach},
booktitle = {The IEEE International Conference on Computer Vision (ICCV)},
month = {Oct},
year = {2017}
}

pytorch-pose-hg-3d 快速上手指南

本指南基于 Xingyi Zhou 等人提出的弱监督 3D 人体姿态估计方法（ICCV 2017）的 PyTorch 实现。注意：当前仓库版本对原论文方法进行了更新（骨干网络改为 ResNet50），若需完全复现论文结果，请参考原作者提供的 Torch 实现或特定的 PyTorch 分支。

环境准备

本项目已在以下环境中测试通过：

• 操作系统: Linux (推荐)
• Python: 3.6 (推荐使用 Anaconda 管理)
• PyTorch: v0.4.1
• 其他依赖: OpenCV, progressbar

注意：由于项目较老，建议严格匹配 PyTorch 0.4.1 版本以避免兼容性问题。

安装步骤

1. 克隆代码库

设置环境变量并克隆仓库：

export POSE_ROOT=/path/to/clone/pytorch-pose-hg-3d
git clone https://github.com/xingyizhou/pytorch-pose-hg-3d $POSE_ROOT
cd $POSE_ROOT

2. 安装依赖

使用 Conda 安装必要的图像处理进度条库：

conda install --channel https://conda.anaconda.org/menpo opencv
conda install --channel https://conda.anaconda.org/auto progress

(注：国内用户若访问 anaconda 源较慢，可尝试配置清华或中科大镜像源)

3. 修改 PyTorch 源码（关键步骤）

为了解决 BatchNorm 在特定版本下的 cudnn 兼容性问题，需要手动禁用相关选项。请根据你的 PyTorch 安装路径执行以下命令：

对于 PyTorch v0.4.1:

# 请将 ${PYTORCH} 替换为你的实际安装路径，例如：$(python -c "import torch; print(torch.__path__[0])")
sed -i "1254s/torch\.backends\.cudnn\.enabled/False/g" ${PYTORCH}/torch/nn/functional.py

对于 PyTorch v0.4.0:

sed -i "1194s/torch\.backends\.cudnn\.enabled/False/g" ${PYTORCH}/torch/nn/functional.py

4. 可选：安装可视化工具

如需使用 TensorBoard 查看训练过程：

pip install tensorflow

基本使用

运行演示 (Demo)

最简单的使用方式是加载预训练模型对单张图片或文件夹进行推理。

1. 下载预训练模型 从 Google Drive 下载模型文件，并将其移动到项目根目录下的 models 文件夹中。

2. 执行推理 运行以下命令（确保输入图片中人物位于中心且身体大部分在画面内）：

python demo.py --demo /path/to/image/or/image/folder --load_model models/fusion_3d_var.pth

• 若需在 CPU 模式下运行，添加参数 --gpus -1。
• 示例图片位于项目自带的 images/ 目录中，可直接测试。

简要训练流程

若需从头训练，需先准备 MPII 数据集和 Human3.6M (ECCV Challenge) 数据集，并按 README 中的目录结构放置数据。训练分为三个阶段：

阶段 1: 仅训练 2D 姿态

python main.py --exp_id mpii

阶段 2: 联合训练 2D 和 3D 数据（无几何损失）

python main.py --exp_id fusion_3d --task human3d --dataset fusion_3d --ratio_3d 1 --weight_3d 0.1 --load_model ../exp/mpii/model_last.pth --num_epoch 60 --lr_step 45

阶段 3: 加入几何损失微调

python main.py --exp_id fusion_3d_var --task human3d --dataset fusion_3d --ratio_3d 1 --weight_3d 0.1 --weight_var 0.01 --load_model ../models/fusion_3d.pth --num_epoch 10 --lr 1e-4