基于多视角几何的 3D 人体姿态自监督学习（CVPR2019）[项目页面]

简介

这是论文 Self-Supervised Learning of 3D Human Pose using Multi-view Geometry 的 PyTorch 实现。

基于多视角几何的 3D 人体姿态自监督学习,
Muhammed Kocabas*, Salih Karagoz*, Emre Akbas,
IEEE 计算机视觉与模式识别会议（CVPR），2019 （*同等贡献）

在本工作中，我们提出了 EpipolarPose，一种用于 3D 人体姿态估计的自监督学习方法，该方法无需任何 3D 真值（ground-truth）数据或相机外参（camera extrinsics）。

在训练过程中，EpipolarPose 从多视角图像中估计 2D 姿态，然后利用对极几何（epipolar geometry）来获得 3D 姿态和相机几何信息，进而用于训练 3D 姿态估计器。

在测试阶段，它仅需一张 RGB 图像即可输出 3D 姿态结果。请查看 demo.ipynb 运行一个简单的演示。

下图展示了我们的模型在 Human3.6M 数据集上的一些示例输出。
每组结果依次显示输入图像、真值（ground truth）、全监督模型（fully supervised model）和自监督模型（self-supervised model）的输出。

视频演示

概览

• scripts/: 包含训练和验证脚本。
• lib/: 包含数据准备、模型定义和一些工具函数。
• refiner/: 包含论文第 3.3 节所述的 refinement unit（精炼单元）的实现。
• experiments/: 包含用于运行实验的 *.yaml 配置文件。
• sample_images/: 来自 Human3.6M 数据集的图像，用于运行演示 notebook。

依赖要求

代码基于 Ubuntu 16.04 上的 Python 3.7.1 开发。训练和测试需要 NVIDIA GPU。
其他依赖项请参见 requirements.txt 或 environment.yml。

快速开始

安装

1. 按照 官方说明 安装 PyTorch >= v1.0.0。
   注意：如果你使用的是 PyTorch 版本 < v1.0.0，请按照 https://github.com/Microsoft/human-pose-estimation.pytorch 的说明禁用 cuDNN 的 BatchNorm 层实现。我们建议使用更高版本的 PyTorch（>=v1.0.0）

2. 克隆本仓库，并将克隆后的目录记为 ${ROOT}

3. 使用 pip 安装依赖：

   pip install -r requirements.txt
   

   或创建一个新的 conda 环境：

   conda env create -f environment.yml
   

4. 从 GoogleDrive 下载标注文件（150 MB）的 zip 文件，并将其放在 ${ROOT} 目录下。运行以下命令解压：

   unzip data.zip
   rm data.zip
   

5. 最后，通过运行以下命令准备你的工作空间：

   mkdir output
   mkdir models
   

   你也可以选择从下表中的链接下载预训练权重，并将其放入 models 目录。最终，你的目录结构应如下所示：

   ${ROOT}
   ├── data/
   ├── experiments/
   ├── lib/
   ├── models/
   ├── output/
   ├── refiner/
   ├── sample_images/
   ├── scripts/
   ├── demo.ipynb
   ├── README.md
   └── requirements.txt
   

6. 没错，你现在可以运行 demo.ipynb 了。

数据准备

你需要 Human3.6M 数据来训练或测试我们的模型。对于 Human3.6M 数据，请从 Human 3.6 M dataset 下载。
你需要注册账户以获得下载权限。下载视频文件后，你可以运行 我们的脚本 来提取图像。
然后运行 ln -s <path_to_extracted_h36m_images> ${ROOT}/data/h36m/images 创建指向图像文件夹的软链接。
目前你可以使用我们在第 4 步中提供的标注文件，但我们将在清理和充分测试后尽快发布标注准备脚本。

如果你想在 MPII 数据上预训练 EpipolarPose 模型，
请从 MPII Human Pose Dataset（12.9 GB）下载图像文件。
将其解压到 ${ROOT}/data/mpii 目录下。如果你已经拥有 MPII 数据集，可以创建一个软链接指向图像目录：
ln -s <path_to_mpii_images> ${ROOT}/data/mpii/images

在训练过程中，我们使用了 synthetic-occlusion。如果你想使用它，请按照其 仓库说明 下载 Pascal VOC 数据集，并更新配置文件中的 VOC 参数。

下载完数据集后，你的 data 目录结构应如下所示：

${ROOT}
|── data/
├───├── mpii/
|   └───├── annot/
|       └── images/
|       
└───├── h36m/
    └───├── annot/
        └── images/
            ├── S1/
            └── S5/
            ...

预训练模型

Human3.6M

使用下方提供的链接下载预训练模型，并将其放置在指定路径下。

模型	Backbone（主干网络）	Human3.6M 上的 MPJPE (mm)	链接	目录
全监督（Fully Supervised）	resnet18	63.0	model	models/h36m/fully_supervised_resnet18.pth.tar
全监督（Fully Supervised）	resnet34	59.6	model	models/h36m/fully_supervised_resnet34.pth.tar
全监督（Fully Supervised）	resnet50	51.8	model	models/h36m/fully_supervised.pth.tar
自监督 R/t（Self Supervised R/t）	resnet50	76.6	model	models/h36m/self_supervised_with_rt.pth.tar
自监督无 R/t（Self Supervised without R/t）	resnet50	78.8 (NMPJPE)	model	models/h36m/self_supervised_wo_rt.pth.tar
自监督（2D GT）（Self Supervised (2D GT)）	resnet50	55.0	model	models/h36m/self_supervised_2d_gt.pth.tar
自监督（Subject 1）（Self Supervised (Subject 1)）	resnet50	65.3	model	models/h36m/self_supervised_s1.pth.tar
自监督 + 精炼（Self Supervised + refinement）	MLP-baseline	60.5	model	models/h36m/refiner.pth.tar

• 全监督（Fully Supervised）：使用真实标注（ground truth）数据训练。
• 自监督 R/t（Self Supervised R/t）：仅使用相机外参（camera extrinsic parameters）训练。
• 自监督无 R/t（Self Supervised without R/t）：不使用任何真实标注数据或相机参数训练。
• 自监督（2D GT）（Self Supervised (2D GT)）：使用数据集提供的真实 2D 关键点三角化结果训练。
• 自监督（Subject 1）（Self Supervised (Subject 1)）：仅使用 Subject #1 的真实标注数据训练。
• 自监督 + 精炼（Self Supervised + refinement）：使用精炼模块（refinement module）训练。有关此设置的详细信息，请参阅 refiner/README.md。

更多关于各模型训练策略的细节，请参阅我们的论文。

MPII

若要从头开始训练 EpipolarPose 模型，你需要在 MPII 数据集上预训练的模型。

模型	Backbone（主干网络）	Mean PCK (%)	链接	目录
MPII Integral	resnet18	84.7	model	models/mpii/mpii_integral_r18.pth.tar
MPII Integral	resnet34	86.3	model	models/mpii/mpii_integral_r34.pth.tar
MPII Integral	resnet50	88.3	model	models/mpii/mpii_integral.pth.tar
MPII heatmap	resnet50	88.5	model	models/mpii/mpii_heatmap.pth.tar

使用预训练模型在 H36M 上进行验证

若要使用自监督模型运行验证脚本，请更新 experiments/h36m/valid-ss.yaml 中的 MODEL.RESUME 字段为预训练权重的路径，然后运行：

python scripts/valid.py --cfg experiments/h36m/valid-ss.yaml

若要在验证集上运行全监督模型，请更新 experiments/h36m/valid.yaml 中的 MODEL.RESUME 字段为预训练权重的路径，然后运行：

python scripts/valid.py --cfg experiments/h36m/valid.yaml

在 H36M 上训练

训练一个自监督模型，可运行：

python scripts/train.py --cfg experiments/h36m/train-ss.yaml

全监督模型：

python scripts/train.py --cfg experiments/h36m/train.yaml

引用

如果本工作对您的研究有所帮助，请引用我们的论文：

@inproceedings{kocabas2019epipolar,
    author = {Kocabas, Muhammed and Karagoz, Salih and Akbas, Emre},
    title = {Self-Supervised Learning of 3D Human Pose using Multi-view Geometry},
    booktitle = {The IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
    month = {June},
    year = {2019}
}

参考资料

• Integral Human Pose
• Simple Baselines for Human Pose Estimation
• 3d-pose-baseline
• Synthetic-occlusion

感谢上述作者公开其代码。也请考虑引用他们的工作。

许可证

本代码可免费用于非商业用途，并可在相同条件下重新分发。更多详情请参见 LICENSE 文件。第三方数据集和软件受其各自许可证的约束。

EpipolarPose 快速上手指南

环境准备

• 操作系统：Ubuntu 16.04（推荐），或其他 Linux 发行版
• Python 版本：3.7.1 或更高
• GPU：需 NVIDIA GPU（训练和测试必需）
• PyTorch：≥ v1.0.0（建议使用最新稳定版）

💡 国内用户建议使用清华源或阿里云镜像加速依赖安装：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 安装 PyTorch

   # 推荐从官网选择对应 CUDA 版本安装：https://pytorch.org/
   pip install torch torchvision
   

2. 克隆代码仓库

   git clone https://github.com/mkocabas/EpipolarPose.git
   cd EpipolarPose
   export ROOT=$(pwd)
   

3. 安装依赖

   # 方式一：pip 安装
   pip install -r requirements.txt
   
   # 方式二：conda 创建环境（推荐）
   conda env create -f environment.yml
   conda activate epipolarpose
   

4. 下载标注文件

   # 下载 data.zip（约 150MB）到 ${ROOT} 目录
   wget -O data.zip "https://drive.google.com/uc?id=147AlIWRv9QDmp5pGjwG2yMWEG_2-E2ai"
   unzip data.zip && rm data.zip
   

5. 创建必要目录

   mkdir output models
   

6. （可选）下载预训练模型 将 预训练模型 下载并放入 models/ 对应子目录，例如：

   mkdir -p models/h36m
   # 下载 self-supervised 模型示例
   gdown --id 1OVKnQy_TCJXemsAxA9rdEToYVBG4JL4j -O models/h36m/self_supervised_with_rt.pth.tar
   

7. 准备数据集（如需训练/验证）

   • Human3.6M：从官网申请下载，解压后建立软链接：

     ln -s <你的H36M图像路径> ${ROOT}/data/h36m/images
     

   • MPII（用于预训练）：

     mkdir -p ${ROOT}/data/mpii
     wget -O mpii_human_pose_v1.tar.gz https://datasets.d2.mpi-inf.mpg.de/andriluka14cvpr/mpii_human_pose_v1.tar.gz
     tar -xzf mpii_human_pose_v1.tar.gz -C ${ROOT}/data/mpii
     ln -s ${ROOT}/data/mpii/mpii_human_pose_v1/images ${ROOT}/data/mpii/images
     

最终目录结构应类似：

${ROOT}
├── data/
├── models/
├── output/
├── demo.ipynb
└── ...

基本使用

运行演示 Notebook

jupyter notebook demo.ipynb

该 Notebook 展示了如何加载预训练模型并对单张 RGB 图像进行 3D 姿态估计。

验证预训练模型（Human3.6M）

1. 编辑配置文件，指定模型路径：

   # experiments/h36m/valid-ss.yaml
   MODEL:
     RESUME: 'models/h36m/self_supervised_with_rt.pth.tar'
   

2. 执行验证：

   python scripts/valid.py --cfg experiments/h36m/valid-ss.yaml
   

训练模型（示例）

• 自监督训练：

  python scripts/train.py --cfg experiments/h36m/train-ss.yaml
  

• 全监督训练：

  python scripts/train.py --cfg experiments/h36m/train.yaml
  

📌 注意：训练前请确保已正确配置数据路径和预训练权重（如需）。