Pose2Mesh：基于图卷积网络的从2D人体姿态恢复3D人体姿态与网格模型

最新动态

• 2021年4月27日更新：更新了PoseFix代码和AMASS数据加载器。在3DPW数据集上的PA-MPJPE和MPVPE指标有所降低！
• 2021年4月9日更新：更新了3DPW评估代码。新增了时间平滑代码和PA-MPVPE计算代码。这些代码目前被注释掉以加快评估速度，但你可以在${ROOT}/data/PW3D/dataset.py文件中的evaluate函数里取消注释。
• 2021年4月9日更新：增加了多人场景的演示，并将渲染出的网格模型叠加到输入图像上。
• 2020年11月16日更新：使用DarkPose生成的2D人体姿态输出，在3DPW数据集上的精度有所提升。

简介

本仓库是Pose2Mesh：基于图卷积网络的从2D人体姿态恢复3D人体姿态与网格模型（ECCV 2020）的官方PyTorch实现。以下是Pose2Mesh的整体流程。

安装指南

• 我们建议使用Anaconda虚拟环境。根据你的GPU驱动和Python版本（>=3.7.2），安装PyTorch >= 1.2，并运行sh requirements.sh。

快速演示

• 根据此处下载预训练的Pose2Mesh模型。
• 根据此处准备SMPL和MANO层。
• 准备一个姿态输入，例如input.npy。input.npy应包含2D人体关节的坐标，其拓扑结构遵循此处定义的关节集合。关节顺序可在每个${ROOT}/data/*/dataset.py文件中找到。

单人场景演示

• 运行python demo/run.py --gpu 0 --input_pose demo/h36m_joint_input.npy --joint_set human36。
• 你可以将demo/h36m_joint_input.npy和human36替换为你自己的输入Numpy文件以及{human36,coco,smpl,mano}中的任一选项。
• 如果希望将渲染的网格模型叠加到输入图像上，可在命令中添加--input_img {img_path}。
• 输出文件demo_pose2d.png、demo_mesh.png和demo_mesh_.obj将保存在${ROOT}/demo/result/目录下。

多人场景演示

• 从这里下载演示输入文件，并将其放置在${ROOT}/demo/目录下。
• 运行python demo/run.py --gpu 0。
• 对来自CrowdPose数据集的一张示例图像的输出将保存在${ROOT}/demo/result/目录下。
• 你可以更改输入图像以及${ROOT}/demo/run.py文件第264至278行中的部分细节。

结果

以下报告了Pose2Mesh的性能表现。

:muscle: 更新： 我们利用从NeuralAnnot（https://arxiv.org/abs/2011.11232）获取的COCO和AMASS数据集上的GT网格模型，在3DPW数据集上的性能得到了提升。NeuralAnnot的标注数据尚未公开。 :muscle: 更新： 使用DarkPose的2D检测结果后，3DPW数据集上的性能进一步提升，这得益于HRNet（https://github.com/leoxiaobin/deep-high-resolution-net.pytorch）的改进。

下表展示了当输入为真实标注的2D人体姿态时的结果。 对于Human3.6M基准测试，Pose2Mesh是在Human3.6M数据集上进行训练的。 对于3DPW基准测试，Pose2Mesh则是在Human3.6M和COCO数据集上进行训练的。

	MPJPE	PA-MPJPE
Human36M	51.28 mm	35.61 mm
3DPW	63.10 mm	35.37 mm

我们还在SURREAL数据集上提供了定性结果，以展示Pose2Mesh能够在一定程度上恢复3D形状。 更多讨论请参阅论文。

目录结构

根目录

${ROOT}的目录结构如下所示：

${ROOT} 
|-- data
|-- demo
|-- lib
|-- experiment
|-- main
|-- manopth
|-- smplpytorch

• data目录包含数据加载代码以及指向图像和标注目录的软链接。
• demo目录包含演示代码。
• lib目录包含Pose2Mesh的核心代码。
• main目录包含用于训练或测试网络的高层代码。
• experiment目录存储系统的输出，包括训练日志、训练好的模型权重以及可视化结果。

数据

data 目录的结构应遵循以下层次：

${ROOT}  
|-- data  
|   |-- Human36M  
|   |   |-- images  
|   |   |-- annotations   
|   |   |-- J_regressor_h36m_correct.npy
|   |   |-- absnet_output_on_testset.json 
|   |-- MuCo  
|   |   |-- data  
|   |   |   |-- augmented_set  
|   |   |   |-- unaugmented_set  
|   |   |   |-- MuCo-3DHP.json
|   |   |   |-- smpl_param.json
|   |-- COCO  
|   |   |-- images  
|   |   |   |-- train2017  
|   |   |   |-- val2017  
|   |   |-- annotations  
|   |   |-- J_regressor_coco.npy
|   |   |-- hrnet_output_on_valset.json
|   |-- PW3D 
|   |   |-- data
|   |   |   |-- 3DPW_latest_train.json
|   |   |   |-- 3DPW_latest_validation.json
|   |   |   |-- darkpose_3dpw_testset_output.json
|   |   |   |-- darkpose_3dpw_validationset_output.json
|   |   |-- imageFiles
|   |-- AMASS
|   |   |-- data
|   |   |   |-- cmu
|   |-- SURREAL
|   |   |-- data
|   |   |   |-- train.json
|   |   |   |-- val.json
|   |   |   |-- hrnet_output_on_testset.json
|   |   |   |-- simple_output_on_testset.json
|   |   |-- images
|   |   |   |-- train
|   |   |   |-- test
|   |   |   |-- val
|   |-- FreiHAND
|   |   |-- data
|   |   |   |-- training
|   |   |   |-- evaluation
|   |   |   |-- freihand_train_coco.json
|   |   |   |-- freihand_train_data.json
|   |   |   |-- freihand_eval_coco.json
|   |   |   |-- freihand_eval_data.json
|   |   |   |-- hrnet_output_on_testset.json
|   |   |   |-- simple_output_on_testset.json

• 下载 Human3.6M 解析数据和 SMPL 参数 [数据][SMPL 参数来自 SMPLify-X]
• 下载 MuCo 解析/合成数据和 SMPL 参数 [数据][SMPL 参数来自 SMPLify-X]
• 下载 COCO 的 SMPL 参数 [SMPL 参数来自 SMPLify]
• 下载 AMASS 的 SMPL 参数 [官方网站]
• 下载 SURREAL 的解析数据 [数据]
• 下载 3DPW 的解析数据 [数据]
• 下载 FreiHAND 的解析数据 [数据]（freihand_eval_coco.json 中的 bbox 来自 Detectron2）
• 所有标注文件均遵循 MS COCO 格式。
• 如果您想添加自己的数据集，必须将其转换为 MS COCO 格式。
• 图像需要下载，但如果需要，也可以从其官方网站下载。
• 2D 姿势检测输出可在此下载：Human36M、COCO、3DPW、SURREAL、FreiHAND

如果您在尝试从 Google Drive 链接下载数据集时遇到“下载限制”问题，请尝试以下方法：

• 进入包含您想要复制到自己驱动器的文件的共享文件夹
• 选择所有您想要复制的文件
• 在右上角点击三个竖直点，然后选择“制作副本”
• 此后，文件将被复制到您的个人 Google Drive 账户。您可以从个人账户下载它。

Pytorch SMPL 和 MANO 层

• 对于 SMPL 层，我使用了 smplpytorch。该仓库已包含在 ${ROOT}/smplpytorch 中。
• 从 这里（女性和男性）以及 这里（中性）下载 basicModel_f_lbs_10_207_0_v1.0.0.pkl、basicModel_m_lbs_10_207_0_v1.0.0.pkl 和 basicModel_neutral_lbs_10_207_0_v1.0.0.pkl，并将其放置在 ${ROOT}/smplpytorch/smplpytorch/native/models 中。 对于 MANO 层，我使用了 manopth。该仓库已包含在 ${ROOT}/manopth 中。 从 这里 下载 MANO_RIGHT.pkl，并将其放置在 ${ROOT}/manopth/mano/models 中。

实验

experiment 目录将按如下方式创建：

${ROOT}  
|-- experiment  
|   |-- exp_*  
|   |   |-- checkpoint  
|   |   |-- graph 
|   |   |-- vis 

• experiment 包含 Pose2Mesh 在各种基准数据集上的训练/测试结果。 我们建议您将该文件夹创建为指向具有大存储容量目录的软链接。

• exp_* 是为每个训练/测试命令创建的。 通配符表示实验训练/测试开始的时间。 默认时区为 UTC+9，但您可以设置为您当地的时区。

• checkpoint 包含每个 epoch 的模型检查点。

• graph 包含误差和损失的可视化训练日志。

• vis 包含网格的 *.obj 文件以及带有 2D 人体姿态或人体网格的图像。

预训练模型权重

从 这里 下载预训练模型权重，并将其放置在相应的目录中。

${ROOT}  
|-- experiment  
|   |-- posenet_human36J_train_human36 
|   |-- posenet_cocoJ_train_human36_coco_muco
|   |-- posenet_smplJ_train_surreal
|   |-- posenet_manoJ_train_freihand
|   |-- pose2mesh_human36J_train_human36
|   |-- pose2mesh_cocoJ_train_human36_coco_muco
|   |-- pose2mesh_smplJ_train_surreal
|   |-- pose2mesh_manoJ_train_freihand
|   |-- posenet_human36J_gt_train_human36
|   |-- posenet_cocoJ_gt_train_human36_coco
|   |-- pose2mesh_human36J_gt_train_human36
|   |-- pose2mesh_cocoJ_gt_train_human36_coco

运行 Pose2Mesh

开始

• Pose2Mesh 分别为 Human3.6M、3DPW、SURREAL 和 FreiHAND 基准使用了与 Human3.6M、COCO、SMPL 和 MANO 不同的关节点集。对于 COCO 关节点集，我们通过计算 'L_Hip' 和 'R_Hip' 的中点以及 'L_Shoulder' 和 'R_Shoulder' 的中点，手动添加了 'Pelvis' 和 'Neck' 关节。
• 在 lib/core/config.py 中，您可以更改系统的各项设置，包括要使用的训练/测试数据集、预定义的关节点集、预训练的 PoseNet 模型、学习率调度策略、是否使用真值标注等。
• 请注意，DATASET.{train/test}_list 中的第一个数据集应调用 build_coarse_graphs 函数以进行图卷积设置。请参考 ${ROOT}/data/Human36M/dataset.py 文件中 __init__ 函数的最后一行。

训练

在 ${ROOT}/asset/yaml/ 目录下选择配置文件并开始训练。您也可以通过自定义的 *.yml 文件来更改训练数据集和预训练的 PoseNet 模型。

1. 预训练 PoseNet

如果从零开始训练，您需要先预训练 PoseNet。

运行以下命令：

python main/train.py --gpu 0,1,2,3 --cfg ./asset/yaml/posenet_{输入关节点集}_train_{数据集列表}.yml

2. 训练 Pose2Mesh

将 ${ROOT}/experiment/exp_*/checkpoint/ 目录下的 best.pth.tar 文件复制到 ${ROOT}/experiment/posenet_{输入关节点集}_train_{数据集列表}/ 目录下。或者按照 此处 的说明下载预训练权重。

运行以下命令：

python main/train.py --gpu 0,1,2,3 --cfg ./asset/yaml/pose2mesh_{输入关节点集}_train_{数据集列表}.yml

测试

在 ${ROOT}/asset/yaml/ 目录下选择配置文件并进行测试。您可以更改预训练模型的权重。若要将采样输出保存为 obj 文件，请在配置文件中将 TEST.vis 的值改为 True。

运行以下命令：

python main/test.py --gpu 0,1,2,3 --cfg ./asset/yaml/{模型名称}_{输入关节点集}_test_{数据集名称}.yml

参考文献

@InProceedings{Choi_2020_ECCV_Pose2Mesh,  
author = {Choi, Hongsuk and Moon, Gyeongsik and Lee, Kyoung Mu},  
title = {Pose2Mesh: Graph Convolutional Network for 3D Human Pose and Mesh Recovery from a 2D Human Pose},  
booktitle = {欧洲计算机视觉大会 (ECCV)},  
year = {2020}  
}  

相关项目

I2L-MeshNet_RELEASE
3DCrowdNet_RELEASE
TCMR_RELEASE
Hand4Whole_RELEASE
HandOccNet
NeuralAnnot_RELEASE

Pose2Mesh 快速上手指南

Pose2Mesh 是一个基于图卷积网络（GCN）的开源项目，用于从 2D 人体姿态恢复 3D 人体姿态和网格（Mesh）。本项目基于 PyTorch 实现，支持单人及多人场景。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐)
• Python: >= 3.7.2
• PyTorch: >= 1.2 (请根据您的 GPU 驱动版本安装对应的 CUDA 版本)
• 包管理工具: 推荐使用 Anaconda 创建虚拟环境。

国内加速建议： 在安装 PyTorch 或 Python 包时，建议使用清华源或阿里源以加快下载速度。

# 示例：使用清华源安装 pytorch (请根据官网选型替换具体版本命令)
pip install torch torchvision torchaudio -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 创建虚拟环境并安装依赖

建议使用 Anaconda 创建独立环境，然后运行项目提供的安装脚本。

# 创建虚拟环境 (示例)
conda create -n pose2mesh python=3.8
conda activate pose2mesh

# 安装 PyTorch (请务必前往 pytorch.org 根据您的显卡选择正确命令)
# conda install pytorch torchvision torchaudio cudatoolkit=11.3 -c pytorch

# 克隆仓库并进入目录
git clone https://github.com/hongsukchoi/Pose2Mesh_RELEASE.git
cd Pose2Mesh_RELEASE

# 运行依赖安装脚本
sh requirements.sh

2. 准备模型文件 (SMPL & MANO)

Pose2Mesh 依赖 SMPL 和 MANO 层进行网格重建，需手动下载模型参数文件并放置到指定目录。

• SMPL 模型: 下载 basicModel_f_lbs_10_207_0_v1.0.0.pkl, basicModel_m_lbs_10_207_0_v1.0.0.pkl (来自 SMPL 官网) 和 basicModel_neutral_lbs_10_207_0_v1.0.0.pkl (来自 SMPLify 官网)。 将文件放入：${ROOT}/smplpytorch/smplpytorch/native/models

• MANO 模型: 下载 MANO_RIGHT.pkl (来自 MANO 官网)。 将文件放入：${ROOT}/manopth/mano/models

注：${ROOT} 指项目根目录。

3. 下载预训练权重

为了直接运行演示，请下载预训练模型权重。 下载地址：Google Drive (若无法访问 Google Drive，可尝试复制链接到您的云端硬盘后下载)

将下载的文件夹内容对应放入 ${ROOT}/experiment/ 目录下，例如：

${ROOT}/experiment/pose2mesh_human36J_train_human36/
${ROOT}/experiment/pose2mesh_cocoJ_train_human36_coco_muco/
...

基本使用

以下是最简单的单人演示流程，将从预设的 2D 姿态数据生成 3D Mesh。

1. 运行单人演示

确保已准备好输入数据（项目自带示例数据 demo/h36m_joint_input.npy），运行以下命令：

python demo/run.py --gpu 0 --input_pose demo/h36m_joint_input.npy --joint_set human36

• --input_pose: 输入包含 2D 关节坐标的 .npy 文件。
• --joint_set: 关节集类型，可选 {human36, coco, smpl, mano}。

2. 将 Mesh 叠加到图片上（可选）

如果您希望将生成的 3D Mesh 渲染并叠加到原始输入图像上，请添加 --input_img 参数：

python demo/run.py --gpu 0 --input_pose demo/h36m_joint_input.npy --joint_set human36 --input_img demo/input_image.jpg

3. 查看结果

运行完成后，生成的结果将保存在 ${ROOT}/demo/result/ 目录中：

• demo_pose2d.png: 输入的 2D 姿态可视化。
• demo_mesh.png: 渲染后的 3D Mesh 图像（若指定了输入图片，则为叠加效果）。
• demo_mesh_.obj: 导出的 3D Mesh 模型文件，可用 Blender 等软件打开。

4. 多人演示（进阶）

如需测试多人场景，请先从 此链接 下载演示数据并放入 ${ROOT}/demo/，然后直接运行：

python demo/run.py --gpu 0

程序将自动处理 CrowdPose 数据集中的样本图像。