HMR

这是一个由 Angjoo Kanazawa、Michael J. Black、David W. Jacobs 和 Jitendra Malik 撰写的论文 端到端的人体形状与姿态恢复 的 PyTorch 实现，并配套了一些著名的人体姿态估计网络和数据集。
HMR 是一个端到端框架，用于从单张 RGB 图像中重建完整的人体 3D 网格。与大多数仅计算 2D 或 3D 关节点位置的方法不同，HMR 生成了一种更丰富、更有用的网格表示，该表示由人体形状和 3D 关节角度参数化。其主要目标是最小化关键点的重投影误差，这使得模型可以使用仅包含 2D 标注的真实世界图像进行训练。如需更直观的效果，请观看 作者的原始视频。

训练步骤（以下链接因许可限制目前无法访问）

1. 下载以下数据集。

• AI Challenger 关键点数据集
• LSP 14 关键点数据集
• LSP 14 关键点扩展数据集
• COCO-2017 关键点数据集
• MPI-INF-3DHP 3D 关键点数据集
• MOSH 数据集，用于对抗性训练

2. 下载 Human3.6 数据集。

• hum3.6m_part_1.zip
• hum3.6m_part_2.zip
• hum3.6m_part_3.zip
• hum3.6m_part_4.zip
• hum3.6m_part_5.zip
• hum3.6m_anno.zip

3. 解压下载的数据集。

4. 解压 model.zip。

5. 通过修改 src/config.py 和 do_train.sh 配置环境。

6. 直接运行 ./do_train.sh。

环境配置。

• 安装 PyTorch 0.4
• 安装 torchvision
• 安装 numpy
• 安装 scipy
• 安装 h5py
• 安装 opencv-python

结果

参考文献

• 用于人体姿态估计的堆叠沙漏网络
• SMPL：一种带蒙皮的多人线性模型
• 保持 SMPL：从单张图像自动估计 3D 人体姿态与形状
• 基于稀疏标记的动作与形状捕捉
• 团结人类：闭合 3D 与 2D 人体表示之间的循环
• 端到端的人体形状与姿态恢复

参考资源

• UP-3D 数据集
• COCO-2017 数据集
• Human 3.6m 数据
• AI Challenger 数据集

pytorch_HMR 快速上手指南

环境准备

系统要求

• 操作系统：Linux 或 macOS（Windows 也可运行，但需注意依赖兼容性）
• Python 版本：3.6 或以上

前置依赖

pip install torch==0.4.1
pip install torchvision
pip install numpy
pip install scipy
pip install h5py
pip install opencv-python

推荐使用国内镜像源加速安装：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch==0.4.1
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torchvision

安装步骤

1. 下载数据集（部分链接可能需要通过百度网盘获取）：

   • AI challenger keypoint dataset
   • lsp 14-keypoint dataset
   • lsp 14-keypoint extension dataset
   • COCO-2017-keypoint dataset
   • mpi_inf_3dhp 3d keypoint dataset
   • mosh dataset

2. 下载 Human3.6M 数据集：

   • hum3.6m_part_1.zip
   • hum3.6m_part_2.zip
   • hum3.6m_part_3.zip
   • hum3.6m_part_4.zip
   • hum3.6m_part_5.zip
   • hum3.6m_anno.zip

3. 解压所有下载的数据集。

4. 下载模型文件 model.zip 并解压。

5. 修改配置文件 src/config.py 和启动脚本 do_train.sh 以适配你的环境。

6. 运行训练脚本：

./do_train.sh

基本使用

在完成训练后，你可以使用训练好的模型进行推理。以下是一个简单的示例：

import torch
from model import HMRModel

# 加载预训练模型
model = HMRModel()
model.load_state_dict(torch.load('path_to_trained_model.pth'))

# 输入一张 RGB 图像
image = torch.rand(1, 3, 256, 256)  # 示例输入

# 推理输出
output = model(image)

# 输出结果包括 3D 人体形状和姿态参数
print(output)

请根据实际路径替换 'path_to_trained_model.pth'。