优秀的人体姿态估计

人体姿态估计相关资源的集合。

为什么是优秀的人体姿态估计？

这是我学习人体姿态估计时整理的一系列论文和资源。我会持续更新这份列表，加入最新的论文和资源。如果你想了解人体姿态估计的基础知识，并理解该领域的演进历程，请查看我在2D姿态估计和3D姿态估计上发表的文章。

贡献

如果你认为我遗漏了某些内容，或者有任何建议（例如论文、实现和其他资源），欢迎随时提交拉取请求。

我们非常欢迎反馈和贡献！

目录

• 基础知识
• 论文
  • 2D姿态估计
  • 3D姿态估计
  • 人物生成
  • 实时姿态估计
• 数据集
• 研讨会
• 博客文章
• 流行实现
  • PyTorch
  • TensorFlow
  • Torch
  • 其他

基础知识

• 2019年深度学习在人体姿态估计中的指南

论文

2D姿态估计

• 利用卷积网络学习人体姿态估计特征 - Jain, A., Tompson, J., Andriluka, M., Taylor, G.W., & Bregler, C. (ICLR 2013)
• DeepPose：基于深度神经网络的人体姿态估计 - Toshev, A., & Szegedy, C. (CVPR 2014)
• 卷积网络与图模型联合训练用于人体姿态估计 - [代码] - Tompson, J., Jain, A., LeCun, Y., & Bregler, C. (NIPS 2014)
• MoDeep：一种使用运动特征进行人体姿态估计的深度学习框架 - Jain, A., Tompson, J., LeCun, Y., & Bregler, C. (ACCV 2014)
• 利用卷积网络进行高效的目标定位 - Tompson, J., Goroshin, R., Jain, A., LeCun, Y., & Bregler, C (CVPR 2015)
• 用于视频中人体姿态估计的流式卷积网络 - [代码] - Pfister, T., Charles, J., & Zisserman, A. (ICCV 2015)
• 卷积姿态机器 - [代码] - Wei, S., Ramakrishna, V., Kanade, T., & Sheikh, Y. (CVPR 2016)
• 基于迭代误差反馈的人体姿态估计 - [代码] Carreira, J., Agrawal, P., Fragkiadaki, K., & Malik, J. (CVPR 2016)
• DeepCut：多人姿态估计中的联合子集划分与标注 - [代码] - Pishchulin, L., Insafutdinov, E., Tang, S., Andres, B., Andriluka, M., Gehler, P.V., & Schiele, B. (CVPR 2016)
• DeeperCut：更深入、更强、更快的多人姿态估计模型 - [代码1][代码2] - Insafutdinov, E., Pishchulin, L., Andres, B., Andriluka, M., & Schiele, B. (ECCV 2016)
• 用于人体姿态估计的堆叠沙漏网络 - [代码] - Newell, A., Yang, K., & Deng, J. (ECCV 2016)
• 用于人体姿态估计的多上下文注意力机制 - [代码] - Chu, X., Yang, W., Ouyang, W., Ma, C., Yuille, A.L., & Wang, X. (CVPR 2017)
• 迈向野外环境中精确的多人姿态估计 - [代码] - Papandreou, G., Zhu, T., Kanazawa, N., Toshev, A., Tompson, J., Bregler, C., & Murphy, K.P. (CVPR 2017)
• 基于部分亲和力场的实时多人2D姿态估计 - [代码] - Cao, Z., Simon, T., Wei, S., & Sheikh, Y. (CVPR 2017)
• 用于人体姿态估计的特征金字塔学习 - [代码] - Yang, W., Li, S., Ouyang, W., Li, H., & Wang, X. (ICCV 2017)
• 采用全局与局部归一化的人体姿态估计 - Sun, K., Lan, C., Xing, J., Zeng, W., Liu, D., & Wang, J. (ICCV 2017)
• 对抗姿态网络：一种结构感知的卷积网络用于人体姿态估计 - Chen, Y., Shen, C., Wei, X., Liu, L., & Yang, J. (ICCV 2017)
• RMPE：区域多人姿态估计 - [代码1][代码2] - Fang, H., Xie, S., & Lu, C. (ICCV 2017)
• 用于人体姿态估计的自对抗训练 - [代码1][代码2] - Chou, C., Chien, J., & Chen, H. (ArXiv 2017)
• 循环人体姿态估计 - [代码] - Belagiannis, V., & Zisserman, A. (FG 2017)
• 知识引导的深度分形神经网络用于人体姿态估计 - [代码] Ning, G., Zhang, Z., & He, Z. (IEEE Transactions on Multimedia 2018)
• 基于解析诱导学习器的人体姿态估计 - Xuecheng Nie, Jiashi Feng, Yiming Zuo, Shuicheng Yan (CVPR 2018)
• LSTM姿态机器 - [代码] - Yue Luo, Jimmy Ren, Zhouxia Wang, Wenxiu Sun, Jinshan Pan, Jianbo Liu, Jiahao Pang, Liang Lin (CVPR 2018)
• 用于人体姿态估计与跟踪的简单基线 - [代码] - Bin, Xiao, Haiping Wu, Yichen Wei (ECCV 2018)
• 用于人体姿态估计的多尺度结构感知网络 - Lipeng Ke, Ming-Ching Chang, Honggang Qi, Siwei Lyu (ECCV 2018)
• 用于人体姿态估计的深度学习组合模型 - Wei Tang, Pei Yu, Ying Wu (ECCV 2018)
• 在CPU上实现的实时2D多人姿态估计：轻量级OpenPose - [代码] Osokin, D. (ArXiv 2018)
• 用于人体姿态估计的深度高分辨率表征学习 - [代码] Ke Sun, Bin Xiao, Dong Liu, Jingdong Wang (CVPR 2019)

3D 姿态估计

• 基于深度卷积神经网络的单目图像3D人体姿态估计 - 李思远、陈安邦（ACCV 2014）
• 利用深度神经网络进行3D人体姿态的结构化预测 - 特金·巴哈迪尔、卡蒂尔焦卢·伊尔汗、萨尔茨曼·马库斯、勒佩蒂·文森特、富阿·皮埃尔（BMVC 2016）
• VNect：基于单个RGB摄像头的实时3D人体姿态估计 - [代码] - 迪舒扬特·梅塔等（SIGGRAPH 2017）
• 循环3D姿态序列模型 - 林茂、林立、梁晓轩、王凯、程浩（CVPR 2017）
• 从深层特征中提升：基于单张图像的卷积3D姿态估计 - 托梅·达尼埃莱、拉塞尔·克里斯托弗、阿加皮托·路易斯（CVPR 2017）
• 单目3D人体姿态的粗到精体积预测 - [代码] - 帕夫拉科斯·格奥尔吉奥斯、周晓东、德尔帕尼斯·康斯坦丁、达尼利迪斯·基里亚科斯（CVPR 2017）
• 迈向野外环境下的3D人体姿态估计：一种弱监督方法 - [代码] - 周晓东、黄琦、孙旭、薛雪、魏勇（ICCV 2017）
• 一种简单而有效的3D人体姿态估计基线 - 马丁内斯·豪尔赫、侯赛因·拉希德、罗梅罗·胡安、利特尔·约翰（ICCV 2017）
• 组合式人体姿态回归 - 孙旭、尚杰、梁松、魏勇（ICCV 2017）
• 利用改进的CNN监督技术进行野外环境下的单目3D人体姿态估计 - 梅塔·迪舒扬特、罗丁·赫尔格、卡萨斯·大卫、富阿·皮埃尔、索特尼琴科·奥列克桑德、徐伟、特奥巴尔特·克里斯蒂安（3DV 2017）
• 通过对抗学习实现野外环境下的3D人体姿态估计 - 杨伟、欧阳旺、王欣、任继生、李华、王翔（2018年）
• DRPose3D：3D人体姿态估计中的深度排序 - 王明、陈曦、刘伟、钱灿、林立、马丽（IJCAI 2018）
• 端到端的人体形状与姿态恢复 - [代码] - 金泽步、布莱克·迈克尔、雅各布斯·戴维、马利克·贾米勒（CVPR 2018）
• 从单张彩色图像中学习估计3D人体姿态与形状 - 帕夫拉科斯·格奥尔吉奥斯、朱莉娅·祖、周晓东、达尼利迪斯·基里亚科斯（CVPR 2018）
• 野外环境下的密集人体姿态估计 - [代码] - 古勒·雷扎、涅韦罗娃·纳塔莉娅、科基诺斯·伊万尼斯（ArXiv 2018）
• 神经人体拟合：统一深度学习与基于模型的人体姿态和形状估计 - [代码] - 奥姆兰·穆罕默德、拉斯纳·克里斯托夫、蓬斯-莫尔·杰拉尔德、盖勒·彼得、席勒·伯恩特（3DV 2018）
• 从结构与运动中学习3D人体姿态 - 达布拉尔·里沙布、蒙达达·阿努普、库苏帕蒂·乌玛、阿法克·萨米尔、夏尔马·阿努什、贾因·阿努普（ECCV 2018）
• 积分式人体姿态回归 - [代码] - 孙旭、肖斌、梁松、魏勇（ECCV 2018）
• 密集姿态迁移 - 涅韦罗娃·纳塔莉娅、古勒·雷扎、科基诺斯·伊万尼斯（ECCV 2018）
• 用于3D人体姿态估计的无监督几何感知表示 - [代码] - 罗丁·赫尔格、萨尔茨曼·马库斯、富阿·皮埃尔（ECCV 2018）
• BodyNet：3D人体形态的体积推理 - [代码] - 瓦罗尔·古尔坎、塞伊兰·代尼兹、拉塞尔·布赖恩、杨洁、尤默尔·艾伦、拉普捷夫·伊戈尔、施密德·克里斯蒂安（ECCV 2018）
• 利用时间卷积和半监督训练在视频中进行3D人体姿态估计 - [代码] - 帕夫洛·丹尼尔、费希滕霍费尔·克里斯蒂安、格朗吉耶·多米尼克、奥利·马泰乌斯（ArXiv 2018）
• 基于单目RGB图像的单次多人群3D姿态估计 - [代码1][代码2] - 梅塔·迪舒扬特、索特尼琴科·奥列克桑德、穆勒·弗里德里希、徐伟、斯里达尔·萨蒂什、蓬斯-莫尔·杰拉尔德、特奥巴尔特·克里斯蒂安（3DV 2018）

人物生成

• 姿态引导的人物图像生成 - [代码] - 马丽、贾霞、孙青、席勒·伯恩特、图伊特拉尔斯·蒂恩、古尔·莱昂·范（NIPS 2017）
• 服装中人物的生成模型 - 拉斯纳·克里斯托夫、蓬斯-莫尔·杰拉尔德、盖勒·彼得·范（ICCV 2017）
• 基于姿态的人像生成可变形GAN - [代码] - 西亚罗欣·阿利亚克桑德尔、桑吉内托·埃马努埃莱、拉图伊利耶·塞巴斯蒂安、塞贝·尼尔（CVPR 2018）
• 密集姿态迁移 - 涅韦罗娃·纳塔莉娅、古勒·雷扎、科基诺斯·伊万尼斯（ECCV 2018）

实时姿态估计

• 基于部件亲和场的实时多人2D姿态估计 - [代码] - Cao, Z., Simon, T., Wei, S., & Sheikh, Y. (CVPR 2017)
• VNect：使用单个RGB摄像头的实时3D人体姿态估计 - [代码] - Mehta, Dushyant 等 (SIGGRAPH 2017)
• RMPE：区域多人姿态估计 - [代码1][代码2] - Fang, H., Xie, S., & Lu, C. (ICCV 2017)
• 野外密集人体姿态估计 - [代码] - Guler, R.A., Neverova, N., & Kokkinos, I. (ArXiv 2018)
• 在CPU上进行实时2D多人姿态估计：轻量级OpenPose - [代码] Osokin, D. (ArXiv 2018)
  • 扩展到3D姿态估计（基于单目RGB图像的单次多人3D姿态估计 - Mehta, D., et al.) - [代码]

数据集

2D

• MPII人体姿态数据集
• LSP
• FLIC
• FLIC-plus

3D

• Human3.6M
• HumanEva
• MPI-INF-3DHP
• Unite The People

研讨会

• POSETRACK-ECCV
• 3D HUMANS-CVPR 2018

博客文章

• 使用TensorFlow.js在浏览器中进行实时人体姿态估计
• 用于人体姿态估计的深度学习
• 基于深度学习的人体姿态估计：使用OpenCV（C++/Python）

流行的实现

PyTorch

• pytorch-pose-hg-3d
• 3d_pose_baseline_pytorch
• pytorch_Realtime_Multi-Person_Pose_Estimation
• AlphaPose
• pytorch-pose
• human-pose-estimation.pytorch
• deep-high-resolution-net.pytorch

TensorFlow

• tf-pose-estimation
• pose-tensorflow

Torch

• pose-hg-train
• pose-hg-demo

其他

• openpose
• DensePose

待办事项

• 添加基础知识
• 添加关于行人再识别的论文
• 添加关于多人姿态估计的论文
• 添加SOTA排名

许可证

本作品采用知识共享署名4.0国际许可协议授权。

Awesome Human Pose Estimation 快速上手指南

awesome-human-pose-estimation 并非一个单一的可执行软件或 Python 包，而是一个 curated（精选）的资源列表，汇集了人体姿态估计领域的经典论文、数据集、博客教程以及基于不同框架（PyTorch, TensorFlow 等）的代码实现。

本指南将指导你如何利用该列表中的资源，快速搭建并运行一个主流的人体姿态估计模型（以列表中推荐的 Simple Baselines (PyTorch) 为例）。

环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04/20.04) 或 macOS。Windows 用户建议使用 WSL2。
• Python: 3.6 或更高版本。
• GPU: 推荐使用 NVIDIA GPU 以加速推理和训练（需安装对应的 CUDA 驱动）。
• 前置依赖:
  • Git
  • pip 或 conda (推荐使用 conda 管理环境)

安装步骤

由于该仓库是资源索引，我们需要从中选择一个具体的实现进行安装。这里选择列表中 Popular implementations -> PyTorch 部分提到的经典项目：Simple Baselines for Human Pose Estimation。

1. 克隆代码仓库

git clone https://github.com/Microsoft/human-pose-estimation.pytorch.git
cd human-pose-estimation.pytorch

2. 创建虚拟环境

建议使用 Conda 创建隔离环境，避免依赖冲突。

conda create -n pose_estimation python=3.7
conda activate pose_estimation

3. 安装依赖库

该项目依赖 PyTorch 和其他计算机视觉库。国内用户推荐使用清华源或阿里源加速安装。

安装 PyTorch (以 CUDA 11.3 为例，请根据实际显卡调整):

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu113
# 或者使用清华镜像源
# pip install torch torchvision torchaudio --index-url https://pypi.tuna.tsinghua.edu.cn/simple

安装其他依赖:

pip install -r requirements.txt

注：如果 requirements.txt 缺失或报错，通常需手动安装 opencv-python, yacs, tqdm, numpy 等核心库。

4. 下载预训练模型

从原项目 Release 页面或列表中提供的链接下载预训练权重文件（例如 pose_coco.pth.tar），并将其放置在 models/checkpoints/ 目录下（具体路径请参考项目内的 README 说明）。

基本使用

以下是最简单的单张图片推理示例，用于检测图片中的人体关键点。

1. 准备测试图片

将一张包含人物的图片（如 test.jpg）放入项目根目录或指定文件夹。

2. 运行推理脚本

使用提供的测试脚本加载模型并进行预测。以下命令假设你已配置好模型路径和数据集格式（COCO 格式）：

python tools/test.py \
    --cfg experiments/coco/resnet/pose_resnet_50_256x192.yaml \
    TEST.MODEL_FILE models/checkpoints/pose_coco.pth.tar \
    TEST.USE_GT_BBOX False

• --cfg: 指定配置文件，定义了网络结构（如 ResNet-50）和输入尺寸。
• TEST.MODEL_FILE: 指定下载的预训练权重路径。
• TEST.USE_GT_BBOX False: 表示不使用真实标注框，让模型自动检测人物区域。

3. 查看结果

运行结束后，生成的带有骨架关键点标注的图片通常保存在 output 或 vis 文件夹中。你可以使用图片查看器打开结果图，验证姿态估计效果。

---

提示：若要尝试 3D 姿态估计或其他架构（如 HRNet, OpenPose），请回到 awesome-human-pose-estimation 列表的对应章节，查找相关论文的官方代码链接并重复上述“克隆 - 安装 - 运行”流程。