可学习的人体姿态三角测量

本仓库是论文《可学习的人体姿态三角测量》（ICCV 2019，口头报告）的官方 PyTorch 实现。我们在此解决从多摄像头进行三维人体姿态估计的问题。我们提出了两种新颖的方法——代数式和体积式可学习三角测量——它们优于现有的最先进方法。

如果您发现任何错误、有疑问或知道如何改进代码，请随时提交 issue！

:arrow_forward: ICCV 2019 演讲

使用方法

该项目没有任何特殊或难以安装的依赖。只需运行以下命令即可完成所有安装：

pip install -r requirements.txt

数据

抱歉，目前仅支持 Human3.6M 数据集的训练和评估。我们暂时无法添加 CMU Panoptic 数据集，敬请谅解。

Human3.6M

1. 按照 mvn/datasets/human36m_preprocessing/README.md 中的说明下载并预处理数据集。
2. 从 这里 下载预训练主干网络的权重，并将其放置到 ./data/pretrained/human36m/pose_resnet_4.5_pixels_human36m.pth（在 COCO 数据集上训练并在 MPII 和 Human3.6M 上联合微调的 ResNet-152）。
3. 如果您想训练体积模型，需要为训练集和验证集提供骨盆的粗略三维位置估计。在论文中，我们使用代数模型来估计这些位置。您可以使用 预训练的 代数模型生成预测结果，或者直接使用 预先计算好的三维骨架。

模型库

本节收集了预训练模型和配置文件。所有 预训练权重 和 预先计算的三维骨架 都可以一次性从 这里 下载，并放置到 ./data/pretrained 目录下，这样评估配置就可以开箱即用，无需额外设置路径。当然，您也可以通过下方表格中的单独链接获取这些文件。

Human3.6M：

模型	训练配置	评估配置	权重	预先计算的结果	MPJPE（相对于骨盆），mm
代数式	train/human36m_alg.yaml	eval/human36m_alg.yaml	链接	训练, 验证	22.5
体积式（softmax）	train/human36m_vol_softmax.yaml	eval/human36m_vol_softmax.yaml	链接	—	20.4

训练

每个实验都由 .config 文件定义。论文中实验的配置文件位于 ./experiments 目录下（参见 模型库）。

单 GPU

要使用 1 个 GPU 训练带有 softmax 聚合的体积模型，请运行：

python3 train.py \
  --config experiments/human36m/train/human36m_vol_softmax.yaml \
  --logdir ./logs

训练将按照 --config 指定的配置文件开始，日志（包括 TensorBoard 文件）将存储在 --logdir 目录中。

多 GPU（测试中）

多 GPU 训练是通过 PyTorch 的 DistributedDataParallel 实现的。它既可用于单机训练，也可用于多机（集群）训练。要启动这些进程，请使用 PyTorch 的 launch 工具。

要在 单机上使用 2 个 GPU 训练带有 softmax 聚合的体积模型，请运行：

python3 -m torch.distributed.launch --nproc_per_node=2 --master_port=2345 \
  train.py  \
  --config experiments/human36m/train/human36m_vol_softmax.yaml \
  --logdir ./logs

TensorBoard

要查看实验进度，请运行 TensorBoard：

tensorboard --logdir ./logs

评估

训练完成后，您可以对模型进行评估。在相同的配置文件中，添加已学习权重的路径（这些权重会在训练过程中保存到 logs 目录）：

model:
    init_weights: true
    checkpoint: {PATH_TO_WEIGHTS}

此外，您还可以调整其他配置参数，例如 retain_every_n_frames_test。

运行：

python3 train.py \
  --eval --eval_dataset val \
  --config experiments/human36m/eval/human36m_vol_softmax.yaml \
  --logdir ./logs

--eval_dataset 参数可以设置为 val 或 train。评估结果可以在 logs 目录或 TensorBoard 中查看。

结果

• 我们在两个可用的大型多视角数据集上进行了实验：Human3.6M [2] 和 CMU Panoptic [3]。
• 主要指标是 MPJPE（平均关节位置误差），即所有关节上的 L2 距离的平均值。

Human3.6M

• 我们显著超越了之前的最先进水平（误差以骨盆为参考，未进行对齐）。
• 我们的最佳模型在绝对坐标下的误差达到了 17.7 mm，这是此前无法达到的。
• 我们的体积模型能够使用 任意数量的摄像头 来估计 3D 人体姿态，甚至仅使用 1 台摄像头 也能实现。在单视角设置下，我们的结果与当前最先进的方法 [6] 相当（49.9 mm vs. 49.6 mm）。

以骨盆为参考的 MPJPE：

| | MPJPE（所有动作平均），mm | |----------------------------- |:--------: | | 多视角 Martinez [4] | 57.0 | | Pavlakos 等人 [8] | 56.9 | | Tome 等人 [4] | 52.8 | | Kadkhodamohammadi & Padoy [5] | 49.1 | | Qiu 等人 [9] | 26.2 | | RANSAC（我们的实现） | 27.4 | | 我们，代数法 | 22.4 | | 我们，体积法 | 20.5 |

绝对坐标下的 MPJPE（排除了地面真值标注无效的场景）：

| | MPJPE（所有动作平均），mm | |----------------------------- |:--------: | | RANSAC（我们的实现） | 22.8 | | 我们，代数法 | 19.2 | | 我们，体积法 | 17.7 |

以骨盆为参考的 MPJPE（单视角方法）：

| | MPJPE（所有动作平均），mm | |----------------------------- |:-----------------------------------: | | Martinez 等人 [7] | 62.9 | | Sun 等人 [6] | 49.6 | | 我们，体积法单视角 | 49.9 |

CMU Panoptic

• 我们的最佳模型在 4 台摄像机的情况下，绝对坐标的误差达到了 13.7 mm。
• 与数据集原版标注相比，我们成功获得了更加平滑和精确的 3D 姿态标注（详见 视频演示）。

以骨盆为参考的 MPJPE [4 台摄像机]：

| | MPJPE，mm | |----------------------------- |:--------: | | RANSAC（我们的实现） | 39.5 | | 我们，代数法 | 21.3 | | 我们，体积法 | 13.7 |

方法概述

我们提出了两种新颖的可学习三角测量方法：代数法和体积法。

代数法

我们的第一种方法基于代数三角测量。它与先前的方法类似，但在两个关键方面有所不同：

1. 它是 完全可微分的。为此，我们使用软最大聚合，并通过可微分的奇异值分解来三角测量关键点。
2. 神经网络还会额外预测 每个关节的标量置信度，并将其传递给三角测量模块，从而有效处理异常值和被遮挡的关节。

对于最流行的 Human3.6M 数据集，这种方法已经将误差大幅降低了 2.2 倍（！），相比之前的技术有了显著提升。

体积法

在体积三角测量模型中，中间的 2D 特征图会被密集地反投影到体积立方体中，然后由 3D 卷积神经网络进行处理。反投影操作允许 来自多个视角的密集聚合，而 3D 卷积神经网络则能够建模 隐式的 3D 人体姿态先验。

体积三角测量进一步提升了精度，将之前的最先进误差大幅降低了 2.4 倍！ 即使与 MSRA 团队同期开发的最佳方法 [6] 相比，我们的方法仍然提供了显著更低的误差，仅为 21 mm。

引用我们！

@inproceedings{iskakov2019learnable,
  title={Learnable Triangulation of Human Pose},
  author={Iskakov, Karim and Burkov, Egor and Lempitsky, Victor and Malkov, Yury},
  booktitle = {International Conference on Computer Vision (ICCV)},
  year={2019}
}

贡献者

• Karim Iskakov
• Egor Burkov
• Victor Lempitsky
• Yury Malkov
• Rasul Kerimov
• Ivan Bulygin

新闻

• 2019年11月26日： 更新了 预计算结果（参见 此问题）。
• 2019年10月18日： 发布了 Human3.6M 的预训练模型（代数法和体积法）。
• 2019年10月8日： 代码正式发布！

参考文献

• [1] R. Hartley 和 A. Zisserman. 计算机视觉中的多视图几何。
• [2] C. Ionescu、D. Papava、V. Olaru 和 C. Sminchisescu. Human3.6m：用于自然环境中 3D 人体感知的大规模数据集及预测方法。
• [3] H. Joo、T. Simon、X. Li、H. Liu、L. Tan、L. Gui、S. Banerjee、T. S. Godisart、B. Nabbe、I. Matthews、T. Kanade、S. Nobuhara 和 Y. Sheikh. Panoptic 工作室：用于社交互动捕捉的超大规模多视角系统。
• [4] D. Tome、M. Toso、L. Agapito 和 C. Russell. 重新思考 3D 姿态：无标记运动捕捉的多阶段细化与恢复。
• [5] A. Kadkhodamohammadi 和 N. Padoy. 一种可推广的多视角 3D 人体姿态回归方法。
• [6] X. Sun、B. Xiao、S. Liang 和 Y. Wei. 整体人体姿态回归。
• [7] J. Martinez、R. Hossain、J. Romero 和 J. J. Little. 一种简单而有效的 3D 人体姿态估计基线。
• [8] G. Pavlakos、X. Zhou、K. G. Derpanis 和 K. Daniilidis. 利用多视角获取无标记 3D 人体姿态标注。
• [9] H. Qiu、C. Wang、J. Wang、N. Wang 和 W. Zeng. （2019）。跨视角融合用于 3D 人体姿态估计，GitHub

learnable-triangulation-pytorch 快速上手指南

本项目是 ICCV 2019 论文《Learnable Triangulation of Human Pose》的官方 PyTorch 实现，主要用于从多视角摄像头数据中进行高精度的人体 3D 姿态估计。

环境准备

• 操作系统: Linux (推荐 Ubuntu)
• Python: Python 3.6+
• 深度学习框架: PyTorch (需支持 CUDA)
• 其他依赖: 项目无特殊难安装的依赖，主要通过 pip 管理。

提示：国内用户建议使用清华或阿里镜像源加速 PyTorch 及 pip 包的安装。

安装步骤

1. 克隆仓库

   git clone https://github.com/karfly/learnable-triangulation-pytorch.git
   cd learnable-triangulation-pytorch
   

2. 安装依赖 使用 pip 安装所需库（国内用户可添加 -i 参数指定镜像源）：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

3. 准备数据与预训练权重 (以 Human3.6M 为例)

   • 数据集: 目前仅支持 Human3.6M。请参照 mvn/datasets/human36m_preprocessing/README.md 下载并预处理数据。
   • 骨干网络权重: 下载预训练的 ResNet-152 权重，并放置于 ./data/pretrained/human36m/pose_resnet_4.5_pixels_human36m.pth。
   • 模型权重: 若直接评估，可从 Model Zoo 下载预训练模型放入 ./data/pretrained 目录。

基本使用

1. 训练模型 (单卡)

以下命令演示如何使用 Volumetric (Softmax) 方法在单张 GPU 上进行训练：

python3 train.py \
  --config experiments/human36m/train/human36m_vol_softmax.yaml \
  --logdir ./logs

• --config: 指定实验配置文件。
• --logdir: 指定日志和检查点保存路径。

2. 多卡训练 (可选)

若需使用多张 GPU（例如 2 张），请使用 PyTorch 分布式启动工具：

python3 -m torch.distributed.launch --nproc_per_node=2 --master_port=2345 \
  train.py  \
  --config experiments/human36m/train/human36m_vol_softmax.yaml \
  --logdir ./logs

3. 模型评估

训练完成后，修改配置文件中的权重路径，或直接运行评估命令：

python3 train.py \
  --eval --eval_dataset val \
  --config experiments/human36m/eval/human36m_vol_softmax.yaml \
  --logdir ./logs

• --eval_dataset: 可设为 val (验证集) 或 train (训练集)。
• 结果将输出至日志目录或通过 TensorBoard 查看。

4. 查看训练进度

使用 TensorBoard 可视化损失曲线和评估指标：

tensorboard --logdir ./logs

然后在浏览器中访问显示的地址（通常为 http://localhost:6006）。