MotioNet

本库提供了MotioNet的源代码，该模型发表于2020年的《计算机图形学汇刊》（ToG），是一种基于单目视频重建三维骨骼人体运动的运动学深度神经网络。该网络基于通用的运动表示设计，其直接输出无需任何后处理即可转换为bvh文件。

MotioNet：基于骨骼一致性的单目视频三维人体运动重建：项目 | 论文 | 视频

前置条件

• Linux
• Python 3
• NVIDIA GPU + CUDA CuDNN
• 2D姿态检测工具（用于在真实视频上进行评估，目前支持：Openpose）

根据你的CUDA版本，选择合适的PyTorch版本并安装，然后运行以下命令安装其他依赖包：

pip install -r requirements.txt

快速开始

我们提供了一个预训练模型和几个演示示例，展示了我们的框架如何工作。要运行演示，请下载：1. 预训练模型，从这里下载，并将其放置在**./checkpoints文件夹中；2. 训练数据，从这里下载，并将其放置在./data**文件夹中。然后简单地运行：

mkdir output
python evaluate.py -r ./checkpoints/wild_gt_tcc.pth -i demo

生成的bvh文件将位于**./output**文件夹中。请注意，对于这些示例，我们已经使用Openpose从视频中提取了2D关键点，但如果您想使用自己的视频，则需要自行完成这一步骤。所有原始视频都可以在我们的视频中找到。

数据准备

训练数据

完整流程中包含两个数据集，一个是Human3.6m，另一个是CMU动作捕捉数据。h36m数据对训练和测试都是必需的，因此请先准备好它。

对于h36m数据，您可以按照h36m-fetch的说明下载原始文件。获取解压后的文件后，可以运行我们的Python脚本将其转换为numpy矩阵：

python ./data/prepare_h36m.py

对于CMU数据，我们仅选择了310段用于训练。您可以在data/cmu_file_list中找到文件列表，将它们收集到一个文件夹中，然后运行我们的脚本提取有用的姿态数据。

python ./data/prepare_cmu.py

所有步骤都会产生相同的结果，但我们建议您自行处理数据。我们也提供了链接[Google云端硬盘]，可以直接下载这些数据。然后将它们放入*./data*文件夹中。

预训练模型

目前有两个可用的预训练模型，一个用于在h36m数据上进行评估，使用地面真值2D检测；另一个用于处理真实视频，采用了置信度图、足部接触信号和对抗训练等技术。

通过链接[Google云端硬盘（已更新！）]下载后，将其放置在*./checkpoints*文件夹中。

未来几天还将发布更多预训练模型。

在h36m上的测试

一旦您有了h36m数据和预训练模型，就可以运行脚本在h36m数据上评估我们的模型。

# 仅评估，不考虑接触和平移
python evaluate.py -r ./checkpoints/h36m_gt.pth -i h36m -o [output_folder]

# 包括平移
python evaluate.py -r ./checkpoints/h36m_gt_t.pth -i h36m -o [output_folder]

结果将被放置在*./output*中的一个子文件夹中，文件夹名称由模型参数组合而成，有助于理解训练细节。将生成两种结果：error.txt和BVH文件。

在error.txt中，您可以找到与我们展示相似的性能——使用地面真值检测时约为53mm（当通道参数为2048时为52mm，但这会浪费模型大小和训练时间）。此外，还会随机存储2个bvh文件，您可以使用Blender查看可视化效果。

平移效果在行走或遛狗等动作中会非常明显。

（注意：我们使用的训练数据处于相机空间，因此在Blender的世界空间中观察预测姿态时，方向可能会显得奇怪。您需要在Blender中旋转用户视图或骨骼对象。）

在真实视频上的测试

一旦您有了h36m数据、2D检测数据和预训练模型，就可以运行脚本在真实视频上评估我们的模型。目前我们提供了Openpose与我们的网络之间的接口，对CPN和Detectron的支持也将很快推出。

运行Openpose后，所有的2D姿态文件将被存储在一个文件夹中，然后您可以将该文件夹路径作为输入参数运行Python脚本，结果也将以bvh格式保存在*./output*的一个子文件夹中。

目前我们对2D的输入和输出都未进行任何平滑处理，您可以自行进行平滑处理以获得如视频中所示的更好效果，但在这里我们希望展示原始的生成结果。

python evaluate.py -r ./checkpoints/wild_gt_tcc.pth -i [openpose_results_folder]

从头开始训练

我们提供了重新训练模型的指导说明。

训练涉及三种参数：运行时参数、网络定义和训练参数，详细信息可在train.py中找到。我们还提供了一个默认的网络定义和训练器配置，可在*./config_zoo/default.json中找到。在开始训练之前，您需要将此文件中的save_dir*更改为合适的路径。

如果您想复现我们预训练模型的结果，请运行以下命令：

# h36m评估，不考虑平移和接触
python train.py -n h36m --kernel_size 5,3,1 --stride 1,1,1 --dilation 1,1,1 --channel 1024 

# h36m，考虑平移
python train.py -n h36m --kernel_size 5,3,1 --stride 1,1,1 --dilation 1,1,1 --channel 1024 --translation 1

# 真实视频
python train.py -n wild -d 1 --kernel_size 5,3,1 --stride 3,1,1 --dilation 1,1,1 --channel 1024 --confidence 1 --translation 1 --contact 1 --loss_term 1101

训练可视化：

我们使用 tensorboardX 来可视化训练过程中的损失。在训练过程中，您可以进入 checkpoint 文件夹并运行以下命令：

tensorboard --logdir=./

输出：
TensorBoard 1.15.0 at http://localhost:6006/ (按 CTRL+C 退出)

然后您可以在本机访问该链接 http://localhost:6006/ 查看可视化结果。

训练技巧：

为了获得不同的模型效果，您可以尝试以下几点：

• 我们并未使用专门的足部接触数据集进行训练，而是通过 H36M 数据集中平均的足高和速度来提取接触信息。在该 接触检测函数 中，有一个魔术数字 20，您可以自行调整。如果这个数值越大，则会有更多帧被判定为“接触”状态。这会增强对地面的吸引力，因此当视频中包含大量足部动作时，结果可能会变差。
• 我们是在帧数不固定的片段上训练模型的，因此您可以将测试视频的所有帧直接输入网络，而无需进行裁剪。

局限性

• 摄像机运动：模型是在包含 4 个摄像头的 H36M 数据集上训练的，网络预测的是相机空间中的姿态。原因在于，如果我们在世界坐标系中预测姿态：不同的 3D 姿态与不同的摄像机视角组合可能产生相同的 2D 投影。因此，给定相同的 2D 姿态时，预测出的 3D 姿态可能存在歧义。当摄像机移动时，也会出现类似的情况——有时看起来合理，但实际上并不正确。
• 对 2D 检测的依赖：输入是来自其他实现的 2D 检测结果，尽管我们使用置信度图作为适配器，但当 2D 检测失败时，结果仍会受到影响。这种情况通常出现在快速运动或遮挡场景中。
• 动画效果：如论文所述，损失函数并未直接作用于旋转部分，因此即使从位置上看效果不错，旋转的绝对值也可能显得异常。这一问题将在后续版本中得到解决。

致谢

正向运动学层的代码源自 tensorflow 上的 cvpr2018nkn，我们在自己的代码中重新实现了 PyTorch 版本。

引用

如果您在研究中使用了本代码，请引用我们的论文：

@article{shi2020motionet,
  title={MotioNet: 从单目视频中基于骨骼一致性重建 3D 人体运动},
  author={Shi, Mingyi and Aberman, Kfir and Aristidou, Andreas and Komura, Taku and Lischinski, Dani and Cohen-Or, Daniel and Chen, Baoquan},
  journal={arXiv 预印本 arXiv:2006.12075},
  year={2020}
}

MotioNet 快速上手指南

MotioNet 是一个基于运动学深度神经网络的开源项目，能够从单目视频中重建 3D 人体骨骼动作。其直接输出为 BVH 文件，无需额外后处理即可用于动画制作。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux
• 编程语言: Python 3
• 硬件加速: NVIDIA GPU + CUDA + CuDNN
• 2D 姿态检测工具: 用于处理野生视频（当前支持 OpenPose）
• 深度学习框架: PyTorch（请根据您的 CUDA 版本选择合适的版本安装）

安装步骤

1. 安装 PyTorch 访问 PyTorch 官网 根据您的环境获取安装命令并执行。

2. 安装其他依赖 克隆项目代码后，进入目录运行以下命令安装所需包：

   pip install -r requirements.txt
   

   提示：国内用户建议使用清华或阿里镜像源加速安装： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 下载预训练模型与数据

   • 预训练模型: 从 Google Drive 下载，并将 .pth 文件放入 ./checkpoints 文件夹。
   • 演示数据: 从 Google Drive 下载示例数据，放入 ./data 文件夹。

基本使用

以下是最简单的演示运行流程，将使用预训练模型对示例数据进行 3D 动作重建。

1. 创建输出目录

   mkdir output
   

2. 运行评估脚本 使用提供的预训练模型 (wild_gt_tcc.pth) 和演示数据 (demo) 进行推理：

   python evaluate.py -r ./checkpoints/wild_gt_tcc.pth -i demo
   

3. 查看结果 生成的 3D 动作文件 (.bvh) 将保存在 ./output 目录下。您可以使用 Blender 等软件打开这些文件查看重建效果。

注意：演示数据中的 2D 关键点已预先通过 OpenPose 提取。如果您想处理自己的视频，请先使用 OpenPose 提取 2D 姿态数据，然后将包含结果的文件夹路径作为 -i 参数传入上述命令。