ROMP	BEV	TRACE
单目、单阶段、多人体三维姿态回归（ICCV21）	让人各就其位：基于单目图像的深度感知三维人体姿态回归（CVPR2022）	TRACE：在3D环境中利用动态相机进行虚拟人物的5D时空姿态回归（CVPR2023）
ROMP是一种单阶段方法，可在实时条件下实现单目多人体三维网格重建。	BEV进一步探索多人之间的深度关系，并支持所有年龄段的人群。	TRACE进一步追踪特定个体，并在动态摄像机下恢复其全局三维轨迹。
[论文] [视频]	[项目页面] [论文] [视频]	[项目页面] [论文] [视频]
	[RelativeHuman数据集]	[DynaCam数据集]

我们提供跨平台API（通过pip安装），可在Linux / Windows / Mac上运行ROMP和BEV。

目录

• 目录
• 新闻
• 快速入门
  • 安装
  • 在Google Colab上试用
• 使用方法
  • 请参考此指南进行推理与导出（fbx/glb/bvh）。
  • 训练
  • 评估
  • Docker使用
  • 错误报告
• 引用
• 致谢

新闻

2023年6月17日：TRACE代码发布。请参考此说明进行推理。
2022年6月21日：BEV的训练与评估代码已发布。请更新模型数据。
2022年5月16日：simple-romp v1.0发布，支持跟踪、Python调用、bvh导出等功能。
2022年4月14日：BEV的推理代码已在simple-romp v0.1.0中发布。
2022年4月10日：新增ONNX支持，提升了CPU/GPU上的推理速度。
历史记录

快速入门

请使用simple-romp进行推理，其余代码仅用于训练。

使用方法

ROMP与BEV

对于推理与导出（fbx/glb/bvh），请参考此指南。

对于训练，请参考installation.md完成完整安装，dataset.md准备数据，train.md进行训练。

对于基准测试的评估，请参考romp_evaluation和bev_evaluation。

TRACE

对于推理，请参考此说明。

对于基准测试的评估，请参考trace_evaluation。

对于训练，请参考trace_train。

扩展功能

[Blender插件]：Yan Chuanhang创建了一个Blender插件，能够根据图像、视频或网络摄像头输入，利用ROMP驱动Blender中的3D角色。

[VMC协议]：Vivien Richter实现了VMC（虚拟动作捕捉）协议，使不同的动作捕捉解决方案能够与ROMP兼容。

Docker使用

请参考docker.md

错误报告

欢迎提交关于错误的问题。

贡献者

本仓库由Yu Sun维护。

ROMP还受益于众多开发者的贡献，包括：

• Peng Cheng：关于Center map训练的建设性讨论。
• Marco Musy：协助SMPL纹理可视化。
• Gavin Gray：增加了优雅的上下文管理器支持，方便在笔记本中运行代码。
• VLT Media和Vivien Richter：增加了对Windows的支持以及batch_videos.py脚本。
• Chuanhang Yan：开发了用于驱动Blender中角色的插件。
• Tian Jin：协助简化smpl并实现快速渲染（realrender）。
• ZhengdiYu：对优化实现细节提供了有益的讨论。
• Ali Yaghoubian：为simple-romp添加了Docker文件。

引用

@InProceedings{TRACE,
    author = {Sun, Yu and Bao, Qian and Liu, Wu and Mei, Tao and Black, Michael J.},
    title = {{TRACE: 5D Temporal Regression of Avatars with Dynamic Cameras in 3D Environments}}, 
    booktitle = {CVPR}, 
    year = {2023}}
@InProceedings{BEV,
    author = {Sun, Yu and Liu, Wu and Bao, Qian and Fu, Yili and Mei, Tao and Black, Michael J},
    title = {{Putting People in their Place: Monocular Regression of 3D People in Depth}},
    booktitle = {CVPR},
    year = {2022}}
@InProceedings{ROMP,
    author = {Sun, Yu and Bao, Qian and Liu, Wu and Fu, Yili and Michael J., Black and Mei, Tao},
    title = {{Monocular, One-stage, Regression of Multiple 3D People}},
    booktitle = {ICCV},
    year = {2021}}

致谢

本研究得到了国家重点研发计划的支持，项目编号为2020AAA0103800。
MJB披露：https://files.is.tue.mpg.de/black/CoI_CVPR_2023.txt

ROMP 快速上手指南

ROMP 是一个用于单目多人体 3D 网格重建的实时开源工具库，包含 ROMP（基础实时重建）、BEV（深度关系与全年龄段支持）和 TRACE（动态相机下的全局轨迹追踪）三个核心模块。本指南主要介绍基于 simple-romp 的快速安装与推理使用。

环境准备

• 操作系统：Linux / Windows / Mac
• Python 版本：建议 Python 3.7+
• 前置依赖：
  • PyTorch (建议根据 CUDA 版本安装对应版本)
  • pip 包管理器

安装步骤

推荐使用 pip 直接安装跨平台 API，这是最简便的使用方式。

1. 安装 simple-romp

   pip install simple-romp
   

2. 下载模型数据

   首次使用前，需要下载预训练模型。代码运行时通常会自动下载，若需手动下载或更新模型（特别是 BEV 模型），请参考官方 releases 页面或使用以下命令确保模型就绪：

   # 如果自动下载失败，可手动从以下链接下载并解压到指定目录
   # https://github.com/Arthur151/ROMP/releases/download/v1.1/model_data.zip
   

   注意：对于 TRACE 模块，请确保更新至最新版本以获取相关代码支持。

基本使用

simple-romp 提供了统一的接口进行推理和结果导出（支持 fbx/glb/bvh 格式）。

1. 命令行推理 (CLI)

最简单的使用方式是直接在终端运行命令。假设你有一张输入图片 input.jpg：

# 基本推理示例
romp --image_path=input.jpg --output_dir=./results

# 处理视频文件
romp --video_path=input.mp4 --output_dir=./results

# 启用 BEV 模型（更好的深度估计）
romp --image_path=input.jpg --model_type=bev --output_dir=./results

2. Python API 调用

在 Python 脚本中集成 ROMP：

from simple_romp.inference import Inference

# 初始化推理器
# model_type 可选: 'romp', 'bev', 'trace'
inference = Inference(model_type='romp')

# 对图像进行推理
results = inference.process_image('input.jpg')

# 对视频进行推理
# results = inference.process_video('input.mp4')

# 打印结果关键点或网格信息
print(results)

3. 高级功能：导出动画格式

若需将结果导出为 Blender 或其他 3D 软件可用的格式（fbx/glb/bvh）：

# 导出为 FBX 格式
romp --image_path=input.jpg --output_dir=./results --save_mesh --mesh_format=fbx

4. TRACE 模块特别说明

如果你需要使用 TRACE 进行动态相机下的全局轨迹追踪，请参考其专用文档进行配置，因为涉及相机参数和时序处理：

# 具体命令需参考 simple_romp/trace2/README.md
# 通常涉及额外的相机标定参数输入

---

更多资源：

• Blender 插件：CDBA 可直接利用 ROMP 驱动 Blender 中的 3D 角色。
• 详细文档：训练、评估及 Docker 使用方法请参阅仓库中的 docs/ 目录。