Motion-X：大规模3D富有表现力的全身人体运动数据集

本仓库包含以下论文的实现：

Motion-X++：大规模多模态3D全身人体运动数据集
张宇宏^😎12, 林静^😎12, 曾爱玲^😎2, 吴冠霖^😎23, 陆顺林^😎24, 傅宇荣², 蔡元昊³, 张瑞茂⁴, 王浩谦^🤗1, 张磊^🤗2
😎同等贡献。 ^🤗通讯作者。

¹清华大学 ²国际数字经济研究院 ³约翰斯·霍普金斯大学 ⁴香港中文大学深圳分校

Motion-X：大规模3D富有表现力的全身人体运动数据集
林静^😎12, 曾爱玲^😎🤗1, 陆顺林^😎13, 蔡元昊², 张瑞茂³, 王浩谦², 张磊^1
😎同等贡献。 ^🤗通讯作者。

¹国际数字经济研究院 ²清华大学 ³香港中文大学深圳分校

🥳 新闻

• [2025.03.01] 我们对Motion-X++的数据进行了重新整理和修复，并在Huggingface上发布了新数据，包括不同模态之间的一致性问题，以及直接添加了TOMATO格式的生成运动。
• [2024.09.01] 我们发现Motion-X++的新标注存在一些问题，目前正在解决中。我们已通过之前发送的链接添加了原始的Motion-X版本。
• [2024.4.25] 我们正在开发Motion-X的新版本，名为Motion-X++。其更新内容如下：i) 更多的配对模态，包括视频、全身2D关键点、局部和全局的全身SMPL-X模型、文本以及音频（如果视频中包含）；ii) 更高的质量，例如针对时间一致性的视频片段进行手动场景检测、更稳定的运动标注，以及通过GPT4V改进的语义视频字幕和通过Vicuna提供的全身姿态描述。我们已经发布了IDEA400子集，并将在同一目录下发布其他子集。有关数据预处理和加载的详细说明，请参阅此文档。
• [2024.2.6] 我们发布了自行录制的IDEA400视频及其对应的SMPL-X模型，以支持(a)全身局部或全局姿态估计，以及(2)基于运动条件的视频生成。请查收邮件。
• [2024.1.9] 我们更新了每个全身姿态的帧级文本描述。请从这里下载，并参考此使用指南这里。
• [2023.12.22] 我们更新了由Vicuna 1.5增强的序列化运动文本描述（text_v1.1），以提升文本的标准化和多样性。请通过此链接下载，并将其替换为原始文件motionx_seq_text.zip。非常感谢Linghao Chen对文本标签的润色！
• [2023.11.15] 我们在DDS平台上发布了所有子集的渲染SMPL-X可视化效果，方便快速浏览内容。
• [2023.11.15] 我们发布了HumanTOMATO运动表示法（tomato表示法）及拆分文件。
• [2023.10.26] 我们发布了Motion-X-V1，其中提供了与SMPL-X序列、面部表情动作相对应的语义文本标签，以及用于补充无面部表情动作的相应文本。请查收您的邮件！
• [2023.10.26] 我们发布了高质量的单目数据集IDEA400，作为Motion-X的一个子集，其中包含了丰富的表情和手势。更多详情请观看此视频。

📜 待办事项

• 发布全身姿态描述。
• 收集更多运动数据集（例如音乐到舞蹈、音频到手势的运动）。
• 在获得视频所有者同意后发布视频。
• 如果需要，发布音频和音乐。

敬请关注！

🥳 精选运动样本

📊 目录

1. 总体介绍
2. 数据集下载
3. 实验
4. 引用

📜 总体描述

我们提出了一套高精度且高效的全身动作及其对应文本标签的标注流水线。基于此，我们从海量在线视频和八个现有的动作数据集中构建了一个大规模的3D富有表现力的全身人体动作数据集。我们将这些数据统一为相同的格式，提供全身动作（即SMPL-X）及相应的文本标签。

Motion-X中的标签：

• 动作标签：包括1560万个全身姿态和8.11万段动作片段的标注，以SMPL-X参数表示。所有动作均已统一为30 fps。
• 文本标签：(1) 1560万帧级别的全身姿态描述，以及(2) 8.11万序列级别的语义标签。
• 其他模态：RGB视频、音频和音乐信息。

支持的任务：

• 文本驱动的3D全身人体动作生成
• 3D全身人体网格恢复
• 其他：动作预训练、用于动作理解和生成的多模态预训练模型等。

📥 数据集下载

我们以与原始数据来源一致的方式发布Motion-X。以下是说明：

1. 申请授权

请填写此表单，以申请使用 Motion-X 进行非商业用途的授权。提交后您将收到一封邮件，请根据提供的下载链接下载动作和文本标签。姿态文本可从这里下载。请从下载的 motionx_pose_text.zip 文件中解压出 body_texts 文件夹和 hand_texts 文件夹。（注意：我们已于2023年10月29日更新了 motionx_seq_face_text.zip 和 motionx_face_motion.zip 的百度网盘链接。因此，如果您在10月29日之前通过百度网盘下载了这些压缩包，请重新填写此表单并再次下载。）

请按照以下目录结构整理文件：

../datasets  

├──  motion_data
  ├── smplx_322
    ├── idea400
    ├── ...
├──  face_motion_data
  ├── smplx_322
    ├── humanml
    ├── EgoBody
    ├── GRAB
├── texts
  ├──  semantic_labels
    ├── idea400
    ├── ...
  ├──  face_texts
    ├── humanml
    ├── EgoBody
    ├── GRAB
    ├── idea400
    ├── ...
  ├──  body_texts
    ├── humanml
    ├── EgoBody
    ├── GRAB
    ├── idea400
    ├── ...
  ├──  hand_texts
    ├── humanml
    ├── EgoBody
    ├── GRAB
    ├── idea400
    ├── ...

2. 非动捕子集

关于非动捕子集，请参阅此链接获取详细说明，特别注意：

• 我们不提供原始RGB视频，仅提供由我们团队标注的动作和文本标签。
• 出于许可和质量考虑，我们未包含 NTU-RGBD120 数据集。取而代之的是 IDEA400 数据集，其中包含了400个日常动作（覆盖 NTU-RGBD120）。有关详细介绍，请观看此视频。

3. 动捕子集

对于动捕数据集（即 AMASS、GRAB、EgoBody），请参阅此链接获取详细说明，特别注意：

• 我们不提供原始动作数据。
• 我们仅提供由我们团队标注的文本标签和面部表情。

AMASS 和 GRAB 数据集由马克斯·普朗克智能系统研究所根据定制许可协议发布，供学术研究使用。要下载 AMASS 和 GRAB 数据集，您必须在相应数据集网站上注册用户，并同意各许可协议的条款与条件：

https://amass.is.tue.mpg.de/license.html

https://grab.is.tuebingen.mpg.de/license.html

最终，数据集文件夹应按以下目录结构整理：

../datasets  

├──  motion_data
  ├── smplx_322
    ├── humanml
    ├── EgoBody
    ├── GRAB
    ├── idea400
    ├── ...
├── texts
  ├──  semantic_labels
    ├── idea400
    ├── ...
  ├──  face_texts
    ├── humanml
    ├── EgoBody
    ├── GRAB
    ├── idea400
    ├── ...
  ├──  body_texts
    ├── humanml
    ├── EgoBody
    ├── GRAB
    ├── idea400
    ├── ...
  ├──  hand_texts
    ├── humanml
    ├── EgoBody
    ├── GRAB
    ├── idea400
    ├── ...

🚀 数据加载

• 要加载动作和文本标签，您可以简单地执行以下操作：

  import numpy as np
  import torch
  
  # 读取动作并保存为 smplx 表示
  motion = np.load('motion_data/smplx_322/000001.npy')
  motion = torch.tensor(motion).float()
  motion_parms = {
              'root_orient': motion[:, :3],  # 控制全局根方向
              'pose_body': motion[:, 3:3+63],  # 控制身体姿态
              'pose_hand': motion[:, 66:66+90],  # 控制手指关节
              'pose_jaw': motion[:, 66+90:66+93],  # 控制下颌姿态
              'face_expr': motion[:, 159:159+50],  # 控制面部表情
              'face_shape': motion[:, 209:209+100],  # 控制脸型
              'trans': motion[:, 309:309+3],  # 控制全身位置
              'betas': motion[:, 312:],  # 控制体型。体型是静态的
          }
  
  # 读取文本标签
  semantic_text = np.loadtxt('semantic_labels/000001.npy')     # 语义标签 
  

💻 可视化

我们支持从相机空间和世界空间进行可视化，请参考此指南。

💻 实验

动作标注流程验证

我们的标注流程显著优于现有的 SOTA 2D 全身模型和网格重建方法。

文本驱动的全身人体运动生成基准测试

与 HumanML3D 在全身人体运动生成任务上的对比

对3D全身人体网格重建的影响

🤝 引用

如果您认为本仓库对您的工作有所帮助，请考虑按以下方式引用：

@article{zhang2025motion,
  title={Motion-X++: 大规模多模态3D全身人体运动数据集},
  author={张宇宏、林静、曾爱玲、吴冠霖、陆顺林、傅雨蓉、蔡元浩、张瑞茂、王浩谦、张磊},
  journal={arXiv 预印本 arXiv:2501.05098},
  year={2025}
}
@article{lin2023motionx,
  title={Motion-X: 大规模3D富有表现力的全身人体运动数据集},
  author={林静、曾爱玲、陆顺林、蔡元浩、张瑞茂、王浩谦、张磊},
  journal={神经信息处理系统进展},
  year={2023}
}

Motion-X 快速上手指南

Motion-X 是一个大规模、高表达力的 3D 全身人体运动数据集，包含 SMPL-X 参数及对应的文本标签，适用于文本驱动运动生成、三维人体重建等任务。

1. 环境准备

系统要求

• 操作系统: Linux (推荐 Ubuntu 18.04/20.04) 或 macOS
• Python: 3.8 或更高版本
• GPU: 可选（仅用于可视化或模型训练，数据加载无需 GPU）

前置依赖

确保已安装以下基础库：

pip install numpy pandas tqdm pyyaml

若需处理 SMPL-X 模型或进行可视化，建议安装：

pip install smplx chumpy trimesh

提示：国内用户可使用清华源加速安装：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple numpy pandas tqdm pyyaml smplx

2. 安装与数据获取

Motion-X 主要提供数据集而非可执行代码库，核心步骤为下载数据并配置读取脚本。

步骤一：申请与下载数据

由于版权原因，部分子集（如 IDEA400, AIST++, HAA500 等）需填写申请表获取下载链接。

1. 访问 IDEA400 数据申请表 提交申请。
2. 查收邮件获取下载链接。
3. 最新推荐：直接通过 Hugging Face 下载整理后的 Motion-X++ 数据（包含多模态对齐及 TOMATO 格式）：

   # 需先安装 huggingface-cli
   pip install -i https://pypi.tuna.tsinghua.edu.cn/simple huggingface_hub
   
   # 下载数据集 (示例命令，具体 repo ID 以官方最新公布为准)
   huggingface-cli download --repo-type dataset YuhongZhang/Motion-Xplusplus --local-dir ./motionx_data
   

步骤二：克隆代码库

获取数据处理和加载脚本：

git clone https://github.com/IDEA-Research/Motion-X.git
cd Motion-X

步骤三：数据预处理（如需）

如果下载的是原始视频或未处理格式，请参考 non-mocap-dataset-process/Load_motion_data.md 文档进行预处理。若已下载 Hugging Face 上的 processed 版本，可跳过此步。

3. 基本使用

以下示例展示如何加载 Motion-X 中的 SMPL-X 运动数据和文本标签。

加载运动数据 (Python)

假设数据已解压至 ./data 目录，结构中包含 .npz 或 .pkl 格式的运动文件。

import numpy as np
import os

# 设置数据路径
data_path = "./data/idea400/smplx_params" # 示例路径
file_name = "000001.npz" # 示例文件名

# 加载 SMPL-X 参数
data = np.load(os.path.join(data_path, file_name))

# 提取关键参数
global_orient = data['global_orient']  # 全局朝向
body_pose = data['body_pose']          # 身体姿态
left_hand_pose = data['left_hand_pose']# 左手姿态
right_hand_pose = data['right_hand_pose']# 右手姿态
jaw_pose = data['jaw_pose']            # 下颌姿态
expression = data['expression']        # 表情系数

print(f"加载成功：帧数 {global_orient.shape[0]}, 参数维度 {global_orient.shape[1]}")

加载文本标签

Motion-X 提供帧级（frame-level）和序列级（sequence-level）文本描述。

import json

# 加载序列级文本标签示例
text_label_path = "./data/idea400/text_labels/sequence_text.json"

with open(text_label_path, 'r', encoding='utf-8') as f:
    text_data = json.load(f)

# 获取特定 clip 的描述
clip_id = "000001"
if clip_id in text_data:
    description = text_data[clip_id]
    print(f"Clip {clip_id} 描述：{description}")

可视化 (可选)

若需查看渲染效果，可使用官方提供的 DDS 平台 在线浏览，或使用本地 smplx 库结合 trimesh 进行网格重建与渲染。

import smplx
import torch

# 初始化 SMPL-X 模型 (需下载 model 文件)
smplx_layer = smplx.create('./smplx_models', model_type='smplx', gender='neutral')

# 将 numpy 数据转为 tensor 并输入模型 (伪代码示意)
# output = smplx_layer(global_orient=torch.tensor(global_orient), ...)
# mesh = output.vertices

注意：具体数据字段名称可能因数据集版本（Motion-X v1 或 Motion-X++）略有不同，请以实际下载的 README 或数据字典为准。