[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-IDEA-Research--Motion-X":3,"tool-IDEA-Research--Motion-X":65},[4,23,32,40,49,57],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":22},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",85092,2,"2026-04-10T11:13:16",[13,14,15,16,17,18,19,20,21],"图像","数据工具","视频","插件","Agent","其他","语言模型","开发框架","音频","ready",{"id":24,"name":25,"github_repo":26,"description_zh":27,"stars":28,"difficulty_score":29,"last_commit_at":30,"category_tags":31,"status":22},5784,"funNLP","fighting41love\u002FfunNLP","funNLP 是一个专为中文自然语言处理（NLP）打造的超级资源库，被誉为\"NLP 民工的乐园”。它并非单一的软件工具，而是一个汇集了海量开源项目、数据集、预训练模型和实用代码的综合性平台。\n\n面对中文 NLP 领域资源分散、入门门槛高以及特定场景数据匮乏的痛点，funNLP 提供了“一站式”解决方案。这里不仅涵盖了分词、命名实体识别、情感分析、文本摘要等基础任务的标准工具，还独特地收录了丰富的垂直领域资源，如法律、医疗、金融行业的专用词库与数据集，甚至包含古诗词生成、歌词创作等趣味应用。其核心亮点在于极高的全面性与实用性，从基础的字典词典到前沿的 BERT、GPT-2 模型代码，再到高质量的标注数据和竞赛方案，应有尽有。\n\n无论是刚刚踏入 NLP 领域的学生、需要快速验证想法的算法工程师，还是从事人工智能研究的学者，都能在这里找到急需的“武器弹药”。对于开发者而言，它能大幅减少寻找数据和复现模型的时间；对于研究者，它提供了丰富的基准测试资源和前沿技术参考。funNLP 以开放共享的精神，极大地降低了中文自然语言处理的开发与研究成本，是中文 AI 社区不可或缺的宝藏仓库。",79857,1,"2026-04-08T20:11:31",[19,14,18],{"id":33,"name":34,"github_repo":35,"description_zh":36,"stars":37,"difficulty_score":29,"last_commit_at":38,"category_tags":39,"status":22},5773,"cs-video-courses","Developer-Y\u002Fcs-video-courses","cs-video-courses 是一个精心整理的计算机科学视频课程清单，旨在为自学者提供系统化的学习路径。它汇集了全球知名高校（如加州大学伯克利分校、新南威尔士大学等）的完整课程录像，涵盖从编程基础、数据结构与算法，到操作系统、分布式系统、数据库等核心领域，并深入延伸至人工智能、机器学习、量子计算及区块链等前沿方向。\n\n面对网络上零散且质量参差不齐的教学资源，cs-video-courses 解决了学习者难以找到成体系、高难度大学级别课程的痛点。该项目严格筛选内容，仅收录真正的大学层级课程，排除了碎片化的简短教程或商业广告，确保用户能接触到严谨的学术内容。\n\n这份清单特别适合希望夯实计算机基础的开发者、需要补充特定领域知识的研究人员，以及渴望像在校生一样系统学习计算机科学的自学者。其独特的技术亮点在于分类极其详尽，不仅包含传统的软件工程与网络安全，还细分了生成式 AI、大语言模型、计算生物学等新兴学科，并直接链接至官方视频播放列表，让用户能一站式获取高质量的教育资源，免费享受世界顶尖大学的课堂体验。",79792,"2026-04-08T22:03:59",[18,13,14,20],{"id":41,"name":42,"github_repo":43,"description_zh":44,"stars":45,"difficulty_score":46,"last_commit_at":47,"category_tags":48,"status":22},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,3,"2026-04-04T04:44:48",[17,13,20,19,18],{"id":50,"name":51,"github_repo":52,"description_zh":53,"stars":54,"difficulty_score":46,"last_commit_at":55,"category_tags":56,"status":22},519,"PaddleOCR","PaddlePaddle\u002FPaddleOCR","PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来，转换成计算机可读取的结构化数据，让机器真正“看懂”图文内容。\n\n面对海量纸质或电子文档，PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域，它扮演着连接图像与大型语言模型（LLM）的桥梁角色，能将视觉信息直接转化为文本输入，助力智能问答、文档分析等应用场景落地。\n\nPaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显：不仅支持全球 100 多种语言的识别，还能在 Windows、Linux、macOS 等多个系统上运行，并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目，PaddleOCR 既能满足快速集成的需求，也能支撑前沿的视觉语言研究，是处理文字识别任务的理想选择。",75585,"2026-04-14T22:04:17",[19,13,20,18],{"id":58,"name":59,"github_repo":60,"description_zh":61,"stars":62,"difficulty_score":29,"last_commit_at":63,"category_tags":64,"status":22},3215,"awesome-machine-learning","josephmisiti\u002Fawesome-machine-learning","awesome-machine-learning 是一份精心整理的机器学习资源清单，汇集了全球优秀的机器学习框架、库和软件工具。面对机器学习领域技术迭代快、资源分散且难以甄选的痛点，这份清单按编程语言（如 Python、C++、Go 等）和应用场景（如计算机视觉、自然语言处理、深度学习等）进行了系统化分类，帮助使用者快速定位高质量项目。\n\n它特别适合开发者、数据科学家及研究人员使用。无论是初学者寻找入门库，还是资深工程师对比不同语言的技术选型，都能从中获得极具价值的参考。此外，清单还延伸提供了免费书籍、在线课程、行业会议、技术博客及线下聚会等丰富资源，构建了从学习到实践的全链路支持体系。\n\n其独特亮点在于严格的维护标准：明确标记已停止维护或长期未更新的项目，确保推荐内容的时效性与可靠性。作为机器学习领域的“导航图”，awesome-machine-learning 以开源协作的方式持续更新，旨在降低技术探索门槛，让每一位从业者都能高效地站在巨人的肩膀上创新。",72149,"2026-04-03T21:50:24",[20,18],{"id":66,"github_repo":67,"name":68,"description_en":69,"description_zh":70,"ai_summary_zh":70,"readme_en":71,"readme_zh":72,"quickstart_zh":73,"use_case_zh":74,"hero_image_url":75,"owner_login":76,"owner_name":76,"owner_avatar_url":77,"owner_bio":78,"owner_company":79,"owner_location":79,"owner_email":79,"owner_twitter":79,"owner_website":80,"owner_url":81,"languages":82,"stars":87,"forks":88,"last_commit_at":89,"license":90,"difficulty_score":91,"env_os":92,"env_gpu":93,"env_ram":93,"env_deps":94,"category_tags":97,"github_topics":79,"view_count":10,"oss_zip_url":79,"oss_zip_packed_at":79,"status":22,"created_at":98,"updated_at":99,"faqs":100,"releases":136},7619,"IDEA-Research\u002FMotion-X","Motion-X","[NeurIPS 2023] Official implementation of the paper \"Motion-X: A Large-scale 3D Expressive Whole-body Human Motion Dataset\"","Motion-X 是一个大规模、高表现力的 3D 全身人体运动数据集，旨在为数字人动画、动作生成及多模态研究提供高质量数据基础。它有效解决了现有数据集中普遍存在的动作僵硬、缺乏手部与面部细节表达，以及视频、文本、音频等多模态信息对齐困难的问题。\n\n该数据集特别适合人工智能研究人员、计算机视觉开发者以及从事虚拟角色制作的设计师使用。无论是训练更自然的动作生成模型，还是开发具备精细肢体语言的虚拟主播，Motion-X 都能提供强有力的支持。其最新升级版 Motion-X++ 进一步扩展了数据维度，不仅增加了视频、2D 关键点、SMPL-X 参数、文本描述及音频等多种配对模态，还引入了人工场景检测以确保时间一致性，并利用大模型优化了语义标注质量。此外，项目直接提供便于生成的 TOMATO 格式数据，大幅降低了数据处理门槛。作为 NeurIPS 2023 的官方成果，Motion-X 凭借丰富的数据规模和精细的标注体系，正成为推动 3D 人体运动理解与生成领域发展的重要基础设施。","# **Motion-X: A Large-scale 3D Expressive Whole-body Human Motion Dataset**\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_Motion-X_readme_e00ee533398a.jpg)\n\n\u003Cp align=\"center\">\n  \u003Ca href='https:\u002F\u002Farxiv.org\u002Fabs\u002F2307.00818'>\n    \u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FArxiv-Motion--X-A42C25?style=flat&logo=arXiv&logoColor=A42C25'>\n  \u003C\u002Fa>\n  \u003Ca href='https:\u002F\u002Farxiv.org\u002Fabs\u002F2501.05098'>\n    \u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FArxiv-Motion--X++-A42C25?style=flat&logo=arXiv&logoColor=A42C25'>\n  \u003C\u002Fa>\n  \u003Ca href='https:\u002F\u002Farxiv.org\u002Fpdf\u002F2307.00818pdf'>\n    \u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FPaper-PDF-yellow?style=flat&logo=arXiv&logoColor=yellow'>\n  \u003C\u002Fa>\n  \u003Ca href='https:\u002F\u002Fmotion-x-dataset.github.io'>\n  \u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FProject-Page-pink?style=flat&logo=Google%20chrome&logoColor=pink'>\u003C\u002Fa>\n  \u003Ca href='https:\u002F\u002Fyoutu.be\u002F0a0ZYJgzdWE'>\n  \u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FYouTube-Video-EA3323?style=flat&logo=youtube&logoColor=EA3323'>\u003C\u002Fa>\n  \u003Ca href='https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FMotion-X'>\n    \u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FGitHub-Code-black?style=flat&logo=github&logoColor=white'>\u003C\u002Fa>\n  \u003Ca href='LICENSE'>\n    \u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FLicense-IDEA-blue.svg'>\n  \u003C\u002Fa>\n  \u003Ca href=\"\" target='_blank'>\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_Motion-X_readme_4bab36986d9b.png\">\n  \u003C\u002Fa>\n\u003C\u002Fp>\n\nThis repository contains the implementation of the following papers:\n> Motion-X++: A Large-Scale Multimodal 3D Whole-body Human Motion Dataset \u003Cbr>[Yuhong Zhang](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=oV7sxpYAAAAJ&hl=zh-CN)\u003Csup>😎12\u003C\u002Fsup>, [Jing Lin](https:\u002F\u002Fjinglin7.github.io\u002F)\u003Csup>😎12\u003C\u002Fsup>, [Ailing Zeng](https:\u002F\u002Failingzeng.site\u002F)\u003Csup>😎2\u003C\u002Fsup>, [Guanlin Wu](https:\u002F\u002Fguanlinwu123.github.io)\u003Csup>😎23\u003C\u002Fsup>, [Shunlin Lu](https:\u002F\u002Fshunlinlu.github.io\u002F)\u003Csup>😎24\u003C\u002Fsup>, Yurong Fu\u003Csup>2\u003C\u002Fsup>, [Yuanhao Cai](https:\u002F\u002Fgithub.com\u002Fcaiyuanhao1998)\u003Csup>3\u003C\u002Fsup>, [Ruimao Zhang](http:\u002F\u002Fwww.zhangruimao.site\u002F)\u003Csup>4\u003C\u002Fsup>, [Haoqian Wang](https:\u002F\u002Fwww.sigs.tsinghua.edu.cn\u002Fwhq_en\u002Fmain.htm)\u003Csup>🤗1\u003C\u002Fsup>, [Lei Zhang](https:\u002F\u002Fwww.leizhang.org\u002F)\u003Csup>🤗2\u003C\u002Fsup>\u003Cbr>\n> \u003Csup>😎\u003C\u002Fsup>Equal contribution. \u003Csup>🤗\u003C\u002Fsup>Corresponing author.\u003Csup>\n> \n>\u003Csup>1\u003C\u002Fsup>Tsinghua University \u003Csup>2\u003C\u002Fsup>International Digital Economy Academy \u003Csup>3\u003C\u002Fsup>Johns Hopkins University \u003Csup>4\u003C\u002Fsup>The Chinese University of Hong Kong, Shenzhen\n\n\n> Motion-X: A Large-scale 3D Expressive Whole-body Human Motion Dataset \u003Cbr>[Jing Lin](https:\u002F\u002Fjinglin7.github.io\u002F)\u003Csup>😎12\u003C\u002Fsup>, [Ailing Zeng](https:\u002F\u002Failingzeng.site\u002F)\u003Csup>😎🤗1\u003C\u002Fsup>, [Shunlin Lu](https:\u002F\u002Fshunlinlu.github.io\u002F)\u003Csup>😎13\u003C\u002Fsup>, [Yuanhao Cai](https:\u002F\u002Fgithub.com\u002Fcaiyuanhao1998)\u003Csup>2\u003C\u002Fsup>, [Ruimao Zhang](http:\u002F\u002Fwww.zhangruimao.site\u002F)\u003Csup>3\u003C\u002Fsup>, [Haoqian Wang](https:\u002F\u002Fwww.sigs.tsinghua.edu.cn\u002Fwhq_en\u002Fmain.htm)\u003Csup>2\u003C\u002Fsup>, [Lei Zhang](https:\u002F\u002Fwww.leizhang.org\u002F)\u003Csup>1\u003C\u002Fsup>\u003Cbr>\n> \u003Csup>😎\u003C\u002Fsup>Equal contribution. \u003Csup>🤗\u003C\u002Fsup>Corresponing author.\u003Csup>\n> \n>\u003Csup>1\u003C\u002Fsup>International Digital Economy Academy \u003Csup>2\u003C\u002Fsup>Tsinghua University \u003Csup>3\u003C\u002Fsup>The Chinese University of Hong Kong, Shenzhen\n\n## 🥳 News\n- [2025.03.01] We have reorganized and fixed some issues of data for Motion-X++ and published the new data on [Huggingface](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FYuhongZhang\u002FMotion-Xplusplus), including the consistency of different modalities, adding generation motion TOMATO format directly.\n- [2024.09.01] We have identified some issues with the new annotations of Motion-X++ and are working on resolving them. We have added the original Motion-X version using the same link we sent.\n- [2024.4.25] We are working on a new version of Motion-X, named Motion-X++. It has the following updates: i) more paired modalities, including video, whole-body 2d keypoints, local and global whole-body SMPL-X, text, and audio (if the video has); ii) better quality, such as manual scene detection for temporally consistent video clips, more stable motion annotation, and improved semantic video caption via GPT4V and whole-body pose descriptions via Vicuna. We have released the IDEA400 subset and will release other subsets in the same directory. For detailed instructions on data preprocessing and loading, please refer to this [document](https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FMotion-X\u002Fblob\u002Fmain\u002Fnon-mocap-dataset-process\u002FLoad_motion_data.md).\n- [2024.2.6] We release the self-recorded IDEA400 videos and the corresponding SMPL-X to support (a) whole-body local or global pose estimation and (2) motion-condition video generation. Please check the email. \n- [2024.1.9] We update the frame-level textual descriptions for each whole-body pose. Please download it [here](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F168ja-oBTHM0QDKFIcRriQFPew5gUlZkQ\u002Fview?usp=sharing) and refer to this usage guidance [here](https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FMotion-X\u002Fblob\u002Fmain\u002FPoseText\u002FPoseText_README.md).\n- [2023.12.22] We update the sequential motion text descriptions (text_v1.1) augmented by [Vicuna 1.5](https:\u002F\u002Flmsys.org\u002Fblog\u002F2023-03-30-vicuna\u002F) to enhance the standardization and diversity of text. Please download via [this link](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1DecnWjxM7d2uQKaHk_u5QQRALlNle_q_\u002Fview?usp=sharing) and replace it with the original file **motionx_seq_text.zip**. Many thanks to [Linghao Chen](https:\u002F\u002Flhchen.top) for polishing the text labels!\n- [2023.11.15] We release the rendered SMPL-X visualization of all subsets on [DDS](https:\u002F\u002Fdeepdataspace.com\u002Fdataset\u002Fmotionx\u002Fhome) platform for quick content viewing.\n- [2023.11.15] We release the [HumanTOMATO](https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FHumanTOMATO\u002Ftree\u002Fmain) motion representation (`tomato` representation) and split files.\n- [2023.10.26] We release the Motion-X-V1, which provides semantic text labels corresponding to SMPL-X sequences, facial expression motions, and the corresponding texts for augmenting some motions without facial expressions. Please kindly check your email!\n- [2023.10.26] We release a high-quality monocular dataset named IDEA400 as a subset of Motion-X, which contains rich expressions and gestures. See this [video](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=QWoll6asFhE) for more details.\n\n## 📜 TODO\n- [x] Release whole-body pose descriptions.\n- [ ] Gathering more motion datasets (e.g., music-to-dance, audio-to-gesture motions).\n- [ ] Release Videos after the agreement of video owners.\n- [ ] Release audio and music if motions are needed.\n      \n**Stay tuned!**\n\n## 🥳 Highlight Motion Samples\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_Motion-X_readme_192346038c08.gif\" width=\"100%\">\n\n**📊 Table of Contents**\n\n  1. [General Description](#general-description)\n  2. [Dataset Download](#dataset-download)\n  3. [Experiments](#experiments)\n  4. [Citing](#citing)\n\n## 📜 General Description\n\nWe propose a high-accuracy and efficient annotation pipeline for whole-body motions and the corresponding text labels. Based on it, we build a large-scale 3D expressive whole-body human motion dataset from massive online videos and eight existing motion datasets. We unify them into the same formats, providing whole-body motion (i.e., SMPL-X) and corresponding text labels.\n\n**Labels from Motion-X:** \n\n- Motion label: including `15.6M` whole-body poses and `81.1K` motion clips annotation, represented as SMPL-X parameters. All motions have been unified in 30 fps.\n- Text label: (1) `15.6M` frame-level whole-body pose description and (2) `81.1K` sequence-level semantic labels.\n- Other modalities: RGB videos, audio, and music information.\n\n**Supported Tasks:**\n\n- Text-driven 3d whole-body human motion generation\n- 3D whole-body human mesh recovery\n- Others: Motion pretraining, multi-modality pre-trained models for motion understanding and generation, etc.\n\n\u003Cdiv align=\"center\">\n\u003Ctable cellspacing=\"0\" cellpadding=\"0\" bgcolor=\"#ffffff\" border=\"0\">\n  \u003Ctr>\n    \u003Cth align=\"center\">Dataset\u003C\u002Fth>\n    \u003Cth align=\"center\">Clip Number\u003C\u002Fth>\n    \u003Cth align=\"center\">Frame Number\u003C\u002Fth>\n    \u003Cth align=\"center\">Website\u003C\u002Fth>\n    \u003Cth align=\"center\">License\u003C\u002Fth>\n    \u003Cth align=\"center\">Downloading Link\u003C\u002Fth>\n  \u003C\u002Ftr>\n  \u003Ctr>\u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd align=\"center\">\u003Cb>AMASS\u003C\u002Fb>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">26K\u003C\u002Ftd>\n    \u003Ctd align=\"center\">5.4M\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Famass.is.tue.mpg.de\u002F\" target=\"_blank\">AMASS\u003Cbr>Website\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Famass.is.tue.mpg.de\u002Flicense.html\" target=\"_blank\">AMASS\u003Cbr>License\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Famass.is.tue.mpg.de\u002Flogin.php\" target=\"_blank\">AMASS Data\u003C\u002Fa>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd align=\"center\">\u003Cb>EgoBody\u003C\u002Fb>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">1.0K\u003C\u002Ftd>\n    \u003Ctd align=\"center\">0.4M\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Fsanweiliti.github.io\u002Fegobody\u002Fegobody.html\" target=\"_blank\">EgoBody\u003Cbr>Website\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Fegobody.ethz.ch\u002F\" target=\"_blank\">EgoBody\u003Cbr>License\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Fegobody.ethz.ch\u002F\" target=\"_blank\">EgoBody Data\u003C\u002Fa>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd align=\"center\">\u003Cb>GRAB\u003C\u002Fb>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">1.3K\u003C\u002Ftd>\n    \u003Ctd align=\"center\">0.4M\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Fgrab.is.tue.mpg.de\u002F\" target=\"_blank\">GRAB\u003Cbr>Website\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Fgrab.is.tue.mpg.de\u002Flicense.html\" target=\"_blank\">GRAB\u003Cbr>License\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Fgrab.is.tue.mpg.de\u002Flogin.php\" target=\"_blank\">GRAB Data\u003C\u002Fa>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd align=\"center\">\u003Cb>IDEA400\u003C\u002Fb>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">12.5K\u003C\u002Ftd>\n    \u003Ctd align=\"center\">2.6M\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Fmotion-x-dataset.github.io\u002F\" target=\"_blank\">IDEA400\u003Cbr>Website\u003C\u002Fa>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Fdocs.google.com\u002Fdocument\u002Fd\u002F1xeNQkkxD39Yi6pAtJrFS1UcZ2LyJ6RBwxicwQ2j3-Vs\" target=\"_blank\">IDEA400 License\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Fdocs.google.com\u002Fforms\u002Fd\u002Fe\u002F1FAIpQLSeb1DwnzGPxXWWjXr8cLFPAYd3ZHlWUtRDAzYoGvAKmS4uBlA\u002Fviewform\" target=\"_blank\">IDEA400 Data\u003C\u002Fa>\n  \u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd align=\"center\">\u003Cb>AIST++\u003C\u002Fb>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">1.4K\u003C\u002Ftd>\n    \u003Ctd align=\"center\">0.3M\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Fgoogle.github.io\u002Faistplusplus_dataset\u002F\" target=\"_blank\">AIST++ \u003Cbr>Website\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Fgoogle.github.io\u002Faistplusplus_dataset\u002Ffactsfigures.html\" target=\"_blank\">AIST++\u003Cbr>License\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Fdocs.google.com\u002Fforms\u002Fd\u002Fe\u002F1FAIpQLSeb1DwnzGPxXWWjXr8cLFPAYd3ZHlWUtRDAzYoGvAKmS4uBlA\u002Fviewform\" target=\"_blank\">AIST++ Data\u003C\u002Fa>\n  \u003C\u002Ftr>\n  \u003Ctr>\u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd align=\"center\">\u003Cb>HAA500\u003C\u002Fb>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">5.2K\u003C\u002Ftd>\n    \u003Ctd align=\"center\">0.3M\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Fwww.cse.ust.hk\u002Fhaa\u002F\" target=\"_blank\">HAA500\u003Cbr>Website\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Fwww.cse.ust.hk\u002Fhaa\u002Findex.html\" target=\"_blank\">HAA500\u003Cbr>License\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Fdocs.google.com\u002Fforms\u002Fd\u002Fe\u002F1FAIpQLSeb1DwnzGPxXWWjXr8cLFPAYd3ZHlWUtRDAzYoGvAKmS4uBlA\u002Fviewform\" target=\"_blank\">HAA500 Data\u003C\u002Fa>\n  \u003C\u002Ftr>\n  \u003Ctr>\u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd align=\"center\">\u003Cb>HuMMan\u003C\u002Fb>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">0.7K\u003C\u002Ftd>\n    \u003Ctd align=\"center\">0.1M\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Fcaizhongang.github.io\u002Fprojects\u002FHuMMan\u002F\" target=\"_blank\">HuMMan\u003Cbr>Website\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Fcaizhongang.github.io\u002Fprojects\u002FHuMMan\u002Flicense.txt\" target=\"_blank\">HuMMan\u003Cbr>License\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Fdocs.google.com\u002Fforms\u002Fd\u002Fe\u002F1FAIpQLSeb1DwnzGPxXWWjXr8cLFPAYd3ZHlWUtRDAzYoGvAKmS4uBlA\u002Fviewform\" target=\"_blank\">HuMMan Data\u003C\u002Fa>\n     \u003C\u002Ftr>\n  \u003Ctr>\u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd align=\"center\">\u003Cb>BAUM\u003C\u002Fb>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">1.4K\u003C\u002Ftd>\n    \u003Ctd align=\"center\">0.2M\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Fmimoza.marmara.edu.tr\u002F~cigdem.erdem\u002FBAUM1\u002F\" target=\"_blank\">BAUM\u003Cbr>Website\u003C\u002Fa>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Fmimoza.marmara.edu.tr\u002F~cigdem.erdem\u002FBAUM1\u002F\" target=\"_blank\">BAUM\u003Cbr>License\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Fdocs.google.com\u002Fforms\u002Fd\u002Fe\u002F1FAIpQLSeb1DwnzGPxXWWjXr8cLFPAYd3ZHlWUtRDAzYoGvAKmS4uBlA\u002Fviewform\" target=\"_blank\">BAUM Data\u003C\u002Fa>\n\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd align=\"center\">\u003Cb>Online Videos\u003C\u002Fb>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">32.5K\u003C\u002Ftd>\n    \u003Ctd align=\"center\">6.0M\u003C\u002Ftd>\n    \u003Ctd align=\"center\">---\u003C\u002Ftd>\n    \u003Ctd align=\"center\">---\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Fdocs.google.com\u002Fforms\u002Fd\u002Fe\u002F1FAIpQLSeb1DwnzGPxXWWjXr8cLFPAYd3ZHlWUtRDAzYoGvAKmS4uBlA\u002Fviewform\" target=\"_blank\">Online Data\u003C\u002Fa>\n  \u003C\u002Ftr>\n  \u003Ctr>\u003C\u002Ftr>\n  \u003Ctr>\u003C\u002Ftr>\n  \u003Ctr style=\"background-color: lightgray;\">\n    \u003Ctd align=\"center\">\u003Cb>Motion-X (Ours)\u003C\u002Fb>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">81.1K\u003C\u002Ftd>\n    \u003Ctd align=\"center\">15.6M\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Fmotion-x-dataset.github.io\u002F\" target=\"_blank\">Motion-X Website\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Fmotion-x-dataset.github.io\u002Fstatic\u002Flicense\u002FMotion-X%20License.pdf\" target=\"_blank\">Motion-X License\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Fdocs.google.com\u002Fforms\u002Fd\u002Fe\u002F1FAIpQLSeb1DwnzGPxXWWjXr8cLFPAYd3ZHlWUtRDAzYoGvAKmS4uBlA\u002Fviewform\" target=\"_blank\">Motion-X Data\u003C\u002Fa>\n  \u003C\u002Ftr>\n\u003C\u002Ftable>\n\u003C\u002Fdiv>\n\n\n## 📥 Dataset Download\n\nWe disseminate Motion-X in a manner that aligns with the original data sources. Here are the instructions:\n\n### 1. Request Authorization\n\nPlease fill out [this form](https:\u002F\u002Fdocs.google.com\u002Fforms\u002Fd\u002Fe\u002F1FAIpQLSeb1DwnzGPxXWWjXr8cLFPAYd3ZHlWUtRDAzYoGvAKmS4uBlA\u002Fviewform) to request authorization to use Motion-X for non-commercial purposes. Then you will receive an email and please download the motion and text labels from the provided downloading links. The pose texts can be downloaded from [here](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F168ja-oBTHM0QDKFIcRriQFPew5gUlZkQ\u002Fview?usp=sharing). Please extract the body_texts folder and hand_texts folder from the downloaded motionx_pose_text.zip.（Note: We updated the Baidu Disk link of motionx_seq_face_text.zip and motionx_face_motion.zip on October 29, 2023. Thus, if you download these zips via Baidu Disk before October 29, please fill out [the form](https:\u002F\u002Fdocs.google.com\u002Fforms\u002Fd\u002Fe\u002F1FAIpQLSeb1DwnzGPxXWWjXr8cLFPAYd3ZHlWUtRDAzYoGvAKmS4uBlA\u002Fviewform) and download again.）\n\n\n\u003Csummary>Please collect them as the following directory structure: \u003C\u002Fsummary>\n\n```\n..\u002Fdatasets  \n\n├──  motion_data\n  ├── smplx_322\n    ├── idea400\n    ├── ...\n├──  face_motion_data\n  ├── smplx_322\n    ├── humanml\n    ├── EgoBody\n    ├── GRAB\n├── texts\n  ├──  semantic_labels\n    ├── idea400\n    ├── ...\n  ├──  face_texts\n    ├── humanml\n    ├── EgoBody\n    ├── GRAB\n    ├── idea400\n    ├── ...\n  ├──  body_texts\n    ├── humanml\n    ├── EgoBody\n    ├── GRAB\n    ├── idea400\n    ├── ...\n  ├──  hand_texts\n    ├── humanml\n    ├── EgoBody\n    ├── GRAB\n    ├── idea400\n    ├── ...\n```\n\n\n\n### 2. Non-Mocap Subsets\n\nFor the non-mocap subsets, please refer to [this link](https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FMotion-X\u002Ftree\u002Fmain\u002Fnon-mocap-dataset-process) for a detailed instruction, notably:\n\n- We do not distribute the original RGB videos. We provide the motion and text labels annotated by our team.\n- Due to license and quality consideration, we do not provide NTU-RGBD120. Instead, we build IDEA400, which includes 400 daily actions (covering NTU-RGBD120). Please refer to this [video](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=QWoll6asFhE) for a detailed introduction. \n\n### 3. Mocap Subsets  \n\nFor the mocap datasets (i.e., AMASS, GRAB, EgoBody), please refer to [this link](https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FMotion-X\u002Ftree\u002Fmain\u002Fmocap-dataset-process) for a detailed instruction, notably:\n\n- We do not distribute the original motion data. \n- We only provide the text labels and facial expressions annotated by our team. \n\nThe AMASS and GRAB datasets are released for academic research under custom licenses by Max Planck Institute for Intelligent Systems. To download AMASS and GRAB, you must register as a user on the dataset websites and agree to the terms and conditions of each license:\n\nhttps:\u002F\u002Famass.is.tue.mpg.de\u002Flicense.html\n\nhttps:\u002F\u002Fgrab.is.tuebingen.mpg.de\u002Flicense.html\n\n\n\u003Csummary>Finally, the datasets folder is collected as the following directory structure:\u003C\u002Fsummary>\n\n\n```  \n..\u002Fdatasets  \n\n├──  motion_data\n  ├── smplx_322\n    ├── humanml\n    ├── EgoBody\n    ├── GRAB\n    ├── idea400\n    ├── ...\n├── texts\n  ├──  semantic_labels\n    ├── idea400\n    ├── ...\n  ├──  face_texts\n    ├── humanml\n    ├── EgoBody\n    ├── GRAB\n    ├── idea400\n    ├── ...\n  ├──  body_texts\n    ├── humanml\n    ├── EgoBody\n    ├── GRAB\n    ├── idea400\n    ├── ...\n  ├──  hand_texts\n    ├── humanml\n    ├── EgoBody\n    ├── GRAB\n    ├── idea400\n    ├── ...\n```\n\n\n\n## 🚀  Data Loading \n\n\n* To load the motion and text labels you can simply do:\n\n  ```python\n  import numpy as np\n  import torch\n  \n  # read motion and save as smplx representation\n  motion = np.load('motion_data\u002Fsmplx_322\u002F000001.npy')\n  motion = torch.tensor(motion).float()\n  motion_parms = {\n              'root_orient': motion[:, :3],  # controls the global root orientation\n              'pose_body': motion[:, 3:3+63],  # controls the body\n              'pose_hand': motion[:, 66:66+90],  # controls the finger articulation\n              'pose_jaw': motion[:, 66+90:66+93],  # controls the yaw pose\n              'face_expr': motion[:, 159:159+50],  # controls the face expression\n              'face_shape': motion[:, 209:209+100],  # controls the face shape\n              'trans': motion[:, 309:309+3],  # controls the global body position\n              'betas': motion[:, 312:],  # controls the body shape. Body shape is static\n          }\n  \n  # read text labels\n  semantic_text = np.loadtxt('semantic_labels\u002F000001.npy')     # semantic labels \n  ```\n\n## 💻 Visualization\nWe support the visualization from the camera space and world space, please refer to this [guidance](https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FMotion-X\u002Ftree\u002Fmain\u002Fvisualization).\n\n## 💻 Experiments  \n#### Validation of the motion annotation pipeline\n\nOur annotation pipeline significantly surpasses existing SOTA 2D whole-body models and mesh recovery methods.\n\u003Cp align=\"middle\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_Motion-X_readme_5d613660c082.png\" width=80%\">\n\u003Cbr>\n\u003C\u002Fp>\n\n#### Benchmarking Text-driven Whole-body Human Motion Generation\n\n\u003Cp align=\"middle\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_Motion-X_readme_445924269ac4.png\" width=80%\">\n\u003Cbr>\n\u003C\u002Fp>\n\n#### Comparison with HumanML3D on Whole-body Human Motion Generation Task\n\n\u003Cp align=\"middle\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_Motion-X_readme_a0c66f6a3042.png\" width=80%\">\n\u003Cbr>\n\u003C\u002Fp>\n\n#### Impact on 3D Whole-Body Human Mesh Recovery\n\n\u003Cp align=\"middle\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_Motion-X_readme_52bfe5b25c24.png\" width=50%\">\n\u003Cbr>\n\u003C\u002Fp>\n\n## 🤝 Citation  \n\nIf you find this repository useful for your work, please consider citing it as follows:\n\n```  \n@article{zhang2025motion,\n  title={Motion-X++: A Large-Scale Multimodal 3D Whole-body Human Motion Dataset},\n  author={Zhang, Yuhong and Lin, Jing and Zeng, Ailing and Wu, Guanlin and Lu, Shunlin and Fu, Yurong and Cai, Yuanhao and Zhang, Ruimao and Wang, Haoqian and Zhang, Lei},\n  journal={arXiv preprint arXiv:2501.05098},\n  year={2025}\n}\n@article{lin2023motionx,\n  title={Motion-X: A Large-scale 3D Expressive Whole-body Human Motion Dataset},\n  author={Lin, Jing and Zeng, Ailing and Lu, Shunlin and Cai, Yuanhao and Zhang, Ruimao and Wang, Haoqian and Zhang, Lei},\n  journal={Advances in Neural Information Processing Systems},\n  year={2023}\n}\n\n```\n","# **Motion-X：大规模3D富有表现力的全身人体运动数据集**\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_Motion-X_readme_e00ee533398a.jpg)\n\n\u003Cp align=\"center\">\n  \u003Ca href='https:\u002F\u002Farxiv.org\u002Fabs\u002F2307.00818'>\n    \u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FArxiv-Motion--X-A42C25?style=flat&logo=arXiv&logoColor=A42C25'>\n  \u003C\u002Fa>\n  \u003Ca href='https:\u002F\u002Farxiv.org\u002Fabs\u002F2501.05098'>\n    \u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FArxiv-Motion--X++-A42C25?style=flat&logo=arXiv&logoColor=A42C25'>\n  \u003C\u002Fa>\n  \u003Ca href='https:\u002F\u002Farxiv.org\u002Fpdf\u002F2307.00818pdf'>\n    \u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FPaper-PDF-yellow?style=flat&logo=arXiv&logoColor=yellow'>\n  \u003C\u002Fa>\n  \u003Ca href='https:\u002F\u002Fmotion-x-dataset.github.io'>\n  \u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FProject-Page-pink?style=flat&logo=Google%20chrome&logoColor=pink'>\u003C\u002Fa>\n  \u003Ca href='https:\u002F\u002Fyoutu.be\u002F0a0ZYJgzdWE'>\n  \u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FYouTube-Video-EA3323?style=flat&logo=youtube&logoColor=EA3323'>\u003C\u002Fa>\n  \u003Ca href='https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FMotion-X'>\n    \u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FGitHub-Code-black?style=flat&logo=github&logoColor=white'>\u003C\u002Fa>\n  \u003Ca href='LICENSE'>\n    \u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FLicense-IDEA-blue.svg'>\n  \u003C\u002Fa>\n  \u003Ca href=\"\" target='_blank'>\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_Motion-X_readme_4bab36986d9b.png\">\n  \u003C\u002Fa>\n\u003C\u002Fp>\n\n本仓库包含以下论文的实现：\n> Motion-X++：大规模多模态3D全身人体运动数据集 \u003Cbr>[张宇宏](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=oV7sxpYAAAAJ&hl=zh-CN)\u003Csup>😎12\u003C\u002Fsup>, [林静](https:\u002F\u002Fjinglin7.github.io\u002F)\u003Csup>😎12\u003C\u002Fsup>, [曾爱玲](https:\u002F\u002Failingzeng.site\u002F)\u003Csup>😎2\u003C\u002Fsup>, [吴冠霖](https:\u002F\u002Fguanlinwu123.github.io)\u003Csup>😎23\u003C\u002Fsup>, [陆顺林](https:\u002F\u002Fshunlinlu.github.io\u002F)\u003Csup>😎24\u003C\u002Fsup>, 傅宇荣\u003Csup>2\u003C\u002Fsup>, [蔡元昊](https:\u002F\u002Fgithub.com\u002Fcaiyuanhao1998)\u003Csup>3\u003C\u002Fsup>, [张瑞茂](http:\u002F\u002Fwww.zhangruimao.site\u002F)\u003Csup>4\u003C\u002Fsup>, [王浩谦](https:\u002F\u002Fwww.sigs.tsinghua.edu.cn\u002Fwhq_en\u002Fmain.htm)\u003Csup>🤗1\u003C\u002Fsup>, [张磊](https:\u002F\u002Fwww.leizhang.org\u002F)\u003Csup>🤗2\u003C\u002Fsup>\u003Cbr>\n> \u003Csup>😎\u003C\u002Fsup>同等贡献。 \u003Csup>🤗\u003C\u002Fsup>通讯作者。\u003Csup>\n> \n>\u003Csup>1\u003C\u002Fsup>清华大学 \u003Csup>2\u003C\u002Fsup>国际数字经济研究院 \u003Csup>3\u003C\u002Fsup>约翰斯·霍普金斯大学 \u003Csup>4\u003C\u002Fsup>香港中文大学深圳分校\n\n\n> Motion-X：大规模3D富有表现力的全身人体运动数据集 \u003Cbr>[林静](https:\u002F\u002Fjinglin7.github.io\u002F)\u003Csup>😎12\u003C\u002Fsup>, [曾爱玲](https:\u002F\u002Failingzeng.site\u002F)\u003Csup>😎🤗1\u003C\u002Fsup>, [陆顺林](https:\u002F\u002Fshunlinlu.github.io\u002F)\u003Csup>😎13\u003C\u002Fsup>, [蔡元昊](https:\u002F\u002Fgithub.com\u002Fcaiyuanhao1998)\u003Csup>2\u003C\u002Fsup>, [张瑞茂](http:\u002F\u002Fwww.zhangruimao.site\u002F)\u003Csup>3\u003C\u002Fsup>, [王浩谦](https:\u002F\u002Fwww.sigs.tsinghua.edu.cn\u002Fwhq_en\u002Fmain.htm)\u003Csup>2\u003C\u002Fsup>, [张磊](https:\u002F\u002Fwww.leizhang.org\u002F)\u003Csup>1\u003C\u002Fsup>\u003Cbr>\n> \u003Csup>😎\u003C\u002Fsup>同等贡献。 \u003Csup>🤗\u003C\u002Fsup>通讯作者。\u003Csup>\n> \n>\u003Csup>1\u003C\u002Fsup>国际数字经济研究院 \u003Csup>2\u003C\u002Fsup>清华大学 \u003Csup>3\u003C\u002Fsup>香港中文大学深圳分校\n\n## 🥳 新闻\n- [2025.03.01] 我们对Motion-X++的数据进行了重新整理和修复，并在[Huggingface](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FYuhongZhang\u002FMotion-Xplusplus)上发布了新数据，包括不同模态之间的一致性问题，以及直接添加了TOMATO格式的生成运动。\n- [2024.09.01] 我们发现Motion-X++的新标注存在一些问题，目前正在解决中。我们已通过之前发送的链接添加了原始的Motion-X版本。\n- [2024.4.25] 我们正在开发Motion-X的新版本，名为Motion-X++。其更新内容如下：i) 更多的配对模态，包括视频、全身2D关键点、局部和全局的全身SMPL-X模型、文本以及音频（如果视频中包含）；ii) 更高的质量，例如针对时间一致性的视频片段进行手动场景检测、更稳定的运动标注，以及通过GPT4V改进的语义视频字幕和通过Vicuna提供的全身姿态描述。我们已经发布了IDEA400子集，并将在同一目录下发布其他子集。有关数据预处理和加载的详细说明，请参阅此[文档](https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FMotion-X\u002Fblob\u002Fmain\u002Fnon-mocap-dataset-process\u002FLoad_motion_data.md)。\n- [2024.2.6] 我们发布了自行录制的IDEA400视频及其对应的SMPL-X模型，以支持(a)全身局部或全局姿态估计，以及(2)基于运动条件的视频生成。请查收邮件。\n- [2024.1.9] 我们更新了每个全身姿态的帧级文本描述。请从[这里](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F168ja-oBTHM0QDKFIcRriQFPew5gUlZkQ\u002Fview?usp=sharing)下载，并参考此使用指南[这里](https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FMotion-X\u002Fblob\u002Fmain\u002FPoseText\u002FPoseText_README.md)。\n- [2023.12.22] 我们更新了由[Vicuna 1.5](https:\u002F\u002Flmsys.org\u002Fblog\u002F2023-03-30-vicuna\u002F)增强的序列化运动文本描述（text_v1.1），以提升文本的标准化和多样性。请通过[此链接](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1DecnWjxM7d2uQKaHk_u5QQRALlNle_q_\u002Fview?usp=sharing)下载，并将其替换为原始文件**motionx_seq_text.zip**。非常感谢[Linghao Chen](https:\u002F\u002Flhchen.top)对文本标签的润色！\n- [2023.11.15] 我们在[DDS](https:\u002F\u002Fdeepdataspace.com\u002Fdataset\u002Fmotionx\u002Fhome)平台上发布了所有子集的渲染SMPL-X可视化效果，方便快速浏览内容。\n- [2023.11.15] 我们发布了[HumanTOMATO](https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FHumanTOMATO\u002Ftree\u002Fmain)运动表示法（`tomato`表示法）及拆分文件。\n- [2023.10.26] 我们发布了Motion-X-V1，其中提供了与SMPL-X序列、面部表情动作相对应的语义文本标签，以及用于补充无面部表情动作的相应文本。请查收您的邮件！\n- [2023.10.26] 我们发布了高质量的单目数据集IDEA400，作为Motion-X的一个子集，其中包含了丰富的表情和手势。更多详情请观看此[视频](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=QWoll6asFhE)。\n\n## 📜 待办事项\n- [x] 发布全身姿态描述。\n- [ ] 收集更多运动数据集（例如音乐到舞蹈、音频到手势的运动）。\n- [ ] 在获得视频所有者同意后发布视频。\n- [ ] 如果需要，发布音频和音乐。\n      \n**敬请关注！**\n\n## 🥳 精选运动样本\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_Motion-X_readme_192346038c08.gif\" width=\"100%\">\n\n**📊 目录**\n\n  1. [总体介绍](#general-description)\n  2. [数据集下载](#dataset-download)\n  3. [实验](#experiments)\n  4. [引用](#citing)\n\n## 📜 总体描述\n\n我们提出了一套高精度且高效的全身动作及其对应文本标签的标注流水线。基于此，我们从海量在线视频和八个现有的动作数据集中构建了一个大规模的3D富有表现力的全身人体动作数据集。我们将这些数据统一为相同的格式，提供全身动作（即SMPL-X）及相应的文本标签。\n\n**Motion-X中的标签：**\n\n- 动作标签：包括`1560万`个全身姿态和`8.11万`段动作片段的标注，以SMPL-X参数表示。所有动作均已统一为30 fps。\n- 文本标签：(1) `1560万`帧级别的全身姿态描述，以及(2) `8.11万`序列级别的语义标签。\n- 其他模态：RGB视频、音频和音乐信息。\n\n**支持的任务：**\n\n- 文本驱动的3D全身人体动作生成\n- 3D全身人体网格恢复\n- 其他：动作预训练、用于动作理解和生成的多模态预训练模型等。\n\n\u003Cdiv align=\"center\">\n\u003Ctable cellspacing=\"0\" cellpadding=\"0\" bgcolor=\"#ffffff\" border=\"0\">\n  \u003Ctr>\n    \u003Cth align=\"center\">数据集\u003C\u002Fth>\n    \u003Cth align=\"center\">片段数量\u003C\u002Fth>\n    \u003Cth align=\"center\">帧数\u003C\u002Fth>\n    \u003Cth align=\"center\">官网\u003C\u002Fth>\n    \u003Cth align=\"center\">许可协议\u003C\u002Fth>\n    \u003Cth align=\"center\">下载链接\u003C\u002Fth>\n  \u003C\u002Ftr>\n  \u003Ctr>\u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd align=\"center\">\u003Cb>AMASS\u003C\u002Fb>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">2.6万\u003C\u002Ftd>\n    \u003Ctd align=\"center\">540万\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Famass.is.tue.mpg.de\u002F\" target=\"_blank\">AMASS\u003Cbr>官网\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Famass.is.tue.mpg.de\u002Flicense.html\" target=\"_blank\">AMASS\u003Cbr>许可协议\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Famass.is.tue.mpg.de\u002Flogin.php\" target=\"_blank\">AMASS数据\u003C\u002Fa>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd align=\"center\">\u003Cb>EgoBody\u003C\u002Fb>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">1千\u003C\u002Ftd>\n    \u003Ctd align=\"center\">40万\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Fsanweiliti.github.io\u002Fegobody\u002Fegobody.html\" target=\"_blank\">EgoBody\u003Cbr>官网\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Fegobody.ethz.ch\u002F\" target=\"_blank\">EgoBody\u003Cbr>许可协议\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Fegobody.ethz.ch\u002F\" target=\"_blank\">EgoBody数据\u003C\u002Fa>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd align=\"center\">\u003Cb>GRAB\u003C\u002Fb>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">1.3千\u003C\u002Ftd>\n    \u003Ctd align=\"center\">40万\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Fgrab.is.tue.mpg.de\u002F\" target=\"_blank\">GRAB\u003Cbr>官网\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Fgrab.is.tue.mpg.de\u002Flicense.html\" target=\"_blank\">GRAB\u003Cbr>许可协议\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Fgrab.is.tue.mpg.de\u002Flogin.php\" target=\"_blank\">GRAB数据\u003C\u002Fa>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd align=\"center\">\u003Cb>IDEA400\u003C\u002Fb>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">1.25万\u003C\u002Ftd>\n    \u003Ctd align=\"center\">260万\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Fmotion-x-dataset.github.io\u002F\" target=\"_blank\">IDEA400\u003Cbr>官网\u003C\u002Fa>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Fdocs.google.com\u002Fdocument\u002Fd\u002F1xeNQkkxD39Yi6pAtJrFS1UcZ2LyJ6RBwxicwQ2j3-Vs\" target=\"_blank\">IDEA400许可协议\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Fdocs.google.com\u002Fforms\u002Fd\u002Fe\u002F1FAIpQLSeb1DwnzGPxXWWjXr8cLFPAYd3ZHlWUtRDAzYoGvAKmS4uBlA\u002Fviewform\" target=\"_blank\">IDEA400数据\u003C\u002Fa>\n  \u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd align=\"center\">\u003Cb>AIST++\u003C\u002Fb>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">1.4千\u003C\u002Ftd>\n    \u003Ctd align=\"center\">30万\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Fgoogle.github.io\u002Faistplusplus_dataset\u002F\" target=\"_blank\">AIST++ \u003Cbr>官网\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Fgoogle.github.io\u002Faistplusplus_dataset\u002Ffactsfigures.html\" target=\"_blank\">AIST++\u003Cbr>许可协议\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Fdocs.google.com\u002Fforms\u002Fd\u002Fe\u002F1FAIpQLSeb1DwnzGPxXWWjXr8cLFPAYd3ZHlWUtRDAzYoGvAKmS4uBlA\u002Fviewform\" target=\"_blank\">AIST++数据\u003C\u002Fa>\n  \u003C\u002Ftr>\n  \u003Ctr>\u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd align=\"center\">\u003Cb>HAA500\u003C\u002Fb>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">5.2千\u003C\u002Ftd>\n    \u003Ctd align=\"center\">30万\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Fwww.cse.ust.hk\u002Fhaa\u002F\" target=\"_blank\">HAA500\u003Cbr>官网\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Fwww.cse.ust.hk\u002Fhaa\u002Findex.html\" target=\"_blank\">HAA500\u003Cbr>许可协议\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Fdocs.google.com\u002Fforms\u002Fd\u002Fe\u002F1FAIpQLSeb1DwnzGPxXWWjXr8cLFPAYd3ZHlWUtRDAzYoGvAKmS4uBlA\u002Fviewform\" target=\"_blank\">HAA500数据\u003C\u002Fa>\n  \u003C\u002Ftr>\n  \u003Ctr>\u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd align=\"center\">\u003Cb>HuMMan\u003C\u002Fb>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">700\u003C\u002Ftd>\n    \u003Ctd align=\"center\">10万\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Fcaizhongang.github.io\u002Fprojects\u002FHuMMan\u002F\" target=\"_blank\">HuMMan\u003Cbr>官网\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Fcaizhongang.github.io\u002Fprojects\u002FHuMMan\u002Flicense.txt\" target=\"_blank\">HuMMan\u003Cbr>许可协议\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Fdocs.google.com\u002Fforms\u002Fd\u002Fe\u002F1FAIpQLSeb1DwnzGPxXWWjXr8cLFPAYd3ZHlWUtRDAzYoGvAKmS4uBlA\u002Fviewform\" target=\"_blank\">HuMMan数据\u003C\u002Fa>\n     \u003C\u002Ftr>\n  \u003Ctr>\u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd align=\"center\">\u003Cb>BAUM\u003C\u002Fb>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">1.4千\u003C\u002Ftd>\n    \u003Ctd align=\"center\">20万\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Fmimoza.marmara.edu.tr\u002F~cigdem.erdem\u002FBAUM1\u002F\" target=\"_blank\">BAUM\u003Cbr>官网\u003C\u002Fa>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Fmimoza.marmara.edu.tr\u002F~cigdem.erdem\u002FBAUM1\u002F\" target=\"_blank\">BAUM\u003Cbr>许可协议\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Fdocs.google.com\u002Fforms\u002Fd\u002Fe\u002F1FAIpQLSeb1DwnzGPxXWWjXr8cLFPAYd3ZHlWUtRDAzYoGvAKmS4uBlA\u002Fviewform\" target=\"_blank\">BAUM数据\u003C\u002Fa>\n\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd align=\"center\">\u003Cb>在线视频\u003C\u002Fb>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">3.25万\u003C\u002Ftd>\n    \u003Ctd align=\"center\">600万\u003C\u002Ftd>\n    \u003Ctd align=\"center\">---\u003C\u002Ftd>\n    \u003Ctd align=\"center\">---\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Fdocs.google.com\u002Fforms\u002Fd\u002Fe\u002F1FAIpQLSeb1DwnzGPxXWWjXr8cLFPAYd3ZHlWUtRDAzYoGvAKmS4uBlA\u002Fviewform\" target=\"_blank\">在线数据\u003C\u002Fa>\n  \u003C\u002Ftr>\n  \u003Ctr>\u003C\u002Ftr>\n  \u003Ctr style=\"background-color: lightgray;\">\n    \u003Ctd align=\"center\">\u003Cb>Motion-X（我们）\u003C\u002Fb>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">8.11万\u003C\u002Ftd>\n    \u003Ctd align=\"center\">1560万\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Fmotion-x-dataset.github.io\u002F\" target=\"_blank\">Motion-X官网\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Fmotion-x-dataset.github.io\u002Fstatic\u002Flicense\u002FMotion-X%20License.pdf\" target=\"_blank\">Motion-X许可协议\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Ca href=\"https:\u002F\u002Fdocs.google.com\u002Fforms\u002Fd\u002Fe\u002F1FAIpQLSeb1DwnzGPxXWWjXr8cLFPAYd3ZHlWUtRDAzYoGvAKmS4uBlA\u002Fviewform\" target=\"_blank\">Motion-X数据\u003C\u002Fa>\n  \u003C\u002Ftr>\n\u003C\u002Ftable>\n\u003C\u002Fdiv>\n\n\n## 📥 数据集下载\n\n我们以与原始数据来源一致的方式发布Motion-X。以下是说明：\n\n### 1. 申请授权\n\n请填写[此表单](https:\u002F\u002Fdocs.google.com\u002Fforms\u002Fd\u002Fe\u002F1FAIpQLSeb1DwnzGPxXWWjXr8cLFPAYd3ZHlWUtRDAzYoGvAKmS4uBlA\u002Fviewform)，以申请使用 Motion-X 进行非商业用途的授权。提交后您将收到一封邮件，请根据提供的下载链接下载动作和文本标签。姿态文本可从[这里](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F168ja-oBTHM0QDKFIcRriQFPew5gUlZkQ\u002Fview?usp=sharing)下载。请从下载的 motionx_pose_text.zip 文件中解压出 body_texts 文件夹和 hand_texts 文件夹。（注意：我们已于2023年10月29日更新了 motionx_seq_face_text.zip 和 motionx_face_motion.zip 的百度网盘链接。因此，如果您在10月29日之前通过百度网盘下载了这些压缩包，请重新填写[此表单](https:\u002F\u002Fdocs.google.com\u002Fforms\u002Fd\u002Fe\u002F1FAIpQLSeb1DwnzGPxXWWjXr8cLFPAYd3ZHlWUtRDAzYoGvAKmS4uBlA\u002Fviewform)并再次下载。）\n\n\n\u003Csummary>请按照以下目录结构整理文件：\u003C\u002Fsummary>\n\n```\n..\u002Fdatasets  \n\n├──  motion_data\n  ├── smplx_322\n    ├── idea400\n    ├── ...\n├──  face_motion_data\n  ├── smplx_322\n    ├── humanml\n    ├── EgoBody\n    ├── GRAB\n├── texts\n  ├──  semantic_labels\n    ├── idea400\n    ├── ...\n  ├──  face_texts\n    ├── humanml\n    ├── EgoBody\n    ├── GRAB\n    ├── idea400\n    ├── ...\n  ├──  body_texts\n    ├── humanml\n    ├── EgoBody\n    ├── GRAB\n    ├── idea400\n    ├── ...\n  ├──  hand_texts\n    ├── humanml\n    ├── EgoBody\n    ├── GRAB\n    ├── idea400\n    ├── ...\n```\n\n\n\n### 2. 非动捕子集\n\n关于非动捕子集，请参阅[此链接](https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FMotion-X\u002Ftree\u002Fmain\u002Fnon-mocap-dataset-process)获取详细说明，特别注意：\n\n- 我们不提供原始RGB视频，仅提供由我们团队标注的动作和文本标签。\n- 出于许可和质量考虑，我们未包含 NTU-RGBD120 数据集。取而代之的是 IDEA400 数据集，其中包含了400个日常动作（覆盖 NTU-RGBD120）。有关详细介绍，请观看此[视频](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=QWoll6asFhE)。\n\n### 3. 动捕子集  \n\n对于动捕数据集（即 AMASS、GRAB、EgoBody），请参阅[此链接](https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FMotion-X\u002Ftree\u002Fmain\u002Fmocap-dataset-process)获取详细说明，特别注意：\n\n- 我们不提供原始动作数据。\n- 我们仅提供由我们团队标注的文本标签和面部表情。\n\nAMASS 和 GRAB 数据集由马克斯·普朗克智能系统研究所根据定制许可协议发布，供学术研究使用。要下载 AMASS 和 GRAB 数据集，您必须在相应数据集网站上注册用户，并同意各许可协议的条款与条件：\n\nhttps:\u002F\u002Famass.is.tue.mpg.de\u002Flicense.html\n\nhttps:\u002F\u002Fgrab.is.tuebingen.mpg.de\u002Flicense.html\n\n\n\u003Csummary>最终，数据集文件夹应按以下目录结构整理：\u003C\u002Fsummary>\n\n\n```  \n..\u002Fdatasets  \n\n├──  motion_data\n  ├── smplx_322\n    ├── humanml\n    ├── EgoBody\n    ├── GRAB\n    ├── idea400\n    ├── ...\n├── texts\n  ├──  semantic_labels\n    ├── idea400\n    ├── ...\n  ├──  face_texts\n    ├── humanml\n    ├── EgoBody\n    ├── GRAB\n    ├── idea400\n    ├── ...\n  ├──  body_texts\n    ├── humanml\n    ├── EgoBody\n    ├── GRAB\n    ├── idea400\n    ├── ...\n  ├──  hand_texts\n    ├── humanml\n    ├── EgoBody\n    ├── GRAB\n    ├── idea400\n    ├── ...\n```\n\n\n\n## 🚀  数据加载 \n\n\n* 要加载动作和文本标签，您可以简单地执行以下操作：\n\n  ```python\n  import numpy as np\n  import torch\n  \n  # 读取动作并保存为 smplx 表示\n  motion = np.load('motion_data\u002Fsmplx_322\u002F000001.npy')\n  motion = torch.tensor(motion).float()\n  motion_parms = {\n              'root_orient': motion[:, :3],  # 控制全局根方向\n              'pose_body': motion[:, 3:3+63],  # 控制身体姿态\n              'pose_hand': motion[:, 66:66+90],  # 控制手指关节\n              'pose_jaw': motion[:, 66+90:66+93],  # 控制下颌姿态\n              'face_expr': motion[:, 159:159+50],  # 控制面部表情\n              'face_shape': motion[:, 209:209+100],  # 控制脸型\n              'trans': motion[:, 309:309+3],  # 控制全身位置\n              'betas': motion[:, 312:],  # 控制体型。体型是静态的\n          }\n  \n  # 读取文本标签\n  semantic_text = np.loadtxt('semantic_labels\u002F000001.npy')     # 语义标签 \n  ```\n\n## 💻 可视化\n我们支持从相机空间和世界空间进行可视化，请参考此[指南](https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FMotion-X\u002Ftree\u002Fmain\u002Fvisualization)。\n\n## 💻 实验  \n#### 动作标注流程验证\n\n我们的标注流程显著优于现有的 SOTA 2D 全身模型和网格重建方法。\n\u003Cp align=\"middle\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_Motion-X_readme_5d613660c082.png\" width=80%\">\n\u003Cbr>\n\u003C\u002Fp>\n\n#### 文本驱动的全身人体运动生成基准测试\n\n\u003Cp align=\"middle\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_Motion-X_readme_445924269ac4.png\" width=80%\">\n\u003Cbr>\n\u003C\u002Fp>\n\n#### 与 HumanML3D 在全身人体运动生成任务上的对比\n\n\u003Cp align=\"middle\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_Motion-X_readme_a0c66f6a3042.png\" width=80%\">\n\u003Cbr>\n\u003C\u002Fp>\n\n#### 对3D全身人体网格重建的影响\n\n\u003Cp align=\"middle\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_Motion-X_readme_52bfe5b25c24.png\" width=50%\">\n\u003Cbr>\n\u003C\u002Fp>\n\n## 🤝 引用  \n\n如果您认为本仓库对您的工作有所帮助，请考虑按以下方式引用：\n\n```  \n@article{zhang2025motion,\n  title={Motion-X++: 大规模多模态3D全身人体运动数据集},\n  author={张宇宏、林静、曾爱玲、吴冠霖、陆顺林、傅雨蓉、蔡元浩、张瑞茂、王浩谦、张磊},\n  journal={arXiv 预印本 arXiv:2501.05098},\n  year={2025}\n}\n@article{lin2023motionx,\n  title={Motion-X: 大规模3D富有表现力的全身人体运动数据集},\n  author={林静、曾爱玲、陆顺林、蔡元浩、张瑞茂、王浩谦、张磊},\n  journal={神经信息处理系统进展},\n  year={2023}\n}\n\n```","# Motion-X 快速上手指南\n\nMotion-X 是一个大规模、高表达力的 3D 全身人体运动数据集，包含 SMPL-X 参数及对应的文本标签，适用于文本驱动运动生成、三维人体重建等任务。\n\n## 1. 环境准备\n\n### 系统要求\n- **操作系统**: Linux (推荐 Ubuntu 18.04\u002F20.04) 或 macOS\n- **Python**: 3.8 或更高版本\n- **GPU**: 可选（仅用于可视化或模型训练，数据加载无需 GPU）\n\n### 前置依赖\n确保已安装以下基础库：\n```bash\npip install numpy pandas tqdm pyyaml\n```\n\n若需处理 SMPL-X 模型或进行可视化，建议安装：\n```bash\npip install smplx chumpy trimesh\n```\n\n> **提示**：国内用户可使用清华源加速安装：\n> ```bash\n> pip install -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple numpy pandas tqdm pyyaml smplx\n> ```\n\n## 2. 安装与数据获取\n\nMotion-X 主要提供数据集而非可执行代码库，核心步骤为下载数据并配置读取脚本。\n\n### 步骤一：申请与下载数据\n由于版权原因，部分子集（如 IDEA400, AIST++, HAA500 等）需填写申请表获取下载链接。\n1. 访问 [IDEA400 数据申请表](https:\u002F\u002Fdocs.google.com\u002Fforms\u002Fd\u002Fe\u002F1FAIpQLSeb1DwnzGPxXWWjXr8cLFPAYd3ZHlWUtRDAzYoGvAKmS4uBlA\u002Fviewform) 提交申请。\n2. 查收邮件获取下载链接。\n3. **最新推荐**：直接通过 Hugging Face 下载整理后的 Motion-X++ 数据（包含多模态对齐及 TOMATO 格式）：\n   ```bash\n   # 需先安装 huggingface-cli\n   pip install -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple huggingface_hub\n   \n   # 下载数据集 (示例命令，具体 repo ID 以官方最新公布为准)\n   huggingface-cli download --repo-type dataset YuhongZhang\u002FMotion-Xplusplus --local-dir .\u002Fmotionx_data\n   ```\n\n### 步骤二：克隆代码库\n获取数据处理和加载脚本：\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FMotion-X.git\ncd Motion-X\n```\n\n### 步骤三：数据预处理（如需）\n如果下载的是原始视频或未处理格式，请参考 `non-mocap-dataset-process\u002FLoad_motion_data.md` 文档进行预处理。若已下载 Hugging Face 上的 processed 版本，可跳过此步。\n\n## 3. 基本使用\n\n以下示例展示如何加载 Motion-X 中的 SMPL-X 运动数据和文本标签。\n\n### 加载运动数据 (Python)\n\n假设数据已解压至 `.\u002Fdata` 目录，结构中包含 `.npz` 或 `.pkl` 格式的运动文件。\n\n```python\nimport numpy as np\nimport os\n\n# 设置数据路径\ndata_path = \".\u002Fdata\u002Fidea400\u002Fsmplx_params\" # 示例路径\nfile_name = \"000001.npz\" # 示例文件名\n\n# 加载 SMPL-X 参数\ndata = np.load(os.path.join(data_path, file_name))\n\n# 提取关键参数\nglobal_orient = data['global_orient']  # 全局朝向\nbody_pose = data['body_pose']          # 身体姿态\nleft_hand_pose = data['left_hand_pose']# 左手姿态\nright_hand_pose = data['right_hand_pose']# 右手姿态\njaw_pose = data['jaw_pose']            # 下颌姿态\nexpression = data['expression']        # 表情系数\n\nprint(f\"加载成功：帧数 {global_orient.shape[0]}, 参数维度 {global_orient.shape[1]}\")\n```\n\n### 加载文本标签\n\nMotion-X 提供帧级（frame-level）和序列级（sequence-level）文本描述。\n\n```python\nimport json\n\n# 加载序列级文本标签示例\ntext_label_path = \".\u002Fdata\u002Fidea400\u002Ftext_labels\u002Fsequence_text.json\"\n\nwith open(text_label_path, 'r', encoding='utf-8') as f:\n    text_data = json.load(f)\n\n# 获取特定 clip 的描述\nclip_id = \"000001\"\nif clip_id in text_data:\n    description = text_data[clip_id]\n    print(f\"Clip {clip_id} 描述：{description}\")\n```\n\n### 可视化 (可选)\n\n若需查看渲染效果，可使用官方提供的 [DDS 平台](https:\u002F\u002Fdeepdataspace.com\u002Fdataset\u002Fmotionx\u002Fhome) 在线浏览，或使用本地 `smplx` 库结合 `trimesh` 进行网格重建与渲染。\n\n```python\nimport smplx\nimport torch\n\n# 初始化 SMPL-X 模型 (需下载 model 文件)\nsmplx_layer = smplx.create('.\u002Fsmplx_models', model_type='smplx', gender='neutral')\n\n# 将 numpy 数据转为 tensor 并输入模型 (伪代码示意)\n# output = smplx_layer(global_orient=torch.tensor(global_orient), ...)\n# mesh = output.vertices\n```\n\n> **注意**：具体数据字段名称可能因数据集版本（Motion-X v1 或 Motion-X++）略有不同，请以实际下载的 `README` 或数据字典为准。","某游戏工作室的动作捕捉团队正致力于为一款开放世界 RPG 打造具备细腻微表情和自然肢体语言的 NPC 角色库。\n\n### 没有 Motion-X 时\n- **数据维度单一**：传统数据集多仅包含身体骨架，缺乏手部精细动作与面部表情数据，导致角色在对话时出现“僵尸手”或面部僵硬的现象。\n- **采集成本高昂**：为了获取高质量的全身 expressive 动作，团队需租赁专业动捕棚并聘请演员逐条录制，耗时数月且预算严重超支。\n- **语义对齐困难**：现有的动作片段缺乏精准的自然语言描述，训练生成的 AI 模型难以理解“愤怒地挥手”与“兴奋地跳跃”之间的细微语义差别。\n- **多模态缺失**：缺乏与动作同步的视频、音频及 2D 关键点数据，限制了团队利用多模态技术进行跨域迁移学习或视频驱动动画的探索。\n\n### 使用 Motion-X 后\n- **全身细节丰富**：直接调用 Motion-X 中大规模的 SMPL-X 格式数据，NPC 瞬间拥有了逼真的手指抓握、眼神流转及口型变化，表现力大幅提升。\n- **研发周期缩短**：利用其预清洗的高质量标注数据，团队省去了数月的数据采集与清洗环节，将原型开发周期从季度级压缩至周级。\n- **生成控制精准**：借助数据集内由 GPT4V 增强的细粒度文本描述，训练出的动作生成模型能精准响应复杂指令，实现“说话时伴随特定手势”的自然交互。\n- **多模态联动增强**：基于其配对的视频、音频及 2D\u002F3D 姿态数据，团队成功构建了视频驱动动画管线，仅需一段参考视频即可还原出高保真的 3D 全身运动。\n\nMotion-X 通过提供大规模、多模态且富含语义的全身动作数据，彻底解决了高保真数字人制作中数据稀缺与成本高昂的核心瓶颈。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_Motion-X_e00ee533.jpg","IDEA-Research","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FIDEA-Research_b8b3359e.png","The International Digital Economy Academy (“IDEA”). ",null,"www.idea.edu.cn","https:\u002F\u002Fgithub.com\u002FIDEA-Research",[83],{"name":84,"color":85,"percentage":86},"Python","#3572A5",100,847,25,"2026-04-13T15:42:38","NOASSERTION",5,"","未说明",{"notes":95,"python":93,"dependencies":96},"README 主要介绍数据集内容、规模及下载方式，未提供代码运行的具体环境配置（如操作系统、GPU、Python 版本或依赖库）。用户需参考文中提到的数据处理文档或相关论文获取进一步的技术细节。",[],[18],"2026-03-27T02:49:30.150509","2026-04-15T08:09:42.947415",[101,106,111,116,121,126,131],{"id":102,"question_zh":103,"answer_zh":104,"source_url":105},34126,"如何将 Motion-X 数据集转换为 HumanML3D 格式？","可以使用项目中提供的转换脚本。请检查 `tomato_represenation\u002Fmotionx2humanml` 文件夹，并按照 README 中的说明操作。具体的转换代码位于 `transfer_to_body_only_humanml.py`（链接：https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FMotion-X\u002Fblob\u002Fmain\u002Ftomato_represenation\u002Fmotionx2humanml\u002Ftransfer_to_body_only_humanml.py）。此外，维护者已上传了新的 Tomato-aligned motion 数据（Motion-X++），可以直接在 `tomato_represenation` 目录中查看可视化示例。","https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FMotion-X\u002Fissues\u002F98",{"id":107,"question_zh":108,"answer_zh":109,"source_url":110},34127,"为什么 AIST 动作数据可视化时出现异常（如比例错误或姿态扭曲）？","这是因为 AIST 是一个多视角数据集，其平移数据（translation）需要进行重缩放（rescale）处理。该处理已在最新的可视化器和训练数据加载器中实现。请拉取最新代码，并参考 `non-mocap-dataset-process` 目录下的说明文档运行重缩放脚本即可解决：https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FMotion-X\u002Ftree\u002Fmain\u002Fnon-mocap-dataset-process。","https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FMotion-X\u002Fissues\u002F10",{"id":112,"question_zh":113,"answer_zh":114,"source_url":115},34128,"运行 face_motion_augmentation.py 时发现帧数与 humanml.py 的输出不匹配，如何解决？","这是一个由帧率不匹配引起的已知 Bug，维护者已在最新代码中修复。请拉取（pull）最新的代码库，然后重新运行面部动作增强脚本（face motion augmentation）即可解决该问题。","https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FMotion-X\u002Fissues\u002F9",{"id":117,"question_zh":118,"answer_zh":119,"source_url":120},34129,"是否会发布全身姿态描述（whole-body pose descriptions）的代码或管道？","是的，维护者计划很快发布全身文本描述（whole-body text descriptions）的相关代码。请关注项目更新以获取最新发布。","https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FMotion-X\u002Fissues\u002F41",{"id":122,"question_zh":123,"answer_zh":124,"source_url":125},34130,"mocap-data-processing 中的 GRAB 数据集与 AMASS 中的 GRAB 数据是否重复？","之前的文档表述可能存在歧义。实际上，这两个来源的数据处理方式不同。建议查阅更新后的 README 文件，并参考具体的处理脚本以了解区别：HumanML3D 处理脚本见 `mocap-dataset-process\u002Fhumanml.py`，GRAB 专用处理脚本见 `mocap-dataset-process\u002Fgrab.py`。","https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FMotion-X\u002Fissues\u002F44",{"id":127,"question_zh":128,"answer_zh":129,"source_url":130},34131,"如何获取用于从其他视频提取姿态的 Motion-X 数据处理管道代码？","目前完整的管道代码库尚未完全公开，但维护者表示已经改进了标注管道，显著减少了抖动问题。用户可以访问项目官网（https:\u002F\u002Fmotion-x-dataset.github.io\u002F）查看更多示例效果。建议持续关注仓库更新以获取未来的代码发布。","https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FMotion-X\u002Fissues\u002F1",{"id":132,"question_zh":133,"answer_zh":134,"source_url":135},34132,"加载 GRAB 数据集 npz 文件时出现 'bytes' object has no attribute 'item' 错误怎么办？","确保使用正确的格式加载数据。GRAB 数据集应为 npz 文件。使用 `np.load` 加载后，可以通过 `data.files` 检查数据的键（keys）。如果直接对字节对象调用 `.item()` 会报错，请检查数据处理脚本（如 `grab.py`）中的加载逻辑，确保正确解析了 npz 文件中的数组内容而非原始字节。","https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FMotion-X\u002Fissues\u002F8",[]]