SMPL

GitHub
945 139 较难 1 次阅读 3周前MIT其他
AI 解读 由 AI 自动生成,仅供参考

SMPL 是一个开源项目,提供了人体 SMPL 模型及婴儿身体 SMIL 模型的多种代码实现,涵盖 NumPy、TensorFlow 和 PyTorch 框架。它主要解决了官方原始实现依赖冷门库(chumpy)且无法利用 GPU 加速的痛点,让研究人员和开发者能更高效地进行 3D 人体姿态估计、动作生成及相关深度学习任务。

该项目特别适合计算机视觉领域的研究者、AI 工程师以及需要处理 3D 人体数据的开发者使用。其核心亮点在于不仅重写了向量化计算的 NumPy 版本以提升运行速度,还推出了支持 GPU 训练的 TensorFlow 和 PyTorch 版本。其中,PyTorch 实现特别优化了批量数据处理能力,并兼容稀疏张量,能在显存有限的情况下显著提升训练效率。此外,项目还扩展支持了针对婴儿身体的 SMIL 模型,拓宽了应用场景。

需要注意的是,由于版权限制,SMPL 本身不提供模型文件,用户需自行从官网下载并按指引预处理。同时,它专注于参数化模型的构建与推理,若需将模型拟合到具体扫描数据或从关键点反推参数,建议结合项目中推荐的其他专用工具共同使用。

使用场景

某游戏开发团队正在为一款新动作 RPG 制作高精度的角色动画系统,需要将大量动作捕捉数据快速映射到不同体型的虚拟角色上。

没有 SMPL 时

  • 模型兼容性差:官方原始实现依赖过时的 chumpy 库且无法利用 GPU 加速,导致在大规模数据处理时渲染速度极慢,严重拖慢迭代进度。
  • 缺乏批量处理能力:旧方案只能单帧串行处理动作数据,面对成千上万帧的动作捕捉序列,工程师不得不编写复杂的循环逻辑,代码冗长且易出错。
  • 框架迁移困难:团队主流技术栈已全面转向 PyTorch,但缺乏原生支持,强行集成不仅增加了维护成本,还无法享受现代深度学习框架的自动求导优势。
  • 特殊角色缺失:项目中需要包含婴儿角色,但传统人体模型无法准确表达婴幼儿的身体比例和关节活动范围,导致动画效果僵硬不自然。

使用 SMPL 后

  • 推理性能飞跃:借助 SMPL 提供的 PyTorch 版本,团队成功将计算任务迁移至 GPU,结合向量化优化,动画预处理速度提升了数十倍。
  • 高效批量运算:利用 SMPL 原生的批处理(Batch Input)功能,开发人员可一次性输入整段动作序列,大幅简化了代码逻辑并显著降低了显存占用。
  • 无缝生态集成:SMPL 完美融入现有的 PyTorch 训练管线,支持端到端的梯度回传,使得基于物理约束的动作优化算法得以快速落地。
  • 全年龄段覆盖:通过集成 SMIL 模型,团队能够轻松生成符合婴儿生理特征的逼真动画,解决了特殊角色建模的难题,丰富了游戏内容。

SMPL 通过提供现代化、高性能且多框架支持的参数化人体模型实现,彻底解决了从数据处理到模型适配的全链路瓶颈,让高保真数字人创作变得高效且触手可及。

运行环境要求

操作系统
  • Linux
GPU

TensorFlow 和 PyTorch 版本支持 GPU 加速,但具体显卡型号、显存大小及 CUDA 版本未说明(文中提到 SMIL 的批处理实现受限于显存)

内存

未说明

依赖
notes1. 由于版权原因,本项目不提供模型文件,需用户自行从官网下载。2. 官方模型包含 chumpy 对象,预处理脚本 (preprocess.py) 依赖 chumpy,且可能需要修改 chumpy 源码以兼容 Python 3。3. 该项目无法直接将 SMPL 模型拟合到扫描数据上。4. PyTorch 版本已在 Ubuntu 18.04, Python 3.6, PyTorch 1.0.0 环境下测试通过。
python3.6+
numpy
tensorflow
torch>=1.0.0
chumpy
SMPL hero image

快速开始

SMPL

SMPL 模型的 NumPy、TensorFlow 和 PyTorch 实现。如需 C++ 实现(结合 PyTorch),请参阅此 仓库

注释:

  • 若您希望从一组稀疏的关键点坐标中估计 SMPL 参数,请查看 此仓库
  • 由于版权原因,模型文件 无法 提供。
  • 本项目 无法 将 SMPL 模型拟合到扫描数据——您可以参考这篇 论文

2019年2月2日更新

我们现在提供了一个更快速的 PyTorch 实现,并且也支持 SMIL 模型。更多详情请参阅 此 PR

概述

作者提供的实现主要基于 chumpy,而 chumpy 的使用并不广泛。同时,官方版本无法在 GPU 上运行。本项目提供了 SMPL 模型的 NumPy、TensorFlow 和 PyTorch 实现。

有关 SMPL 模型的更多详细信息,请参阅 SMPL

NumPy 和 TensorFlow 实现

贡献者:CalciferZh

NumPy 版本速度更快(因为部分计算被重写为向量化形式),并且更容易理解(希望如此)。而 TensorFlow 版本则可以在 GPU 上运行。

支持批量输入的 PyTorch 实现

贡献者:Lotayousebftw

PyTorch 版本基于 TensorFlow 版本开发,额外支持批量处理和 GPU 训练。该实现位于 smpl_torch.py 文件中,并附带测试示例。

该实现已在 Ubuntu 18.04、Python 3.6 和 PyTorch 1.0.0 稳定版环境下测试通过。输出结果与原始 TensorFlow 实现相同,可通过 test.py 进行验证。

SMIL_torch_batch.py 可以非常快速,但受限于显存。它同样支持稀疏张量,从而节省大量显存。

使用方法

  1. 请从 这里 下载模型文件。

  2. 运行 python preprocess.py /PATH/TO/THE/DOWNLOADED/MODEL 对官方模型进行预处理。preprocess.py 将生成一个新的文件 model.pklsmpl_np.pysmpl_tf.py 都依赖于 model.pkl注意:官方的 pickle 模型包含 chumpy 对象,因此 preprocess.py 需要 chumpy 来提取官方模型。您需要对 chumpy 的源代码稍作修改,使其与 preprocess.py(以及 Python 3)兼容。此处 提供了一份中文说明。

  3. 运行 python smpl_np.pypython smpl_tf.pypython smpl_torch.py 查看示例。此外,还可以运行 python smpl_torch_batch.py 以获得批量支持。

版本历史

v1.02018/08/10

相似工具推荐

ML-For-Beginners

ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程,旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周,包含 26 节精炼课程和 52 道配套测验,内容涵盖从基础概念到实际应用的完整流程,有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。 无论是希望转型的开发者、需要补充算法背景的研究人员,还是对人工智能充满好奇的普通爱好者,都能从中受益。课程不仅提供了清晰的理论讲解,还强调动手实践,让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持,通过自动化机制提供了包括简体中文在内的 50 多种语言版本,极大地降低了全球不同背景用户的学习门槛。此外,项目采用开源协作模式,社区活跃且内容持续更新,确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路,ML-For-Beginners 将是理想的起点。

85.1k|★★☆☆☆|今天
图像数据工具视频

ragflow

RAGFlow 是一款领先的开源检索增强生成(RAG)引擎,旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体(Agent)能力相结合,不仅支持从各类文档中高效提取知识,还能让模型基于这些知识进行逻辑推理和任务执行。 在大模型应用中,幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构(如表格、图表及混合排版),显著提升了信息检索的准确度,从而有效减少模型“胡编乱造”的现象,确保回答既有据可依又具备时效性。其内置的智能体机制更进一步,使系统不仅能回答问题,还能自主规划步骤解决复杂问题。 这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统,还是致力于探索大模型在垂直领域落地的创新者,都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口,既降低了非算法背景用户的上手门槛,也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目,它正成为连接通用大模型与行业专有知识之间的重要桥梁。

77.1k|★★★☆☆|4天前
Agent图像开发框架

PaddleOCR

PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来,转换成计算机可读取的结构化数据,让机器真正“看懂”图文内容。 面对海量纸质或电子文档,PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域,它扮演着连接图像与大型语言模型(LLM)的桥梁角色,能将视觉信息直接转化为文本输入,助力智能问答、文档分析等应用场景落地。 PaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显:不仅支持全球 100 多种语言的识别,还能在 Windows、Linux、macOS 等多个系统上运行,并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目,PaddleOCR 既能满足快速集成的需求,也能支撑前沿的视觉语言研究,是处理文字识别任务的理想选择。

75.1k|★★★☆☆|今天
语言模型图像开发框架

awesome-machine-learning

awesome-machine-learning 是一份精心整理的机器学习资源清单,汇集了全球优秀的机器学习框架、库和软件工具。面对机器学习领域技术迭代快、资源分散且难以甄选的痛点,这份清单按编程语言(如 Python、C++、Go 等)和应用场景(如计算机视觉、自然语言处理、深度学习等)进行了系统化分类,帮助使用者快速定位高质量项目。 它特别适合开发者、数据科学家及研究人员使用。无论是初学者寻找入门库,还是资深工程师对比不同语言的技术选型,都能从中获得极具价值的参考。此外,清单还延伸提供了免费书籍、在线课程、行业会议、技术博客及线下聚会等丰富资源,构建了从学习到实践的全链路支持体系。 其独特亮点在于严格的维护标准:明确标记已停止维护或长期未更新的项目,确保推荐内容的时效性与可靠性。作为机器学习领域的“导航图”,awesome-machine-learning 以开源协作的方式持续更新,旨在降低技术探索门槛,让每一位从业者都能高效地站在巨人的肩膀上创新。

72.1k|★☆☆☆☆|4天前
开发框架其他

scikit-learn

scikit-learn 是一个基于 Python 构建的开源机器学习库,依托于 SciPy、NumPy 等科学计算生态,旨在让机器学习变得简单高效。它提供了一套统一且简洁的接口,涵盖了从数据预处理、特征工程到模型训练、评估及选择的全流程工具,内置了包括线性回归、支持向量机、随机森林、聚类等在内的丰富经典算法。 对于希望快速验证想法或构建原型的数据科学家、研究人员以及 Python 开发者而言,scikit-learn 是不可或缺的基础设施。它有效解决了机器学习入门门槛高、算法实现复杂以及不同模型间调用方式不统一的痛点,让用户无需重复造轮子,只需几行代码即可调用成熟的算法解决分类、回归、聚类等实际问题。 其核心技术亮点在于高度一致的 API 设计风格,所有估算器(Estimator)均遵循相同的调用逻辑,极大地降低了学习成本并提升了代码的可读性与可维护性。此外,它还提供了强大的模型选择与评估工具,如交叉验证和网格搜索,帮助用户系统地优化模型性能。作为一个由全球志愿者共同维护的成熟项目,scikit-learn 以其稳定性、详尽的文档和活跃的社区支持,成为连接理论学习与工业级应用的最

65.7k|★☆☆☆☆|今天
开发框架其他数据工具

keras

Keras 是一个专为人类设计的深度学习框架,旨在让构建和训练神经网络变得简单直观。它解决了开发者在不同深度学习后端之间切换困难、模型开发效率低以及难以兼顾调试便捷性与运行性能的痛点。 无论是刚入门的学生、专注算法的研究人员,还是需要快速落地产品的工程师,都能通过 Keras 轻松上手。它支持计算机视觉、自然语言处理、音频分析及时间序列预测等多种任务。 Keras 3 的核心亮点在于其独特的“多后端”架构。用户只需编写一套代码,即可灵活选择 TensorFlow、JAX、PyTorch 或 OpenVINO 作为底层运行引擎。这一特性不仅保留了 Keras 一贯的高层易用性,还允许开发者根据需求自由选择:利用 JAX 或 PyTorch 的即时执行模式进行高效调试,或切换至速度最快的后端以获得最高 350% 的性能提升。此外,Keras 具备强大的扩展能力,能无缝从本地笔记本电脑扩展至大规模 GPU 或 TPU 集群,是连接原型开发与生产部署的理想桥梁。

63.9k|★★☆☆☆|4天前
开发框架数据工具其他