FLAME：可驱动的富有表现力的3D头部模型（PyTorch）

这是FLAME[1] 3D头部模型在PyTorch中的实现。

我们还提供了TensorFlow版FLAME，一个基于Chumpy的FLAME拟合仓库，以及用于从Basel人脸模型转换到FLAME的代码。

FLAME是一个轻量级且富有表现力的通用头部模型，它由超过33,000个精确对齐的3D扫描数据学习而来。FLAME结合了线性身份形状空间（由3800名受试者的头部扫描训练而成）、可驱动的颈部、下颌和眼球、依赖姿态的修正混合变形，以及额外的全局表情混合变形。有关详细信息，请参阅以下科学出版物：

从4D扫描中学习面部形状和表情模型
Tianye Li*, Timo Bolkart*, Michael J. Black, Hao Li, 和 Javier Romero
ACM图形学汇刊（SIGGRAPH Asia会议论文集）2017年

以及补充视频。

安装

该代码使用Python 3.7，并在PyTorch 1.4上进行了测试。

设置FLAME PyTorch虚拟环境

python3.7 -m venv <your_home_dir>/.virtualenvs/FLAME_PyTorch
source <your_home_dir>/.virtualenvs/FLAME_PyTorch/bin/activate

克隆项目并安装依赖

git clone https://github.com/soubhiksanyal/FLAME_PyTorch
cd FLAME_PyTorch
python setup.py install
mkdir model

下载模型

• 请从这里下载FLAME模型。您需要注册并同意模型许可协议才能访问该模型。将下载的模型复制到model文件夹内。
• 从RingNet项目下载地标嵌入，并将其复制到model文件夹内。

演示

加载FLAME并在脸上可视化3D地标

请注意，我们使用了RingNet项目引入的依赖姿态的面部轮廓。

在终端中运行以下命令：

python main.py

许可证

FLAME根据知识共享署名4.0国际许可协议提供。通过使用该模型或代码，您即表示已阅读并理解许可条款（https://flame.is.tue.mpg.de/modellicense.html），且同意受其约束。如果您不同意这些条款和条件，则不得使用本代码。

引用FLAME

在科学出版物中使用本代码时，请引用以下文献：

@article{FLAME:SiggraphAsia2017,
  title = {从{4D}扫描中学习面部形状和表情模型},
  author = {Li, Tianye 和 Bolkart, Timo 和 Black, Michael. J. 和 Li, Hao 和 Romero, Javier},
  journal = {ACM图形学汇刊（SIGGRAPH Asia会议论文集）},
  volume = {36},
  number = {6},
  year = {2017},
  url = {https://doi.org/10.1145/3130800.3130813}
}

此外，如果您使用了本代码库中的依赖姿态动态地标，请同时引用：

@inproceedings{RingNet:CVPR:2019,
title = {无需3D监督从图像中回归3D人脸形状和表情},
author = {Sanyal, Soubhik 和 Bolkart, Timo 和 Feng, Haiwen 和 Black, Michael},
booktitle = {IEEE计算机视觉与模式识别会议（CVPR）论文集},
month = jun,
year = {2019},
month_numeric = {6}
}

支持的项目

FLAME支持多个项目，例如：

• CoMA：卷积网格自编码器
• RingNet：无需3D监督从图像中重建3D人脸形状和表情
• VOCA：语音驱动的角色动画
• 富有表现力的身体捕捉：从单张图像中获取3D手部、面部和身体
• ExPose：基于身体驱动注意力的单目富有表现力的身体回归
• GIF：生成式可解释的人脸
• DECA：详细的表情捕捉与动画

FLAME是SMPL-X：一种新的联合人体、面部和手部的3D模型的一部分。

联系方式

如果您对PyTorch实现有任何疑问，欢迎通过soubhik.sanyal@tuebingen.mpg.de和timo.bolkart@tuebingen.mpg.de与我们联系。

致谢

本仓库是在SMPLX的基础上修改构建的。

FLAME_PyTorch 快速上手指南

FLAME 是一个轻量级且表现力强的通用 3D 头部模型，结合了线性身份形状空间、可关节活动的颈部/下巴/眼球、姿态相关的修正混合形状以及全局表情混合形状。本指南基于 PyTorch 实现，帮助开发者快速部署和使用。

环境准备

• 操作系统: Linux / macOS (Windows 需自行配置兼容环境)
• Python 版本: 推荐 Python 3.7 (官方测试版本)
• 深度学习框架: PyTorch 1.4 或更高版本
• 前置依赖: git, pip, virtualenv

安装步骤

1. 创建虚拟环境

建议使用虚拟环境以避免依赖冲突：

python3.7 -m venv <your_home_dir>/.virtualenvs/FLAME_PyTorch
source <your_home_dir>/.virtualenvs/FLAME_PyTorch/bin/activate

2. 克隆项目并安装依赖

拉取代码库并安装所需包：

git clone https://github.com/soubhiksanyal/FLAME_PyTorch
cd FLAME_PyTorch
python setup.py install
mkdir model

3. 下载模型文件

由于版权限制，模型文件需手动下载并放入项目目录：

1. FLAME 模型:
   • 访问 FLAME 官网 注册并同意许可协议。
   • 下载模型文件，将其复制到项目根目录下的 model 文件夹中。
2. 地标嵌入 (Landmark embeddings):
   • 从 RingNet Project 下载相关文件。
   • 同样将其复制到 model 文件夹中。

注意: 请确保 model 文件夹内包含所有必要的 .pkl 或相关模型数据文件。

基本使用

安装完成后，运行官方提供的演示脚本即可加载 FLAME 模型并在面部可视化 3D 地标（使用了 RingNet 项目中引入的姿态相关轮廓）：

python main.py

运行成功后，您将看到基于 FLAME 模型生成的 3D 头部及地标可视化效果。如需进行二次开发，可参考 main.py 中的模型加载与渲染逻辑。

---

引用说明: 若在科研工作中使用此代码或模型，请务必引用原文献 (Li et al., SIGGRAPH Asia 2017) 及 RingNet (Sanyal et al., CVPR 2019，如使用了动态地标功能)。