致力于快速、准确且稳定的3D密集人脸对齐

作者：郭建竹、朱向宇、杨洋、杨帆、雷震 和 Stan Z. Li。
代码仓库由 郭建竹 拥有并维护。

[更新]

• 2021.7.10：在 Gradio 上在线运行 3DDFA_V2。
• 2021.1.15：借鉴了 Dense-Head-Pose-Estimation 的实现，以加快网格渲染速度（提速约 3 倍，从 15ms 降至 4ms），详情请参阅 utils/render_ctypes.py。
• 2020.10.7：在 latency.py 中添加了完整流水线的延迟评估，只需运行 python3 latency.py --onnx 即可，详情请参阅 Latency 评估。
• 2020.10.6：为 FaceBoxes 添加了 onnxruntime 支持，以降低人脸检测延迟，只需添加 --onnx 参数即可启用，详情请参阅 FaceBoxes_ONNX.py。
• 2020.10.2：添加了 onnxruntime 支持，大幅降低 3DMM 参数推断延迟，只需在运行 demo.py 时添加 --onnx 参数即可，详情请参阅 TDDFA_ONNX.py。
• 2020.9.20：新增姿态估计以及导出为 .ply 和 .obj 格式的功能，详见 demo.py 中的 pose、ply、obj 选项。
• 2020.9.19：新增 PNCC（投影归一化坐标编码）和 UV 纹理映射功能，详见 demo.py 中的 pncc 和 uv_tex 选项。

简介

本工作是对 3DDFA 的扩展，命名为 3DDFA_V2，论文标题为 Towards Fast, Accurate and Stable 3D Dense Face Alignment，已被 ECCV 2020 接受。补充材料请见 这里。上方的 gif 展示了实验室场景下的摄像头跟踪演示结果。本仓库是 3DDFA_V2 的官方实现。

与 3DDFA 相比，3DDFA_V2 在性能和稳定性上都有所提升。此外，3DDFA_V2 使用了快速人脸检测器 FaceBoxes 替代 Dlib，并包含用 C++ 和 Cython 编写的简单 3D 渲染器。本仓库支持 onnxruntime，在使用默认主干网络回归 3DMM 参数时，单张图像输入的延迟约为 CPU 上 1.35ms/帧。如果您对本仓库感兴趣，不妨在 google colab 上试一试！欢迎提出宝贵的问题、PR 和讨论 😄

快速入门

需求

请参阅 requirements.txt，已在 macOS 和 Linux 平台上测试通过。Windows 用户如遇构建问题，可参考 FQA。请注意，本仓库使用 Python3。主要依赖包括 PyTorch、numpy、opencv-python 和 onnxruntime 等。若使用 --onnx 标志运行演示以加速，可能需要先安装 libomp，例如在 macOS 上运行 brew install libomp。

使用方法

1. 克隆本仓库

git clone https://github.com/cleardusk/3DDFA_V2.git
cd 3DDFA_V2

2. 构建 NMS、Sim3DR 的 Cython 版本以及更快的网格渲染器

sh ./build.sh

3. 运行演示

# 1. 对静态图像进行处理，可选参数包括：2d_sparse、2d_dense、3d、depth、pncc、pose、uv_tex、ply、obj
python3 demo.py -f examples/inputs/emma.jpg --onnx # -o [2d_sparse、2d_dense、3d、depth、pncc、pose、uv_tex、ply、obj]

# 2. 对视频进行处理
python3 demo_video.py -f examples/inputs/videos/214.avi --onnx

# 3. 通过提前查看 `n_next` 帧平滑处理视频
python3 demo_video_smooth.py -f examples/inputs/videos/214.avi --onnx

# 4. 使用摄像头实时处理
python3 demo_webcam_smooth.py --onnx

跟踪的实现方式很简单，即通过对齐完成。如果头部姿态超过 90° 或运动过快，对齐可能会失败。我们使用一个阈值来粗略判断跟踪状态，但这种方法并不稳定。

您可以参考 demo.ipynb 或 google colab 获取关于如何处理静态图像的分步教程。

例如，运行 python3 demo.py -f examples/inputs/emma.jpg -o 3d 将得到如下结果：

另一个例子：

对视频进行处理的结果如下：

更多结果或演示请参阅：Hathaway。

功能（截至目前）

2D稀疏点	2D密集点	3D
深度	PNCC	UV纹理
姿态	导出为.ply	导出为.obj

配置

默认的主干网络是 MobileNet_V1，输入尺寸为 120x120，预训练权重为 weights/mb1_120x120.pth，配置文件位于 configs/mb1_120x120.yml。本仓库还提供了另一个配置文件 configs/mb05_120x120.yml，其宽度因子为 0.5，模型更小、速度更快。您可以通过 -c 或 --config 选项指定配置文件。已发布的模型如下表所示。请注意，论文中 CPU 上的推理时间是使用 TensorFlow 评估的。

模型	输入	参数量	MACs	推理时间 (TF)
MobileNet	120x120	3.27M	183.5M	~6.2ms
MobileNet x0.5	120x120	0.85M	49.5M	~2.9ms

令人惊讶的是，onnxruntime 的延迟要小得多。以下是不同线程数下 CPU 上的推理时间。测试在 MacBook Pro（i5-8259U，2.30GHz）上进行，使用的 onnxruntime 版本为 1.5.1。线程数通过 os.environ["OMP_NUM_THREADS"] 设置，更多细节请参见 speed_cpu.py。

模型	THREAD=1	THREAD=2	THREAD=4
MobileNet	4.4ms	2.25ms	1.35ms
MobileNet x0.5	1.37ms	0.7ms	0.5ms

延迟

使用 onnx 选项可以显著降低整体 CPU 延迟，但人脸检测仍然占据了大部分延迟时间，例如对一张 720p 图像的检测需要约 15ms。3DMM 参数回归每张人脸大约需要 1~2ms，而密集重建（超过 3 万个点，即 38,365 个点）每张人脸大约需要 1ms。对于跟踪应用来说，快速的3DMM回归速度会很有帮助，因为并非每一帧都需要进行检测。延迟测试是在我的 13 英寸 MacBook Pro（i5-8259U，2.30GHz）上进行的。

默认的 OMP_NUM_THREADS 被设置为 4，您可以通过设置 os.environ['OMP_NUM_THREADS'] = '$NUM' 或在运行 Python 脚本前插入 export OMP_NUM_THREADS=$NUM 来指定线程数。

常见问题解答

1. 训练数据是什么？

   我们使用 300W-LP 进行训练。更多关于训练的细节，请参阅我们的 论文。由于训练数据 300W-LP 中闭眼图像较少，因此在闭眼时眼睛的关键点定位不够准确。网络摄像头演示中的眼部效果也不太理想。

2. 在 Windows 上运行。

   您可以参考 此评论 来了解如何在 Windows 上构建 NMS。

致谢

• FaceBoxes 模块修改自 FaceBoxes.PyTorch。
• 之前关于 3D 密集人脸对齐或重建的工作列表：3DDFA、face3d、PRNet。
• 感谢 AK391 托管 Gradio Web 应用。

其他实现或应用

• Dense-Head-Pose-Estimation：基于 Tensorflow Lite 的框架，用于人脸网格、头部姿态、关键点等。
• HeadPoseEstimate：基于 3D 人脸关键点的头部姿态估计系统。
• img2pose：借用了本仓库中 Sim3DR 的渲染器实现。

引用

如果您在工作或研究中受益于本仓库，请引用以下两篇文献，并为本仓库点赞 : )。

@inproceedings{guo2020towards,
    title =        {Towards Fast, Accurate and Stable 3D Dense Face Alignment},
    author =       {Guo, Jianzhu and Zhu, Xiangyu and Yang, Yang and Yang, Fan and Lei, Zhen and Li, Stan Z},
    booktitle =    {Proceedings of the European Conference on Computer Vision (ECCV)},
    year =         {2020}
}

@misc{3ddfa_cleardusk,
    author =       {Guo, Jianzhu and Zhu, Xiangyu and Lei, Zhen},
    title =        {3DDFA},
    howpublished = {\url{https://github.com/cleardusk/3DDFA}},
    year =         {2018}
}

联系方式

郭建珠 [主页, Google 学术]：guojianzhu1994@foxmail.com 或 guojianzhu1994@gmail.com 或 jianzhu.guo@nlpr.ia.ac.cn（此邮箱即将失效）。

3DDFA_V2 快速上手指南

3DDFA_V2 是一个快速、准确且稳定的 3D 密集人脸对齐工具，支持从单张图像或视频中重建高密度 3D 人脸网格、估计姿态及生成纹理映射。

环境准备

系统要求

• 操作系统：macOS 或 Linux（Windows 用户需参考构建脚本自行配置编译环境）
• Python 版本：Python 3.x

前置依赖

主要依赖包括 PyTorch, numpy, opencv-python, onnxruntime 等。 建议在安装前确保系统已安装基础编译工具（如 gcc, make）。

若使用 --onnx 加速标志运行演示，macOS 用户需预先安装 libomp：

brew install libomp

其他依赖可通过以下命令安装：

pip install -r requirements.txt

提示：国内用户可使用清华或阿里镜像源加速安装，例如： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆仓库

   git clone https://github.com/cleardusk/3DDFA_V2.git
   cd 3DDFA_V2
   

2. 构建核心模块 项目包含 NMS、Sim3DR 及加速网格渲染的 C++/Cython 模块，需编译后使用。执行一键构建脚本：

   sh ./build.sh
   

   注：若自动脚本失败，可参照 README 手动进入 FaceBoxes, Sim3DR, utils/asset 目录分别执行对应的 build 脚本。

3. 下载预训练模型 确保 weights/ 目录下存在预训练权重文件（如 mb1_120x120.pth）。若仓库未自动包含，请根据项目说明从发布页或 Google Drive 下载并放入对应目录。

基本使用

以下示例展示如何对单张图片进行 3D 人脸重建。推荐使用 --onnx 参数以启用 ONNX Runtime 加速，显著降低 CPU 推理延迟。

单张图片推理

运行以下命令处理示例图片 emma.jpg，输出 3D 人脸结果：

python3 demo.py -f examples/inputs/emma.jpg --onnx -o 3d

参数说明：

• -f: 输入文件路径（图片或视频）。
• --onnx: 启用 ONNX 加速（推荐）。
• -o: 输出模式，可选值包括：
  • 2d_sparse: 2D 稀疏关键点
  • 2d_dense: 2D 密集关键点
  • 3d: 3D 人脸网格（默认可视化）
  • depth: 深度图
  • pncc: 投影归一化坐标码
  • pose: 头部姿态估计
  • uv_tex: UV 纹理映射
  • ply / obj: 导出 3D 模型文件

其他场景

• 视频处理：

  python3 demo_video.py -f examples/inputs/videos/214.avi --onnx
  

• 摄像头实时演示：

  python3 demo_webcam_smooth.py --onnx
  

运行成功后，结果图像将保存至输出目录，终端会显示处理耗时及详细信息。