使用 我们的超深度神经网络 从单张图像进行 3D 面部建模的 Python 代码

新: 请参阅我们的后续项目，关于 深度姿态与 3D 表情拟合。

本页面包含端到端演示代码，可直接从无约束的 2D 面部图像中估计 3D 面部形状和纹理。对于给定的输入图像，它会生成一个标准的 PLY 格式文件，包含面部的形状和纹理信息。该代码配合我们论文 [1] 中描述的深度网络使用。在本次发布中，我们还包含了基于关键点的姿态和表情拟合的示例代码。

此版本是持续进行的人脸识别与建模项目的一部分。有关更新和更多数据，请参阅 此页面。

特性

• 端到端代码，可直接从图像像素值中用于 3D 形状和纹理估计
• 专为 无约束条件下的人脸图像 设计并测试，包括具有挑战性的 LFW、YTF 和 IJB-A 基准数据集
• 使用我们的网络提取的 3D 面部形状和纹理参数被 首次证明具有判别性和鲁棒性，在这些基准上采用 3DMM 表示法实现了接近最先进水平的人脸识别性能
• 无需昂贵的迭代优化内循环 来回归形状。因此，3DMM 拟合速度极快
• 额外的代码可用于 从检测到的面部关键点估计头部姿态和表情，并利用回归得到的 3D 面部模型

依赖项

库要求

• Dlib Python 和 C++ 库
• OpenCV Python 和 C++ 库
• Caffe（需版本 1.0.0-rc3 或以上）
• Numpy
• Python 2.7

该代码仅在 Linux 系统上进行了测试。在 Linux 上，您可以使用默认的 Python 版本，并通过包管理器或 Anaconda Python 安装所有所需的软件包。而安装 Caffe、Dlib 和 libhdf5 则需要更多的工作量。

自动安装依赖项

请参考 seva100 在 wiki 上提供的这个实用脚本。

数据要求

在运行代码之前，请确保所需的所有数据都位于以下指定文件夹中：

• 下载我们的 CNN，并将 CNN 模型（3 个文件：3dmm_cnn_resnet_101.caffemodel、deploy_network.prototxt、mean.binaryproto）移动到 CNN 文件夹。
• 下载 Basel 面部模型，将 01_MorphableModel.mat 移动到 3DMM_model 文件夹。
• 获取 3DDFA 表情模型，运行其代码生成 Model_Expression.mat，并将其移动到 3DMM_model 文件夹。
• 进入 3DMM_model 文件夹，运行脚本 python trimBaselFace.py。这将输出两个文件 BaselFaceModel_mod.mat 和 BaselFaceModel_mod.h5。
• 下载 Dlib 面部预测模型，将 .dat 文件移动到 dlib_model 文件夹。

安装（姿态与表情拟合代码）

• 安装 cmake：

	apt-get install cmake

• 安装 OpenCV（建议 2.4.6 或更高版本）：

	(http://docs.opencv.org/doc/tutorials/introduction/linux_install/linux_install.html)

• 安装 libboost（建议 1.5 或更高版本）：

	apt-get install libboost-all-dev

• 安装 OpenGL、freeglut 和 glew：

	sudo apt-get install freeglut3-dev
	sudo apt-get install libglew-dev

• 安装 libhdf5-dev 库：

	sudo apt-get install libhdf5-dev

• 安装 Dlib C++ 库。Dlib 应编译为共享对象。请检查其 CMakeList.txt 中的注释。

	(http://dlib.net/)

• 更新 CMakeLists.txt 中的 Dlib 目录路径（DLIB_INCLUDE_DIR 和 DLIB_LIB_DIR）。
• 创建构建目录（临时）。编译并安装到 bin 文件夹：

	mkdir build
	cd build
	cmake -D CMAKE_BUILD_TYPE=RELEASE -D CMAKE_INSTALL_PREFIX=../bin ..
	make
	make install

这段代码应在 bin 文件夹中生成 TestVisualization。

使用方法

对一组输入图像进行 3DMM 拟合

• 进入 demoCode 文件夹。演示脚本可通过命令行使用，语法如下：

$ 用法：python testBatchModel.py <inputList> <outputDir> <needCrop> <useLM>

其中参数说明如下：

• <inputList> 是一个文本文件，每行包含一张输入图像的路径。
• <outputDir> 是输出目录的路径，PLY 文件将存储于此。
• <needCrop> 指示是否需要对图像进行裁剪（1）或不裁剪（0）。默认为 1。如果您的输入图像尺寸相等（正方形），且带有类似 CASIA 的 [2] 边界框，则可以将 <needCrop> 设置为 0。否则，必须设置为 1。
• <useLM> 是一个选项，用于决定是否使用检测到的关键点来细化边界框（1）或不细化（0）。默认为 1。

<inputList> 示例：

data/1.jpg
data/2.jpg
....

• 演示代码应产生类似如下的输出：

user@system:~/Desktop/3dmm_release$ python testBatchModel.py input.txt out/
> 准备图像 data/1.jpg:
>     检测到 1 张人脸
> 准备图像 data/2.jpg:
>     检测到 1 张人脸
> 加载 CNN 模型以回归 3D 形状和纹理！
> 加载 Basel 面部模型以生成 3D 输出！
> 处理图像：tmp_ims/2.png   2.png   1/2
> 写入 3D 文件：out//2.ply
> 处理图像：tmp_ims/1.png   1.png   2/2
> 写入 3D 文件：out//1.ply

最终的 3D 形状和纹理可以使用标准的现成 3D（PLY 文件）可视化软件进行显示，例如 MeshLab。使用 MeshLab，输出可能如下所示：

user@system:~/Desktop/3dmm_release$ meshlab out/1.ply

user@system:~/Desktop/3dmm_release$ meshlab out/2.ply

这将产生类似以下的效果：

基于单张输入图像的3D人脸建模 + 姿态与表情估计

• 进入 demoCode 文件夹。演示脚本可以通过命令行使用，语法如下：

$ 用法：python testModel_PoseExpr.py <outputDir> <save3D>

其中参数说明如下：

• <outputDir> 是输出目录的路径，3DMM（以及 ply）文件将存储在此目录中。
• <save3D> 是一个选项，用于决定是否保存 ply 文件（1 表示保存，0 表示不保存）。默认值为 1。

• 程序会弹出一个对话框，用于选择输入图像。随后程序将利用 CNN 模型估计 3DMM 参数，并进一步估计姿态和表情，最后通过 C++ 程序可视化结果。

示例：

user@system:~/Desktop/3dmm_release$ python testModel_PoseExpr.py out/
(选择 `Anders_Fogh_Rasmussen_0004.jpg`)
> 准备图像 /home/anh/Downloads/PoseExprFromLM-master/demoCode/data/Anders_Fogh_Rasmussen_0004.jpg:
    检测到的人脸数量：1
> CNN 模型已加载，用于回归 3D 形状和纹理！
> 巴塞尔人脸模型已加载，用于生成 3D 输出！
*****************************************
** Caffe 加载    : 1.007 秒
** 图像裁剪   : 0.069 秒
** 3D 建模      : 1.145 秒
*****************************************
> 正在写入 3D 文件：out/Anders_Fogh_Rasmussen_0004.ply
> 姿态与表情估计
加载 ../3DMM_model/BaselFaceModel_mod.h5
** 姿态+表情拟合：0.153 秒
** 可视化    ：0.052 秒
*****************************************

弹出窗口应类似于以下所示：

引用

如果您觉得这项工作有用，请使用以下 BibTeX 格式引用我们的论文 [1]：

@inproceedings{tran2017regressing,
  title={Regressing Robust and Discriminative 3D Morphable Models with a very Deep Neural Network},
  author={Tran, Anh Tuan and Hassner, Tal and Masi, Iacopo and Medioni, Gerard},
  booktitle={Computer Vision and Pattern Recognition (CVPR)},
  year={2017}
}

故障排除

问题：旧版 Caffe 引擎

"F0210 10:49:17.604714 24046 net.cpp:797] Check failed:
target_blobs.size() == source_layer.blobs_size() (5 vs. 3) 不兼容的 blob 数量，层为 bn_conv1"

解决方案：安装 Caffe 1.0.0-rc3 或更高版本。

有关 Caffe 版本的更多信息，请参阅 https://github.com/BVLC/caffe/releases

从 Python 检查 Caffe 版本的方法如下：

In [3]: import caffe
In [4]: caffe.__version__
Out[4]: '1.0.0-rc3'

参考文献

[1] A. Tran, T. Hassner, I. Masi, G. Medioni, “使用非常深的神经网络回归鲁棒且具有判别性的 3D 形变模型”，arXiv 预印本，2016 年

[2] Dong Yi, Zhen Lei, Shengcai Liao 和 Stan Z. Li，“从零开始学习人脸表示”。arXiv 预印本 arXiv:1411.7923，2014 年。

更改记录

• 2017 年 1 月，首次发布

许可与免责声明

请参阅 此处的 LICENSE

联系方式

如有任何问题，请发送邮件至 anhttran@usc.edu、hassner@isi.edu 和 iacopoma@usc.edu，或在下方通过 GitHub 留言（需登录）。

3dmm_cnn 快速上手指南

本工具基于深度神经网络，可从单张非受限人脸图像中直接估计 3D 面部形状和纹理，并输出标准的 PLY 文件。

环境准备

系统要求

• 操作系统：仅支持 Linux（已在 Ubuntu 等发行版测试通过）
• Python 版本：Python 2.7

前置依赖库

请确保安装以下库：

• Dlib (Python 和 C++ 库)
• OpenCV (Python 和 C++ 库，建议 2.4.6+)
• Caffe (必须为 1.0.0-rc3 或更高版本)
• Numpy
• CMake
• Libboost (1.5+)
• OpenGL, freeglut, glew
• libhdf5-dev

提示：国内用户可使用清华源或阿里源加速 apt 和 pip 包的安装。Caffe 和 Dlib 的编译可能需要额外配置国内镜像。

安装步骤

1. 安装系统级依赖

sudo apt-get update
sudo apt-get install cmake libboost-all-dev freeglut3-dev libglew-dev libhdf5-dev
# 安装 OpenCV (若源中版本过低需手动编译)
sudo apt-get install libopencv-dev python-opencv

2. 安装 Python 依赖与 Caffe

建议使用 Anaconda 管理环境，或直接从源码编译 Caffe 以确保版本符合要求（>= 1.0.0-rc3）。

# 示例：使用 pip 安装基础库
pip install numpy
# Caffe 需自行编译安装，请参考官方文档或社区提供的预编译包

3. 下载模型与数据文件

在项目根目录下创建相应文件夹，并下载以下文件放入指定位置：

• CNN 模型 (下载地址)

  • 将 3dmm_cnn_resnet_101.caffemodel, deploy_network.prototxt, mean.binaryproto 放入 CNN/ 文件夹。

• Basel Face Model (下载地址)

  • 将 01_MorphableModel.mat 放入 3DMM_model/ 文件夹。
  • 进入该目录运行预处理脚本：

    cd 3DMM_model
    python trimBaselFace.py
    # 生成 BaselFaceModel_mod.mat 和 BaselFaceModel_mod.h5
    

• 3DDFA 表情模型 (下载地址)

  • 运行其代码生成 Model_Expression.mat，并将其移至 3DMM_model/ 文件夹。

• Dlib 人脸关键点模型 (下载地址)

  • 解压后将 .dat 文件放入 dlib_model/ 文件夹。

4. 编译姿态与表情拟合模块 (可选但推荐)

若需使用姿态和表情估计功能，需编译 C++ 部分：

# 修改 CMakeLists.txt 中的 DLIB_INCLUDE_DIR 和 DLIB_LIB_DIR 路径
mkdir build
cd build
cmake -D CMAKE_BUILD_TYPE=RELEASE -D CMAKE_INSTALL_PREFIX=../bin ..
make
make install
# 编译成功后，bin 文件夹下应生成 TestVisualization

基本使用

场景一：批量处理图像生成 3D 模型

此模式适合从一组图片中快速提取 3D 形状和纹理。

1. 创建一个文本文件（如 input.txt），每行包含一张输入图片的路径：

   data/1.jpg
   data/2.jpg
   

2. 进入 demoCode 目录并运行脚本：

   cd demoCode
   python testBatchModel.py <inputList> <outputDir> <needCrop> <useLM>
   

   参数说明：

   • <inputList>: 图片路径列表文件 (如 input.txt)
   • <outputDir>: 输出目录 (生成的 .ply 文件将存于此)
   • <needCrop>: 是否需要裁剪 (1=是, 0=否)。若图片已是正方形且包含类似 CASIA 的边界框，设为 0；否则设为 1。
   • <useLM>: 是否利用检测到的关键点优化边界框 (1=是, 0=否)。

   示例命令：

   python testBatchModel.py input.txt out/ 1 1
   

3. 查看结果： 生成的 .ply 文件可使用 MeshLab 查看：

   meshlab out/1.ply
   

场景二：单图处理并可视化姿态与表情

此模式会弹出窗口选择图片，实时估计 3D 参数、姿态和表情，并调用 C++ 程序进行可视化。

1. 进入 demoCode 目录运行：

   python testModel_PoseExpr.py <outputDir> <save3D>
   

   参数说明：

   • <outputDir>: 输出目录。
   • <save3D>: 是否保存 ply 文件 (1=保存, 0=不保存)。

   示例命令：

   python testModel_PoseExpr.py out/ 1
   

   运行后会弹出文件选择框，选择图片后程序将自动处理并显示结果窗口。