面部姿态网络

_{极端人脸对齐示例： 使用我们的FacePoseNet将人脸渲染为45度偏航角（对齐至半侧脸）。这些图像来自IJB-A数据集，展示了极端的视角条件，包括近似侧脸、遮挡以及低分辨率等。这类情况通常超出了现有面部关键点检测方法的处理能力，但我们的FacePoseNet却能轻松应对并实现精确对齐。}

本页面包含深度卷积神经网络模型及Python代码，用于从无约束图像中鲁棒地估计6自由度的3D人脸姿态，且无需使用面部关键点检测器。该方法在论文中有所介绍：

张福俊、Tran A.、Hassner T.、Masi I.、Nevatia R.、Medioni G.，《FacePoseNet：为无关键点人脸对齐正名》(https://arxiv.org/abs/1708.07517)，第七届IEEE人脸与手势分析与建模研讨会，ICCV工作坊，2017年[1]。

本次发布将我们的FacePoseNet（FPN）与Masi等人[2,5]的人脸渲染器整合在一起，后者可单独从该项目页面获取。最终形成一个端到端的流程，能够无缝估计面部姿态，并生成多种渲染视图，用于人脸对齐和数据增强。

更新内容（修改与新增功能，2018年12月20日）

• FPN结构改为ResNet-101，以提升姿态预测性能 fpn-resnet101
• 新增两种基于弱透视变换假设的FPN版本：
  • (1) 预测6DoF头部姿态（尺度、俯仰角、偏航角、翻滚角、平移x、平移y）：main_predict_6DoF.py
  • (2) 预测3×4投影矩阵的11个参数：main_predict_ProjMat.py
• 将6DoF头部姿态转换为3×4投影矩阵的代码见此处
• 将11个参数/3×4投影矩阵转换为6DoF头部姿态的代码见此处
• 对应的3D形状和关键点可通过预测的6DoF头部姿态获得由6DoF推导的3D形状，或通过预测的11个参数获得由11个参数推导的3D形状
• 下载新的FPN模型：请将所有模型文件放在此处并放入models文件夹内
• 下载BFM模型：请将BFM形状和表情文件放在此处并放入BFM文件夹内
• 运行新FPN预测6DoF头部姿态：

$ python main_predict_6DoF.py <gpu_id> <input-list-path>

• 运行新FPN预测投影矩阵的11DoF参数：

$ python main_predict_ProjMat.py <gpu_id> <input-list-path>

我们提供了一个示例输入列表，可在此处找到。

<FILE_NAME, FACE_X, FACE_y, FACE_WIDTH, FACE_HEIGHT>

其中<FACE_X, FACE_y, FACE_WIDTH, FACE_HEIGHT>是紧致人脸边界框的左上角坐标、宽度和高度，可由人工标注、人脸检测器或关键点检测器获取。预测得到的6DoF和11DoF结果将分别保存在output_6DoF文件夹和output_ProjMat文件夹中。而由6DoF和11DoF推导出的3D形状和关键点则分别保存在output_6DoF文件夹和output_ProjMat文件夹中。您可以通过Matlab可视化这些3D形状和关键点。

• 同样的渲染器也可以使用。不过这次不是输入6DoF姿态，而是输入由6DoF头部姿态或3×4投影矩阵推导出的关键点。具体示例请参阅该项目页面中的demo.py。

特性

• 6DoF 3D头部姿态估计 + 3D渲染的人脸视图。
• 不依赖易失效的关键点检测器
• 对于关键点检测器难以处理的图像（低分辨率、遮挡等）具有很强的鲁棒性
• 极速姿态估计
• 支持CPU和GPU
• 通过更优的人脸对齐方式，提升人脸识别性能，优于当前最先进的关键点检测方法[1]

依赖项

• TensorFlow
• OpenCV Python封装库
• NumPy
• Python 2.7

该代码目前仅在Linux系统上进行了测试。在Linux环境下，您可以使用默认的Python版本，通过包管理器安装所需的所有软件包，或者使用Anaconda Python，并通过conda安装所需的依赖项。

注意： 我们的算法并未使用任何关键点，尽管您仍可根据估计的姿态将关键点投影回输入图像。更多细节请参阅论文。

使用方法

• 重要提示： 若要同时下载FPN代码和渲染器，请使用git clone --recursive
• 重要提示： 请从https://www.dropbox.com/s/r38psbq55y2yj4f/fpn_new_model.tar.gz?dl=0下载训练好的模型，并确保FPN模型存储在`fpn_new_model`文件夹中。

运行步骤

对齐和渲染可以通过命令行以以下不同方式进行操作。

直接对一组图像运行（软件将先运行FPN估计姿态，再根据估计姿态渲染新视图）：

$ python main_fpn.py <input-list-path>

我们提供了一个示例输入列表，可在此处找到。

<ID, FILE, FACE_X, FACE_y, FACE_WIDTH, FACE_HEIGHT>

其中<FACE_X, FACE_y, FACE_WIDTH, FACE_HEIGHT>是人脸边界框信息，可由人工标注或人脸检测器获取。

示例结果

请查看输入图像此处和渲染输出此处。

输入：

渲染结果：

当前局限性

FPN 目前是使用单一的 3D 通用形状进行训练的，尚未考虑面部表情。这些问题计划作为未来的工作来解决。

引用

如果您使用我们的面部渲染器，请使用以下 BibTeX 格式引用我们的论文：

@inproceedings{chang17fpn,
      title={{F}ace{P}ose{N}et: Making a Case for Landmark-Free Face Alignment},
      booktitle = {7th IEEE International Workshop on Analysis and Modeling of Faces and Gestures, ICCV Workshops},
      author={
      Feng-ju Chang
      and Anh Tran 
      and Tal Hassner 
      and Iacopo Masi 
      and Ram Nevatia
      and G\'{e}rard Medioni},
      year={2017},
    }

参考文献

[1] F.-J. Chang, A. Tran, T. Hassner, I. Masi, R. Nevatia, G. Medioni, “FacePoseNet: 为无关键点人脸对齐正名”, 载于第七届 IEEE 国际人脸与手势分析与建模研讨会，ICCV 工作坊，2017 年

[2] I. Masi*, A. Tran*, T. Hassner*, J. Leksut, G. Medioni, “我们真的需要收集百万张人脸数据才能实现高效的人脸识别吗？”，ECCV 2016， * 表示共同第一作者

[3] I. Masi, S. Rawls, G. Medioni, P. Natarajan，“野外环境下的姿态感知人脸识别”，CVPR 2016

[4] T. Hassner, S. Harel, E. Paz 和 R. Enbar，“非约束条件下图像中有效的正面化处理”，CVPR 2015

[5] I. Masi, T. Hassner, A. Tran 和 G. Medioni，“快速合成大规模人脸数据集以提升人脸识别性能”，FG 2017

更改记录

• 2017年8月，首次发布

免责声明

本页面提供的软件包按“原样”提供，不对其适用于任何特定用途做出任何保证。该软件可能包含错误，因此使用本工具的风险由您自行承担。对于因使用本工具而可能无意造成的任何损害，我们概不负责。

联系方式

如有任何问题，请发送邮件至 fengjuch@usc.edu、anhttran@usc.edu、iacopo.masi@usc.edu 或 hassner@isi.edu，或在下方通过 GitHub 留言（需登录）。

Face-Pose-Net 快速上手指南

Face-Pose-Net (FPN) 是一个无需人脸关键点检测器即可鲁棒估计 6 自由度（6DoF）3D 人脸姿态的深度学习模型。它特别适用于处理低分辨率、遮挡或大角度侧脸等极端情况，并能生成用于数据增强的人脸渲染视图。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (代码仅在 Linux 上经过测试)
• Python 版本: Python 2.7
• 核心依赖:
  • TensorFlow
  • OpenCV Python Wrapper
  • Numpy

安装建议： 推荐使用 Anaconda 管理环境，或通过系统包管理器安装上述依赖。国内用户可使用清华源或阿里源加速 Python 包安装：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow opencv-python numpy

安装步骤

1. 克隆代码库

由于项目包含子模块（人脸渲染器 Face Renderer），必须使用 --recursive 参数克隆：

git clone --recursive https://github.com/fengju514/Face-Pose-Net.git
cd Face-Pose-Net

2. 下载预训练模型

项目需要两组模型文件，请下载并放置到指定目录：

• FPN 模型: 下载 fpn_new_model.tar.gz，解压后将内容放入 fpn_new_model 文件夹。
• BFM 模型 (3D 形状与表情): 下载 BFM 文件，将文件放入 BFM 文件夹。

(注：如果 Dropbox 访问缓慢，请尝试使用代理或寻找国内镜像资源)

基本使用

1. 准备输入列表

创建一个文本文件（例如 input_list.txt），每行定义一张图片及其人脸边界框信息。格式如下：

<FILE_NAME, FACE_X, FACE_y, FACE_WIDTH, FACE_HEIGHT>

• FILE_NAME: 图片路径
• FACE_X, FACE_y: 人脸检测框左上角坐标
• FACE_WIDTH, FACE_HEIGHT: 人脸检测框的宽和高

注意：人脸检测框可以通过手动标注、通用人脸检测器或关键点检测器获得。FPN 本身不进行人脸检测，只负责姿态估计。

2. 运行姿态估计

根据需求选择以下两种模式之一运行：

模式 A：预测 6DoF 头部姿态 (推荐) 输出包含缩放、俯仰 (pitch)、偏航 (yaw)、翻滚 (roll) 及平移量。

python main_predict_6DoF.py <gpu_id> <input-list-path>

示例: python main_predict_6DoF.py 0 input_list.txt

模式 B：预测投影矩阵参数 (11 参数) 输出 3x4 投影矩阵的 11 个参数。

python main_predict_ProjMat.py <gpu_id> <input-list-path>

3. 查看结果

• 姿态数据: 预测的 6DoF 或 11 参数结果将分别保存在 output_6DoF 或 output_ProjMat 文件夹中。
• 3D 形状与关键点: 对应的 3D 形状和投影关键点也会保存至上述文件夹，可通过 Matlab 进行可视化。
• 人脸渲染: 若需生成多角度的人脸渲染图（如正面化或数据增强），需结合 face_specific_augm 子模块中的渲染器，将预测出的关键点或姿态作为输入传入（参考 demo.py）。