img2pose：基于6DoF的人脸对齐与检测、人脸姿态估计

论文已被IEEE计算机视觉与模式识别会议（CVPR）2021收录

简要说明

本仓库提供了一种新颖的方法，可在无需预先进行人脸检测的情况下，对多张人脸进行六自由度（6DoF）检测。预测完成后，用户可以可视化检测结果（如上图所示）、自定义投影边界框，或将每张人脸裁剪并对其齐，以便进一步处理。详情请见下文。

目录

• 论文详情
  • 摘要
  • 视频亮点
  • 引用
• 安装
• 训练
  • 准备WIDER FACE数据集
  • 训练
  • 在自有数据集上训练
• 测试
  • 可视化训练好的模型
  • WIDER FACE数据集评估
  • AFLW2000-3D数据集评估
  • BIWI数据集评估
  • 在自有图像上测试
• 输出自定义
• 人脸对齐
• 资源
• 许可证

论文详情

Vítor Albiero、Xingyu Chen、Xi Yin、Guan Pang、Tal Hassner，“img2pose：基于6DoF的人脸对齐与检测、人脸姿态估计”，CVPR，2021年，arXiv:2012.07791

摘要

我们提出了一种无需人脸检测或关键点定位的实时六自由度（6DoF）3D人脸姿态估计方法。我们观察到，估计人脸的6DoF刚性变换比常用于3D人脸对齐的面部关键点检测更为简单。此外，6DoF提供的信息量也多于仅使用人脸边界框标签的情况。基于这些观察，我们做出了多项贡献：(a) 我们描述了一种易于训练、高效的基于Faster R-CNN的模型，该模型可直接回归照片中所有人脸的6DoF姿态，而无需进行预处理的人脸检测。(b) 我们解释了如何在输入照片与训练和评估过程中生成的任意裁剪图像之间保持姿态的一致性。(c) 最后，我们展示了如何用人脸姿态替代检测边界框的训练标签。在AFLW2000-3D和BIWI数据集上的测试表明，我们的方法能够实现实时运行，并且性能优于当前最先进的人脸姿态估计算法。值得注意的是，尽管我们的方法并未针对边界框标签进行优化，但在WIDER FACE检测基准上，其表现仍超越了同等复杂度的最先进模型。

视频亮点

CVPR 2021亮点

引用

如果您使用了我们的代码或数据中的任何部分，请引用我们的论文。

@inproceedings{albiero2021img2pose,
  title={img2pose: Face Alignment and Detection via 6DoF, Face Pose Estimation},
  author={Albiero, Vítor and Chen, Xingyu and Yin, Xi and Pang, Guan and Hassner, Tal},
  booktitle={CVPR},
  year={2021},
  url={https://arxiv.org/abs/2012.07791},
}

安装

使用Python 3安装依赖项。

pip install -r requirements.txt

安装渲染器，用于可视化预测结果。该渲染器的实现基于此处的代码。

cd Sim3DR
sh build_sim3dr.sh

训练

准备WIDER FACE数据集

首先，按照注释中的说明下载我们的标注文件。

下载WIDER FACE数据集，并解压到datasets/WIDER_Face目录下。

然后，运行以下脚本以创建训练和验证数据集（LMDB格式）。

python3 convert_json_list_to_lmdb.py \
--json_list ./annotations/WIDER_train_annotations.txt \
--dataset_path ./datasets/WIDER_Face/WIDER_train/images/ \
--dest ./datasets/lmdb/ \
--train

此脚本将生成一个包含训练图像及其标注的LMDB数据集，并输出姿态的均值和标准差文件，供训练和测试使用。

python3 convert_json_list_to_lmdb.py  \
--json_list ./annotations/WIDER_val_annotations.txt  \
--dataset_path ./datasets/WIDER_Face/WIDER_val/images/  \
--dest ./datasets/lmdb

第二个脚本将创建一个包含验证图像及其标注的LMDB数据集。

训练

一旦LMDB格式的训练/验证文件创建完毕，只需运行以下脚本即可开始训练。

CUDA_VISIBLE_DEVICES=0 python3 train.py \
--pose_mean ./datasets/lmdb/WIDER_train_annotations_pose_mean.npy \
--pose_stddev ./datasets/lmdb/WIDER_train_annotations_pose_stddev.npy \
--workspace ./workspace/ \
--train_source ./datasets/lmdb/WIDER_train_annotations.lmdb \
--val_source ./datasets/lmdb/WIDER_val_annotations.lmdb \
--prefix trial_1 \
--batch_size 2 \
--lr_plateau \
--early_stop \
--random_flip \
--random_crop \
--max_size 1400

若要使用多块GPU进行训练（例如下面的例子中使用4块GPU），请使用以下脚本：

python3 -m torch.distributed.launch --nproc_per_node=4 --use_env train.py \
--pose_mean ./datasets/lmdb/WIDER_train_annotations_pose_mean.npy \
--pose_stddev ./datasets/lmdb/WIDER_train_annotations_pose_stddev.npy \
--workspace ./workspace/ \
--train_source ./datasets/lmdb/WIDER_train_annotations.lmdb \
--val_source ./datasets/lmdb/WIDER_val_annotations.lmdb \
--prefix trial_1 \
--batch_size 2 \
--lr_plateau \
--early_stop \
--random_flip \
--random_crop \
--max_size 1400 \
--distributed

使用自己的数据集进行训练

如果您的数据集中已经标注了人脸关键点和边界框，请按照与WIDER FACE标注相同的格式将其存储为JSON文件。

如果没有，则可以运行以下脚本来标注您的数据集。您需要一个检测器，并在脚本中导入它。

python3 utils/annotate_dataset.py 
--image_list list_of_images.txt 
--output_path ./annotations/dataset_name

数据集标注完成后，创建一个指向已保存JSON文件的列表。然后，按照准备WIDER FACE数据集中的步骤操作，将WIDER的标注替换为您自己的数据集标注。当LMDB文件和姿态文件创建完毕后，再按照训练中的步骤，将WIDER的LMDB和姿态文件替换为您数据集的相应文件。

测试

若要使用预训练模型进行评估，可从模型库下载模型并解压到主目录下。这将创建一个名为models的文件夹，其中包含模型权重以及训练时使用的姿态均值和标准差。

如果使用自己训练的模型进行评估，则需将姿态均值和标准差替换为对应于您所训练模型的值。

可视化训练好的模型

要在WIDER FACE验证集上可视化训练好的模型，请运行笔记本visualize_trained_model_predictions。

WIDER FACE数据集评估

如果您尚未完成，请下载WIDER FACE数据集并解压到datasets/WIDER_Face目录下。

下载预训练模型。

python3 evaluation/evaluate_wider.py \
--dataset_path datasets/WIDER_Face/WIDER_val/images/ \
--dataset_list datasets/WIDER_Face/wider_face_split/wider_face_val_bbx_gt.txt \
--pose_mean models/WIDER_train_pose_mean_v1.npy \
--pose_stddev models/WIDER_train_pose_stddev_v1.npy \
--pretrained_path models/img2pose_v1.pth \
--output_path results/WIDER_FACE/Val/

要检查mAP并绘制曲线，请下载WIDER FACE评估工具，并将路径指向results/WIDER_FACE/Val目录。

AFLW2000-3D数据集评估

下载AFLW2000-3D数据集并解压到datasets/AFLW2000目录下。

下载微调后的模型。

运行笔记本aflw_2000_3d_evaluation。

BIWI数据集评估

下载BIWI数据集并解压到datasets/BIWI目录下。

下载微调后的模型。

运行笔记本biwi_evaluation。

在自己的图像上测试

运行笔记本test_own_images。

输出自定义

对于每个检测到的人脸，模型默认输出以下信息：

• 姿态：r_x, r_y, r_z, t_x, t_y, t_z
• 投影后的边界框：左、上、右、下
• 人脸置信度：0至1

由于未扩展的投影边界框会止于额头起始处，我们提供了一种单独扩展额头区域的方法，同时保留默认的宽度和高度扩展。

若要自定义投影边界框的大小，在创建模型时，可以修改如下所示的边界框扩展参数（完整示例可在visualize_trained_model_predictions中查看）。

# 宽度扩展倍数
bbox_x_factor = 1.1
# 高度扩展倍数
bbox_y_factor = 1.1
# 额头扩展比例
expand_forehead = 0.3

img2pose_model = img2poseModel(
    ...,    
    bbox_x_factor=bbox_x_factor,
    bbox_y_factor=bbox_y_factor,
    expand_forehead=expand_forehead,
)

人脸对齐

要检测并对齐人脸，只需运行以下命令，传入待检测和对齐的图像路径以及保存路径即可。

python3 run_face_alignment.py \
--pose_mean models/WIDER_train_pose_mean_v1.npy \
--pose_stddev models/WIDER_train_pose_stddev_v1.npy \
--pretrained_path models/img2pose_v1.pth \
--images_path image_path_or_list \
--output_path path_to_save_aligned_faces

资源

模型库

标注

数据集库

许可证

许可证详情请参阅[license.md]文件。

img2pose 快速上手指南

img2pose 是一个基于 CVPR 2021 论文的开源工具，能够通过估计人脸的 6 自由度（6DoF）姿态，在无需预先进行人脸检测或关键点定位的情况下，直接实现多个人脸的对齐与检测。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu)
• Python: 3.x
• 深度学习框架: PyTorch
• 硬件: 支持 CUDA 的 NVIDIA GPU（用于训练和加速推理）
• 编译器: g++ (用于构建渲染器)

安装步骤

1. 安装 Python 依赖

克隆仓库后，进入目录并安装所需的 Python 包：

pip install -r requirements.txt

提示：国内用户建议使用清华源或阿里源加速安装： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 编译渲染器 (Sim3DR)

为了可视化预测结果（如绘制 3D 人脸模型），需要编译自带的渲染器模块：

cd Sim3DR
sh build_sim3dr.sh
cd ..

3. 下载预训练模型

对于大多数使用者，直接下载预训练模型即可开始使用，无需重新训练。 请访问 Model Zoo 下载模型文件（如 img2pose_v1.pth 及对应的 pose mean/std 文件），并将其放置在项目根目录下的 models/ 文件夹中。

基本使用

场景一：批量检测并对齐人脸

这是最常用的功能，可以将输入图片中的人脸裁剪并对齐保存。

python3 run_face_alignment.py \
--pose_mean models/WIDER_train_pose_mean_v1.npy \
--pose_stddev models/WIDER_train_pose_stddev_v1.npy \
--pretrained_path models/img2pose_v1.pth \
--images_path ./your_images_folder \
--output_path ./aligned_faces_output

• --images_path: 输入图片所在文件夹路径，或包含图片路径列表的文本文件。
• --output_path: 对齐后的人脸图片保存路径。

场景二：在自定义图片上测试并可视化

如果您想查看带有 3D 姿态估计结果的可视化图像（包含银色的 3D 人脸渲染），可以使用提供的 Jupyter Notebook 进行交互式测试。

1. 启动 Jupyter Notebook：

   jupyter notebook evaluation/jupyter_notebooks/test_own_images.ipynb
   

2. 在 Notebook 中修改 image_path 变量为您自己的图片路径，运行单元格即可看到检测结果和姿态可视化。

场景三：自定义输出边界框

默认输出的边界框可能较紧（仅到额头起始位置）。您可以在代码中调整扩展系数来优化裁剪范围。在加载模型的代码段中修改如下参数：

# 宽度扩展系数
bbox_x_factor = 1.1
# 高度扩展系数
bbox_y_factor = 1.1
# 额头区域额外扩展比例
expand_forehead = 0.3

img2pose_model = img2poseModel(
    ...,    
    bbox_x_factor=bbox_x_factor,
    bbox_y_factor=bbox_y_factor,
    expand_forehead=expand_forehead,
)

完成上述配置后，模型输出的边界框将包含更多的额头区域，更适合后续的人脸识别或分析任务。