用于人脸关键点检测的高分辨率网络 (HRNets)

新闻

• [2020/03/13] 我们的论文已被 TPAMI 接收：用于视觉识别的深度高分辨率表征学习。

简介

这是 用于人脸关键点检测的高分辨率表征 的官方代码。 我们扩展了高分辨率表征 (HRNet) [1]，通过聚合所有并行卷积的（上采样）表征来增强高分辨率表征，从而得到更强大的特征表示。这些输出表征会被送入分类器中。我们在四个数据集 COFW、AFLW、WFLW 和 300W 上评估了我们的方法。

性能

ImageNet 预训练模型

HRNetV2 的 ImageNet 预训练模型现已可用！相关代码和预训练模型请参见 用于图像分类的 HRNets。

我们采用 HRNetV2-W18（参数量=9.3M，GFLOPs=4.3G）用于在 COFW、AFLW、WFLW 和 300W 数据集上进行人脸关键点检测。

COFW

该模型在 COFW train 数据集上训练，并在 COFW test 数据集上进行评估。

模型	NME	FR0.1	预训练模型	模型
HRNetV2-W18	3.45	0.20	HRNetV2-W18	HR18-COFW.pth

AFLW

该模型在 AFLW train 数据集上训练，并在 AFLW full 和 frontal 数据集上进行评估。

模型	NMEfull	NMEfrontal	预训练模型	模型
HRNetV2-W18	1.57	1.46	HRNetV2-W18	HR18-AFLW.pth

WFLW

NME	test	pose	illumination	occlusion	blur	makeup	expression	预训练模型	模型
HRNetV2-W18	4.60	7.86	4.57	5.42	5.36	4.26	4.78	HRNetV2-W18	HR18-WFLW.pth

300W

NME	common	challenge	full	test	预训练模型	模型
HRNetV2-W18	2.91	5.11	3.34	3.85	HRNetV2-W18	HR18-300W.pth

快速入门

环境

本代码使用 Python 3.6 和 PyTorch 1.0.0 在 Ubuntu 16.04 系统上开发，配备 NVIDIA GPU。训练和测试均在一台 NVIDIA P40 GPU 上进行，CUDA 版本为 9.0，cuDNN 版本为 7.0。其他平台或 GPU 尚未经过全面测试。

安装

1. 按照 官方说明 安装 PyTorch 1.0。
2. 安装依赖项：

pip install -r requirements.txt

3. 克隆项目：

git clone https://github.com/HRNet/HRNet-Facial-Landmark-Detection.git

HRNetV2 预训练模型

cd HRNet-Facial-Landmark-Detection
# 下载预训练模型到此文件夹
mkdir hrnetv2_pretrained

数据

1. 您需要从 OneDrive、Cloudstor 和 BaiduYun（访问码：ypxg） 下载已处理好的标注文件。

2. 您还需要从官方网站下载图像数据（300W、AFLW、WFLW），然后将它们放入每个数据集的 images 文件夹中。

您的 data 目录应如下所示：

HRNet-Facial-Landmark-Detection
-- lib
-- experiments
-- tools
-- data
   |-- 300w
   |   |-- face_landmarks_300w_test.csv
   |   |-- face_landmarks_300w_train.csv
   |   |-- face_landmarks_300w_valid.csv
   |   |-- face_landmarks_300w_valid_challenge.csv
   |   |-- face_landmarks_300w_valid_common.csv
   |   |-- images
   |-- aflw
   |   |-- face_landmarks_aflw_test.csv
   |   |-- face_landmarks_aflw_test_frontal.csv
   |   |-- face_landmarks_aflw_train.csv
   |   |-- images
   |-- cofw
   |   |-- COFW_test_color.mat
   |   |-- COFW_train_color.mat  
   |-- wflw
   |   |-- face_landmarks_wflw_test.csv
   |   |-- face_landmarks_wflw_test_blur.csv
   |   |-- face_landmarks_wflw_test_expression.csv
   |   |-- face_landmarks_wflw_test_illumination.csv
   |   |-- face_landmarks_wflw_test_largepose.csv
   |   |-- face_landmarks_wflw_test_makeup.csv
   |   |-- face_landmarks_wflw_test_occlusion.csv
   |   |-- face_landmarks_wflw_train.csv
   |   |-- images

训练

请在 experiments 中指定配置文件（当 GPU 数量发生变化时，需调整学习率）。

python tools/train.py --cfg <CONFIG-FILE>
# 例如：
python tools/train.py --cfg experiments/wflw/face_alignment_wflw_hrnet_w18.yaml

测试

python tools/test.py --cfg <CONFIG-FILE> --model-file <MODEL WEIGHT> 
# 例如：
python tools/test.py --cfg experiments/wflw/face_alignment_wflw_hrnet_w18.yaml --model-file HR18-WFLW.pth

HRNets 的其他应用（代码和模型）：

• 人体姿态估计
• 语义分割
• 目标检测
• 图像分类

引用

如果您在研究中发现本工作或代码有所帮助，请引用以下文献：

@inproceedings{SunXLW19,
  title={Deep High-Resolution Representation Learning for Human Pose Estimation},
  author={Ke Sun and Bin Xiao and Dong Liu and Jingdong Wang},
  booktitle={CVPR},
  year={2019}
}

@article{WangSCJDZLMTWLX19,
  title={Deep High-Resolution Representation Learning for Visual Recognition},
  author={Jingdong Wang and Ke Sun and Tianheng Cheng and 
          Borui Jiang and Chaorui Deng and Yang Zhao and Dong Liu and Yadong Mu and 
          Mingkui Tan and Xinggang Wang and Wenyu Liu and Bin Xiao},
  journal   = {TPAMI}
  year={2019}
}

参考文献

[1] 用于视觉识别的深度高分辨率表征学习。Jingdong Wang、Ke Sun、Tianheng Cheng、 Borui Jiang、Chaorui Deng、Yang Zhao、Dong Liu、Yadong Mu、Mingkui Tan、Xinggang Wang、Wenyu Liu、Bin Xiao。已被 TPAMI 接受。下载

HRNet-Facial-Landmark-Detection 快速上手指南

本指南帮助开发者快速部署基于 HRNet 的人脸关键点检测模型。

环境准备

本项目基于 Ubuntu 16.04 开发，推荐使用 NVIDIA GPU 进行训练和推理。

• 操作系统: Ubuntu 16.04 (其他 Linux 发行版未完全测试)
• Python: 3.6
• 深度学习框架: PyTorch 1.0.0
• CUDA/cuDNN: CUDA 9.0, cuDNN 7.0
• 硬件要求: 建议使用 NVIDIA P40 或同等算力 GPU (单卡即可运行)

安装步骤

1. 安装 PyTorch

请根据官方指引安装 PyTorch 1.0.0：

# 示例命令，具体版本请参照 https://pytorch.org/
pip install torch==1.0.0 torchvision==0.2.1

2. 安装项目依赖

克隆项目后，安装所需的 Python 库：

git clone https://github.com/HRNet/HRNet-Facial-Landmark-Detection.git
cd HRNet-Facial-Landmark-Detection
pip install -r requirements.txt

3. 下载预训练骨干网络

下载 HRNetV2 的 ImageNet 预训练模型，并放入指定目录：

mkdir hrnetv2_pretrained
# 请将下载的模型文件 (如 HRNetV2-W18.pth) 放入 hrnetv2_pretrained 文件夹
# 下载地址: https://1drv.ms/u/s!Aus8VCZ_C_33cMkPimlmClRvmpw

4. 准备数据集

你需要下载处理好的标注文件和原始图片。

• 标注文件: 可从 OneDrive、Cloudstor 或 百度网盘 (提取码:ypxg) 下载。
• 原始图片: 需从各数据集官网下载 (300W, AFLW, WFLW)，并放入对应的 images 文件夹。

最终目录结构应如下所示：

HRNet-Facial-Landmark-Detection
|-- lib
|-- experiments
|-- tools
|-- data
|   |-- 300w
|   |   |-- face_landmarks_300w_*.csv
|   |   |-- images
|   |-- aflw
|   |   |-- face_landmarks_aflw_*.csv
|   |   |-- images
|   |-- cofw
|   |   |-- COFW_*.mat
|   |-- wflw
|   |   |-- face_landmarks_wflw_*.csv
|   |   |-- images

基本使用

训练模型

在 experiments 目录下选择对应的配置文件（若更改 GPU 数量，需调整学习率）。以下以 WFLW 数据集为例：

python tools/train.py --cfg experiments/wflw/face_alignment_wflw_hrnet_w18.yaml

测试/推理模型

使用训练好的权重文件进行评估。以下以 WFLW 数据集为例：

python tools/test.py --cfg experiments/wflw/face_alignment_wflw_hrnet_w18.yaml --model-file HR18-WFLW.pth

提示: 其他数据集 (COFW, AFLW, 300W) 的配置文件位于 experiments 对应子目录中，使用方法同上。