人脸图像质量评估

2020年5月15日 新增了SER-FIQ (CVPR2020)。

2020年5月18日 新增了关于FIQ中的偏见 (IJCB2020)。

2021年8月13日 实现现在输出归一化的质量值。

2021年11月30日 增加了相关工作部分

SER-FIQ：基于随机嵌入鲁棒性的无监督人脸图像质量估计

IEEE/CVF计算机视觉与模式识别会议（CVPR）2020

• 研究论文
• 基于ArcFace的实现
• 视频

目录

• 摘要
• 要点
• 结果
• 安装
• 人脸质量评估中的偏见
• 相关工作
• 引用
• 致谢
• 许可证

摘要

人脸图像质量是实现高性能人脸识别系统的重要因素。人脸质量评估旨在估计一张人脸图像对于识别任务的适用性。以往的工作提出了需要人工或自动标注质量值的有监督解决方案。然而，这两种标注方式都容易出错，因为它们并不依赖于对质量的明确定义，也可能不了解所使用的人脸识别系统的最佳特征。为了避免使用不准确的质量标签，我们提出了一种基于任意人脸识别模型来衡量人脸质量的新概念。通过确定由人脸模型的随机子网络生成的嵌入变化，可以估计样本表示的鲁棒性，从而得出其质量。实验在三个公开可用的数据集上进行了跨库评估。我们将提出的方案与学术界和工业界的六种最先进方法进行了比较。结果表明，在大多数情况下，我们的无监督方案优于所有其他方法。与之前的工作不同，该方案在所有场景中都表现出稳定的性能。利用已部署的人脸识别模型来进行质量评估，完全避免了训练阶段，并且以较大优势超越了所有基线方法。我们的方案可以轻松集成到当前的人脸识别系统中，并可被修改用于人脸识别之外的其他任务。

要点

• 使用SER-FIQ进行质量评估时，最有效的方式是以已部署的人脸识别网络为基础来计算质量指标，也就是说，质量估计和识别应在同一网络上进行。这样，质量估计就能捕捉到与人脸识别系统相同的决策模式。如果您在研究中使用本GitHub上的模型，请务必将其标记为“SER-FIQ (on ArcFace)”，因为这是其底层的识别模型。
• 为了获得准确的质量估计，SER-FIQ所使用的底层人脸识别网络应使用dropout进行训练。这是因为我们的方案将对抗dropout变化的鲁棒性作为质量指标。
• 提供的代码仅用于演示如何使用SER-FIQ。SER-FIQ的主要贡献在于其测量人脸图像质量的新概念。
• 如果最后一层包含dropout，只需对该层重复进行随机前向传播即可。这会显著减少计算时间，使其缩短至生成人脸模板所需的时间。在ResNet-100上，创建一个嵌入需要24.2 GFLOPS，而估计质量仅需额外增加10%，即26.8 GFLOPS。

结果

下面展示了LFW（左）和Adience（右）上的人脸图像质量评估结果。SER-FIQ（同模型）基于ArcFace，用红色表示。图表显示了在 FMR下的FNMR，这是欧洲边境与海岸警卫局Frontex推荐的最佳实践指南中的标准。更多详细信息和结果，请参阅论文。

安装

我们建议使用虚拟环境来安装所需的软件包。推荐使用Python 3.7或3.8。 要安装这些包，请执行以下命令：

pip install -r requirements.txt

或者您也可以手动安装，使用以下命令：

pip install mxnet-cuXYZ scikit-image scikit-learn opencv-python

请将mxnet-cuXYZ替换为您所使用的CUDA版本。 在安装完所需软件包后，请下载模型文件，并将其放置在

insightface/model

文件夹中。

解压模型文件后，通过运行serfiq_example.py来验证您的安装是否正常工作。程序应打印出两张图片的分数。

基于ArcFace的SER-FIQ实现在此处：实现。
在论文中，这被称为_基于ArcFace的SER-FIQ（同模型）_。

人脸质量评估中的偏见

最佳的人脸质量评估效果是在质量评估方案建立在已部署的人脸识别系统模板的基础上时实现的。 在我们关于(人脸质量估计及其与人脸识别中人口统计学和非人口统计学偏见的相关性)的研究中，我们表明，这会导致偏见从人脸识别系统传递到质量评估方案中。 在所有我们研究的质量评估方法中，我们都观察到了基于人脸图像的人口统计学和非人口统计学特征的性能差异。

相关工作

您可能也会对我们的一些后续工作感兴趣：

• 像素级人脸图像质量评估用于可解释的人脸识别 - 将人脸图像质量评估的概念细化到单个像素级别，旨在使人脸识别过程对人类更加透明易懂。
• QMagFace：简单且准确的质量感知人脸识别 - 在基于幅度感知角度边距训练的人脸识别模型中引入图像质量信息，从而在多个非约束条件下的人脸识别基准测试中达到当前最优性能。

引用

如果您使用了本代码，请引用以下论文。

@inproceedings{DBLP:conf/cvpr/TerhorstKDKK20,
  author    = {Philipp Terh{\"{o}}rst and
               Jan Niklas Kolf and
               Naser Damer and
               Florian Kirchbuchner and
               Arjan Kuijper},
  title     = {{SER-FIQ:} 基于随机嵌入鲁棒性的无监督人脸图像质量估计},
  booktitle = {2020年IEEE/CVF计算机视觉与模式识别会议，CVPR 2020，美国华盛顿州西雅图，2020年6月13日至19日},
  pages     = {5650--5659},
  publisher = {{IEEE}},
  year      = {2020},
  url       = {https://doi.org/10.1109/CVPR42600.2020.00569},
  doi       = {10.1109/CVPR42600.2020.00569},
  timestamp = {2020年8月11日，星期二，16:59:49 +0200},
  biburl    = {https://dblp.org/rec/conf/cvpr/TerhorstKDKK20.bib},
  bibsource = {dblp计算机科学文献库，https://dblp.org}
}

@inproceedings{DBLP:conf/icb/TerhorstKDKK20,
  author    = {Philipp Terh{\"{o}}rst and
               Jan Niklas Kolf and
               Naser Damer and
               Florian Kirchbuchner and
               Arjan Kuijper},
  title     = {人脸质量评估及其与人脸识别中人口统计学和非人口统计学偏见的相关性},
  booktitle = {2020年IEEE国际生物特征联合会议，IJCB 2020，美国德克萨斯州休斯敦，2020年9月28日至10月1日},
  pages     = {1--11},
  publisher = {{IEEE}},
  year      = {2020},
  url       = {https://doi.org/10.1109/IJCB48548.2020.9304865},
  doi       = {10.1109/IJCB48548.2020.9304865},
  timestamp = {2021年1月14日，星期四，15:14:18 +0100},
  biburl    = {https://dblp.org/rec/conf/icb/TerhorstKDKK20.bib},
  bibsource = {dblp计算机科学文献库，https://dblp.org}
}

如果您使用了我们基于ArcFace实现的SER-FIQ，请额外引用原始的。

致谢

本研究工作得到了德国联邦教育与研究部以及黑森州高等教育、研究与艺术部的支持，作为其共同资助的国家应用网络安全研究中心ATHENE的一部分。

许可证

本项目根据知识共享署名-非商业性使用-相同方式共享4.0国际许可协议（CC BY-NC-SA 4.0）授权。版权所有 © 2020 达姆施塔特弗劳恩霍夫图形研究 Institute IGD

FaceImageQuality 快速上手指南

FaceImageQuality 是一个基于 SER-FIQ 算法的人脸图像质量评估开源工具。它无需人工标注，通过计算人脸识别模型中随机子网络生成的嵌入变异性（鲁棒性）来无监督地估计人脸图像质量。该工具特别适合与现有的 ArcFace 人脸识别系统集成。

环境准备

• 操作系统：Linux / macOS / Windows
• Python 版本：推荐 Python 3.7 或 3.8
• 硬件要求：建议使用支持 CUDA 的 NVIDIA GPU 以获得最佳性能（CPU 亦可运行但速度较慢）
• 前置依赖：
  • mxnet (需匹配您的 CUDA 版本)
  • scikit-image
  • scikit-learn
  • opencv-python

安装步骤

1. 创建虚拟环境（推荐）

python -m venv face_quality_env
source face_quality_env/bin/activate  # Linux/macOS
# 或
face_quality_env\Scripts\activate     # Windows

2. 安装依赖包

您可以直接安装 requirements.txt 中的依赖，或者手动安装。

方式一：自动安装

pip install -r requirements.txt

方式二：手动安装（注意替换 CUDA 版本） 请将 mxnet-cuXYZ 中的 XYZ 替换为您实际的 CUDA 版本号（例如 mxnet-cu110 对应 CUDA 11.0）。国内用户可使用清华源加速安装：

pip install mxnet-cuXYZ scikit-image scikit-learn opencv-python -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 下载模型文件

本项目依赖预训练的 ArcFace 模型文件。

1. 访问 Google Drive 链接 下载模型文件。
   • 注：若无法访问 Google Drive，请自行寻找对应的 InsightFace ArcFace 模型文件。
2. 在项目根目录下创建文件夹并将模型放入其中：

   mkdir -p insightface/model
   # 将下载的模型文件移动到此目录
   

4. 验证安装

运行示例脚本验证环境是否配置成功：

python serfiq_example.py

如果安装正确，终端将打印出两张测试图片的质量分数。

基本使用

核心实现代码位于 face_image_quality.py。以下是如何在您的项目中调用 SER-FIQ 进行质量评估的简要逻辑：

1. 导入模块：确保引入提供的实现文件。
2. 加载模型：初始化基于 ArcFace 的识别模型（需确保该模型训练时包含 Dropout 层，这是 SER-FIQ 算法的核心机制）。
3. 执行评估：对输入的人脸图像进行多次随机前向传播（Stochastic Forward Passes），计算嵌入的稳定性得分。

关键注意事项：

• 模型一致性：为了获得最佳效果，质量评估应使用与您人脸识别系统相同的网络模型（即 "SER-FIQ (on ArcFace)"）。
• Dropout 要求：底层人脸识别网络必须经过 Dropout 训练。算法利用 Dropout 产生的变化作为质量指标。
• 性能优化：如果仅在最后一层包含 Dropout，只需对该层重复随机前向传播，这将显著减少计算时间（仅比生成普通特征向量增加约 10% 的计算量）。

引用说明： 若在研究中使用此代码，请注明为 "SER-FIQ (on ArcFace)"，并引用相关的 CVPR 2020 论文及原始的 ArcFace 项目。