SphereFace: 用于人脸识别的深度超球嵌入

作者：刘伟阳、温彦东、于志德、李明、Bhiksha Raj 和 宋乐

许可证

SphereFace 根据 MIT 许可证发布（详情请参阅 LICENSE 文件）。

更新

• 2022年4月10日：如果您正在寻找一个易于使用且性能优异的 SphereFace PyTorch 实现，我们现在有了！请查看我们的官方 SphereFace PyTorch 重实现 这里。

• 2018年8月14日：我们推荐一篇有趣的 ECCV 2018 论文，该论文全面评估了 SphereFace（A-Softmax）在当前广泛使用的人脸数据集以及他们提出的噪声可控 IMDb-Face 数据集上的表现。感兴趣的用户可以尝试在自己的 IMDb-Face 数据集上训练 SphereFace。请参阅 这里。

• 2018年5月23日：我们在技术报告中提出了一种显式增强类间可分性的新方法 SphereFace+。请查看 这里。代码已发布 这里。

• 2018年2月1日：应要求，发布了 SphereFace-64 的 prototxt 文件。

• 2018年1月27日：我们更新了 SphereFace 论文的附录，增加了有用的实验和分析。请参阅 这里。内容包括：

  • 去除最后一个 ReLU 的直观解释；
  • 为什么我们要对权重进行归一化，而不仅仅是为了获得更多的几何解释？
  • 将偏置置零的实证实验；
  • 更多关于 MNIST 数据集上 A-Softmax 损失的二维可视化；
  • 角度 Fisher 分数，用于评估特征的角度判别能力，这是一种新的、直接的评估指标，不同于最终的准确率。
  • 在 MegaFace 数据集上使用不同卷积层的 SphereFace 实验；
  • A-Softmax 损失的退火优化策略；
  • MegaFace 挑战赛中 3 片拼接集成策略的详细说明；

• 2018年1月20日：我们更新了一些资源，以总结目前角度间隔学习领域的最新进展。请参阅 这里。

目录

0. 简介
1. 引用
2. 要求
3. 安装
4. 使用
5. 模型
6. 结果
7. 视频演示
8. 注释
9. 第三方重实现
10. 角度间隔学习资源

简介

该仓库包含了使用 SphereFace 进行深度人脸识别的完整流程（包括所有预处理步骤）。识别流程主要分为三个步骤：人脸检测、人脸对齐和人脸识别。

SphereFace 是一种最近提出的人脸识别方法。它最初发表在一篇 arXiv 技术报告 中，随后又在 CVPR 2017 上发表。包含更多实验的最新论文可以在 arXiv 或 这里 找到。为了方便人脸识别研究，我们提供了一个使用论文中描述的 20 层 CNN 架构（即 SphereFace-20）在 CAISA-WebFace 上训练，并在 LFW 上测试的示例。

在 SphereFace 中，我们的网络架构以残差单元为基本构建块，但与标准 ResNet 有很大不同（例如，未使用 BatchNorm，用 PReLU 替代 ReLU，初始化方式也不同等）。我们提出了用于人脸识别的 4 层、20 层、36 层和 64 层架构（详细信息可在 论文 和 prototxt 文件 中找到）。我们在此提供了 20 层架构作为示例。如果我们的架构对您的研究有所帮助，请考虑引用我们的论文。

在小规模训练集协议下，SphereFace 在 MegaFace 挑战赛 中达到了当时最先进的验证性能（此前排名第一）

引用

如果您在研究中发现 SphereFace 很有用，请考虑引用：

@InProceedings{Liu_2017_CVPR,
  title = {SphereFace: 用于人脸识别的深度超球嵌入},
  author = {刘伟阳、温彦东、于志德、李明、Bhiksha Raj 和 宋乐},
  booktitle = {IEEE 计算机视觉与模式识别会议 (CVPR)},
  year = {2017}
}

我们另一项密切相关的 ICML'16 工作（更多信息)：

@InProceedings{Liu_2016_ICML,
  title = {卷积神经网络的大间隔 Softmax 损失},
  author = {刘伟阳、温彦东、于志德、杨萌},
  booktitle = {第 33 届国际机器学习大会论文集},
  year = {2016}
}

要求

1. Matlab 的要求
2. Caffe 和 matcaffe 的要求（详见：Caffe 安装说明）
3. MTCNN 的要求（详见：MTCNN - 人脸检测与对齐) 和 Pdollar toolbox 的要求（详见：Piotr 的图像与视频 Matlab 工具箱）。

安装

1. 克隆 SphereFace 仓库。我们将您克隆的目录称为 SPHEREFACE_ROOT。

   git clone --recursive https://github.com/wy1iu/sphereface.git
   

2. 构建 Caffe 和 matcaffe

   cd $SPHEREFACE_ROOT/tools/caffe-sphereface
   # 现在按照这里的 Caffe 安装说明进行操作：
   # http://caffe.berkeleyvision.org/installation.html
   make all -j8 && make matcaffe
   

使用方法

在成功完成安装后，您就可以运行以下所有实验了。

第一部分：预处理

注意：在此部分中，我们假设您位于目录 $SPHEREFACE_ROOT/preprocess/ 下。

1. 下载训练集（CASIA-WebFace）和测试集（LFW），并将它们放置在 data/ 目录中。

   mv /your_path/CASIA_WebFace  data/
   ./code/get_lfw.sh
   tar xvf data/lfw.tgz -C data/
   

   请确保 data/ 目录下包含这两个数据集。

2. 使用 MTCNN 检测 CAISA-WebFace 和 LFW 数据集中的人脸及面部关键点（参见：MTCNN - 人脸检测与对齐)。

   # 在 Matlab 命令窗口中
   run code/face_detect_demo.m
   

   这将生成一个文件 dataList.mat，位于 result/ 目录中。

3. 使用相似变换将人脸对齐到标准姿态。

   # 在 Matlab 命令窗口中
     run code/face_align_demo.m
   

   这将创建两个文件夹（CASIA-WebFace-112X96/ 和 lfw-112X96/），位于 result/ 目录中，其中包含对齐后的 face 图像。

第二部分：训练

注意：在此部分中，我们假设您位于目录 $SPHEREFACE_ROOT/train/ 下。

1. 获取训练图像和标签的列表。

   mv ../preprocess/result/CASIA-WebFace-112X96 data/
   # 在 Matlab 命令窗口中
   run code/get_list.m
   

   对齐后的 face 图像从 preprocess 文件夹移动到 train 文件夹。同时，在 data/ 目录下会生成一个名为 CASIA-WebFace-112X96.txt 的列表文件，用于后续的训练。

2. 训练 sphereface 模型。

   ./code/sphereface_train.sh 0,1
   

   训练完成后，模型文件 sphereface_model_iter_28000.caffemodel 和对应的日志文件 sphereface_train.log 将被放置在 result/sphereface/ 目录中。

第三部分：测试

注意：在此部分中，我们假设您位于目录 $SPHEREFACE_ROOT/test/ 下。

1. 获取 LFW 的配对列表（查看 2)。

   mv ../preprocess/result/lfw-112X96 data/
   ./code/get_pairs.sh
   

   确保 LFW 数据集和 pairs.txt 文件都位于 data/ 目录中。

2. 提取深度特征并在 LFW 上进行测试。

   # 在 Matlab 命令窗口中
   run code/evaluation.m
   

   最终我们会得到 sphereface_model.caffemodel、提取的特征 pairs.mat（位于 result/ 文件夹中），以及在 LFW 上的准确率如下：

   fold	1	2	3	4	5	6	7	8	9	10	AVE
   ACC	99.33%	99.17%	98.83%	99.50%	99.17%	99.83%	99.17%	98.83%	99.83%	99.33%	99.30%

模型

1. 网络架构可视化（工具来自 ethereon）：
   • SphereFace-20：链接
2. 模型文件
   • SphereFace-20：Google Drive | 百度网盘
   • 第三方提供的 SphereFace-4 和 SphereFace-6：这里，由 zuoqing1988 提供

结果

1. 按照说明，我们完整地执行了整个流程五次。以下是我们在 LFW 上的准确率。总体而言，我们报告的是平均值，但此处发布了 model-3。

   实验	#1	#2	#3 (已发布)	#4	#5
   ACC	99.24%	99.20%	99.30%	99.27%	99.13%

2. 其他中间结果：

   • LFW 特征：Google Drive | 百度网盘
   • 训练日志：Google Drive | 百度网盘

视频演示

请点击图片观看 YouTube 视频。对于优酷用户，请点击这里。

详细信息：

1. 这是一个开放集人脸识别场景。视频按帧处理，遵循本仓库中的相同流程。
2. 库集合包含 6 个身份。每个主要角色仅有一张库集合中的 face 图像。所有检测到的 face 都被纳入探测集合。
3. 库集合与训练集（CASIA-WebFace）之间没有重叠。
4. 每个探测 face 与库集合之间的得分是通过余弦相似度计算的。如果某个探测 face 的最高得分低于预定义的阈值，则该探测 face 将被视为异常值。
5. 主要角色用不同颜色的框标注。（ 瑞秋， 莫妮卡， 菲比， 乔伊， 钱德勒， 罗斯）

注释

1. 反向梯度

   • 在本次实现中，我们并未严格遵循论文中的公式。相反，我们对梯度的尺度进行了归一化处理。这可以被理解为一种动态调整学习率的策略，有助于更稳定地收敛。类似的想法和直觉也出现在归一化梯度和投影梯度下降中。
   • 更具体地说，如果函数 f 关于 x 的原始梯度可以表示为 df/dx = coeff_w * w + coeff_x * x，那么我们在反向传播时会使用归一化的版本 [df/dx] = (coeff_w * w + coeff_x * x) / norm_wx，其中 norm_wx 是 sqrt(coeff_w^2 + coeff_x^2)。同样的操作也应用于 f 关于 w 的梯度。
   • 实际上，你并不一定需要使用原始梯度，因为原始梯度有时并不是最优的设计。修改反向传播梯度的一个重要标准是，新的“梯度”（严格来说，它已经不再是梯度了）需要能够稳定且持续地降低目标函数值。（关于基于梯度的反向传播的一些失败案例，我推荐观看由Shai Shalev-Shwartz所作的精彩演讲）
   • 如果你使用原始梯度进行反向传播，仍然可以使其工作，但可能需要调整不同的 lambda 参数设置、迭代次数以及学习率衰减策略。

2. Lambda 和 训练注意事项（当损失变为 87 时）

   • 请参考我们之前的注释与说明。

3. 根据最新进展，使用带有可调缩放参数 s 的特征归一化可以显著提升 SphereFace 在 MegaFace 挑战赛上的性能

   • 这一点得到了CosFace实验的支持。类似的思想也出现在加性间隔 softmax中。

4. 收敛困难 - 当你在收敛过程中遇到困难时（例如在其他数据集上使用 SphereFace 时可能会出现这种情况），通常有几种简单的方法可以解决。

   • 首先，尝试使用较大的小批量大小。
   • 其次，尝试使用 PReLU 而不是 ReLU。
   • 第三，增加网络的宽度和深度。
   • 第四，尝试使用更好的初始化方法。例如，使用从原始 softmax 损失中预训练得到的模型（这也相当于微调）。
   • 最后，也是最有效的方法，就是调整 lambda_min、lambda 及其衰减速率等超参数。

第三方重实现

• PyTorch：由 clcarwin 提供的 代码。
• PyTorch：由 Joyako 提供的 代码。
• TensorFlow：由 pppoe 提供的 代码。
• TensorFlow（附带精彩动画）：由 YunYang1994 提供的 代码。
• TensorFlow：由 hujun100 提供的 代码。
• TensorFlow：由 HiKapok 提供的 代码。
• TensorFlow：由 andrewhuman 提供的 代码。
• MXNet：由 deepinsight 提供的 代码，通过设置 loss-type=1: SphereFace。
• SphereFace 的模型压缩：由 Siyang Liu 提供的 代码（在实际应用中非常有用）。
• Caffe2：由 tpys 提供的 代码。
• 基于 MS-1M 数据集训练：由 KaleidoZhouYN 提供的 代码。
• 系统：由 tpys 使用 SphereFace 构建的酷炫的人脸演示系统。
• 第三方预训练模型：由 goodluckcwl 提供的 代码。

角度间隔学习相关资源

L-Softmax 损失和SphereFace为角度表示学习提供了一个很有前景的框架，在深度人脸识别任务中表现出极高的有效性。我们非常高兴的是，我们的工作启发了许多表现优异的方法（以及损失函数）。以下列出其中一些供您参考（可能并非最新）：

• 加性间隔 softmax：论文和代码。
• CosFace：论文。
• ArcFace/InsightFace：论文和代码。
• NormFace：论文和代码。
• L2-Softmax：论文。
• 冯·米塞斯-费舍尔混合模型：论文。
• COCO 损失：论文和代码。
• 角度三元组损失：代码。

为了评估角度间隔学习方法的有效性，您可以考虑使用我们在SphereFace 论文的附录 E 中提出的角 Fisher 分数。

免责声明：其中一些方法可能并非直接受到我们的启发，但我们仍将其列出，以体现其相关性和卓越性。

联系方式

Weiyang Liu 和 Yandong Wen

您也可以在仓库中留下问题，我们将很乐意为您解答。

SphereFace 快速上手指南

SphereFace 是一种基于深度超球面嵌入的人脸识别方法，通过引入角度间隔损失（A-Softmax Loss）显著提升了人脸识别的精度。本指南基于官方 Caffe 实现，帮助开发者快速完成环境搭建、模型训练与测试。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐 Ubuntu)
• 核心依赖:
  • Matlab: 用于数据预处理和结果评估。
  • Caffe & matcaffe: 深度学习框架及其 Matlab 接口。
  • MTCNN: 用于人脸检测与关键点定位 (GitHub 链接)。
  • Piotr's Toolbox: Matlab 图像工具箱 (GitHub 链接)。
• 硬件: 建议配备 NVIDIA GPU 以加速训练过程。

注意：官方仓库主要基于 Caffe 框架。如果您寻求更易用的 PyTorch 版本，官方已发布重实现版本，请访问 opensphere.world。本指南仅针对原始 Caffe 版本。

安装步骤

1. 克隆仓库

首先克隆 SphereFace 代码库（包含子模块），我们将该目录称为 SPHEREFACE_ROOT。

git clone --recursive https://github.com/wy1iu/sphereface.git
cd sphereface
export SPHEREFACE_ROOT=$(pwd)

2. 编译 Caffe

进入工具目录并编译 Caffe 及 matcaffe 接口。请确保已安装 Caffe 所需的基础依赖（如 CUDA, cuDNN, OpenCV 等）。

cd $SPHEREFACE_ROOT/tools/caffe-sphereface
# 参考 Caffe 官方安装说明配置 Makefile.config (如有需要)
# http://caffe.berkeleyvision.org/installation.html

make all -j8 && make matcaffe

3. 配置 Matlab 路径

启动 Matlab，将 MTCNN 和 Piotr's Toolbox 添加到 Matlab 搜索路径中，以便后续运行预处理脚本。

基本使用

以下流程涵盖从数据预处理、模型训练到测试评估的完整闭环。示例使用 CASIA-WebFace 数据集进行训练，并在 LFW 数据集上进行测试。

第一步：数据预处理 (Preprocessing)

进入预处理目录，准备数据并进行人脸对齐。

1. 准备数据集 下载 CASIA-WebFace 和 LFW 数据集，并按以下方式组织：

   cd $SPHEREFACE_ROOT/preprocess/
   mv /your_path/CASIA_WebFace data/
   ./code/get_lfw.sh
   tar xvf data/lfw.tgz -C data/
   

2. 人脸检测与关键点定位 在 Matlab 命令行窗口中运行检测脚本（需确保 MTCNN 已在路径中）：

   % 在 Matlab Command Window 中执行
   run code/face_detect_demo.m
   

   执行后将生成 result/dataList.mat。

3. 人脸对齐 运行对齐脚本，将人脸裁剪并归一化为 112x96 尺寸：

   % 在 Matlab Command Window 中执行
   run code/face_align_demo.m
   

   执行后将在 result/ 目录下生成 CASIA-WebFace-112X96/ 和 lfw-112X96/ 文件夹。

第二步：模型训练 (Train)

进入训练目录，生成训练列表并启动训练。

1. 生成训练列表 将对齐后的训练数据移至训练目录并生成列表文件：

   cd $SPHEREFACE_ROOT/train/
   mv ../preprocess/result/CASIA-WebFace-112X96 data/
   

   然后在 Matlab 中运行：

   % 在 Matlab Command Window 中执行
   run code/get_list.m
   

2. 开始训练 使用提供的脚本启动训练（示例使用 GPU 0 和 1）：

   ./code/sphereface_train.sh 0,1
   

   训练完成后，模型文件 sphereface_model_iter_28000.caffemodel 和日志将保存在 result/sphereface/ 目录中。

   提示：如需直接下载使用预训练模型，可访问 Google Drive 或 百度网盘 获取 SphereFace-20 模型。

第三步：模型测试 (Test)

进入测试目录，在 LFW 数据集上评估模型性能。

1. 准备测试数据对 将对齐后的 LFW 数据移至测试目录并生成配对列表：

   cd $SPHEREFACE_ROOT/test/
   mv ../preprocess/result/lfw-112X96 data/
   ./code/get_pairs.sh
   

2. 提取特征并评估 在 Matlab 中运行评估脚本：

   % 在 Matlab Command Window 中执行
   run code/evaluation.m
   

   脚本运行结束后，将输出 LFW 上的准确率（通常可达 99.30% 左右），并在 result/ 目录下生成特征文件 pairs.mat。