一种适用于带噪声标签的深度人脸表征轻量级CNN

引用

如果您使用我们的模型，请引用以下论文：

@article{wulight,
  title={A Light CNN for Deep Face Representation with Noisy Labels},
  author={Wu, Xiang and He, Ran and Sun, Zhenan and Tan, Tieniu}
  journal={arXiv preprint arXiv:1511.02683},
  year={2015}
}
@article{wu2015lightened,
  title={A Lightened CNN for Deep Face Representation},
  author={Wu, Xiang and He, Ran and Sun, Zhenan},
  journal={arXiv preprint arXiv:1511.02683},
  year={2015}
}
@article{wu2015learning,
  title={Learning Robust Deep Face Representation},
  author={Wu, Xiang},
  journal={arXiv preprint arXiv:1507.04844},
  year={2015}
}

更新

• 2016年12月16日
  • MS-Celeb-1M清洁列表已上传：百度云，Google Drive。
• 2016年11月8日
  • 基于caffe-rc3的prototxt和模型C已更新。在LFW上的准确率达到98.80%，TPR@FAR=0达到94.97%。
  • 在MegaFace数据集的第一子集中，rank-1准确率为65.532%，TPR@FAR=10^-6为75.854%。
• 2015年11月26日
  • prototxt和模型B已更新，在未在LFW上进行训练的情况下，单个网络在LFW上的准确率达到98.13%。
• 2015年8月13日
  • 发布了LFW识别协议的评估结果。
• 2015年6月11日
  • prototxt和模型A发布。在LFW上的准确率达到97.77%。

概述

深度人脸表征实验基于卷积神经网络，旨在学习用于人脸验证任务的鲁棒特征。我们使用流行的深度学习框架[i]caffe/i在CASIA-WebFace、VGG-Face和MS-Celeb-1M等人脸数据集上进行训练。特征提取则通过Python代码[i]caffe_ftr.py/i实现。

结构

• 代码
  • 数据预处理和评估代码
• 模型
  • caffemodel。
    • 模型A和B由caffe-rc在CASIA-WebFace上训练而成。
    • 模型C由caffe-rc3在MS-Celeb-1M上训练而成。
• Proto
  • 使用caffe实现的轻量化CNN
• 结果
  • LFW特征

描述

数据预处理

1. 下载人脸数据集，如CASIA-WebFace、VGG-Face和MS-Celeb-1M。
2. 所有人脸图像均转换为灰度图像，并根据地标点将其归一化为144x144像素。
3. 根据5个面部关键点，我们不仅将两眼水平对齐，还设定了眼睛中点与嘴部中点之间的垂直距离(ec_mc_y)以及眼睛中点的y坐标(ec_y)。

数据集	尺寸	ec_mc_y	ec_y
训练集	144x144	48	48
测试集	128x128	48	40

训练

1. 模型由开源深度学习框架caffe进行训练。
2. 网络配置在“proto”文件中展示，训练好的模型则保存在“model”文件中。

评估

1. 模型在LFW上进行评估，LFW是人脸验证任务中常用的数据集。
2. 提取的特征和LFW测试对位于“results”文件中。
3. 为了评估模型，可以使用matlab代码或其他ROC评估代码。
4. 模型也在MegaFace上进行了评估。该数据集和评估代码可从http://megaface.cs.washington.edu/下载。

结果

单个卷积网络的测试是在无监督条件下进行的，仅计算LFW配对的余弦相似度。

模型	100% - EER	TPR@FAR=1%	TPR@FAR=0.1%	TPR@FAR=0	Rank-1	DIR@FAR=1%
A	97.77%	94.80%	84.37%	43.17%	84.79%	63.09%
B	98.13%	96.73%	87.13%	64.33%	89.21%	69.46%
C	98.80%	98.60%	96.77%	94.97%	93.80%	84.40%

详细信息已作为技术报告发表在arXiv上。

发布的模型仅允许非商业用途。

face_verification_experiment 快速上手指南

本项目基于 Caffe 深度学习框架，提供了一套轻量级 CNN（Light CNN）模型，用于在含噪声标签的数据集上学习鲁棒的人脸特征表示，主要应用于人脸验证任务。

环境准备

系统要求

• 操作系统: Linux (推荐 Ubuntu)
• 深度学习框架: Caffe
  • 模型 A 和 B 基于 caffe-rc 训练。
  • 模型 C 基于 caffe-rc3 训练（推荐安装此版本以获得最佳性能）。
• 编程语言: Python (用于特征提取), MATLAB (用于评估，可选)

前置依赖

确保已安装以下依赖库：

• OpenCV
• LevelDB / LMDB
• CUDA & cuDNN (如需 GPU 加速)
• Python 扩展：numpy, scipy

注意：本项目使用的 Caffe 版本可能包含特定修改，建议参考原作者的 Caffe 分支：AlfredXiangWu/caffe。

安装步骤

1. 克隆项目代码

   git clone https://github.com/AlfredXiangWu/lfw_face_verification_experiment.git
   cd lfw_face_verification_experiment
   

2. 编译 Caffe 如果您尚未安装适配本项目的 Caffe，请克隆并编译作者提供的版本：

   git clone https://github.com/AlfredXiangWu/caffe.git
   cd caffe
   # 复制示例配置文件并修改 CUDA 路径等参数
   cp Makefile.config.example Makefile.config
   make all -j8
   make pycaffe
   

   请将编译好的 Caffe 路径添加到您的 PYTHONPATH 环境变量中。

3. 下载预训练模型 根据需求下载对应的 .caffemodel 文件（Model A, B 或 C），并将其放入项目的 model 目录中。

   • Model C (性能最佳，基于 MS-Celeb-1M): 需自行从相关资源获取或通过项目更新日志中的链接下载。

4. 准备数据集 (可选) 若需重新训练或预处理数据，请下载 CASIA-WebFace、VGG-Face 或 MS-Celeb-1M 数据集，并按照 Description 中的要求进行灰度化及关键点归一化处理（144x144 或 128x128）。

基本使用

本项目的核心功能是通过 Python 脚本提取人脸特征并进行验证评估。

1. 提取人脸特征

使用提供的 caffe_ftr.py 脚本加载模型并提取特征。确保已将 Caffe 的 python 接口加入路径。

# 示例命令：使用 Model C 提取测试集特征
# 请根据实际情况修改 --proto_file, --model_file 和 --image_list 路径
python caffe_ftr.py \
    --proto_file proto/light_cnn_v29_test.prototxt \
    --model_file model/light_cnn_v29.caffemodel \
    --image_list data/lfw_test_pair.txt \
    --output_dir results/features

注：caffe_ftr.py 源码可参考：caffe_ftr.py

2. 评估模型性能

提取特征后，可使用 MATLAB 代码计算 LFW 数据集上的准确率（Accuracy）、ROC 曲线等指标。

% 在 MATLAB 中运行评估脚本
% 确保 results 目录下包含提取的特征文件和 LFW 测试对文件
evaluation; 

评估代码位置：code/evaluation.m

3. 预期结果

使用单卷积网络在无监督设置下（仅计算余弦相似度），各模型在 LFW 数据集上的参考性能如下：

模型	100% - EER	TPR@FAR=0	Rank-1
Model A	97.77%	43.17%	84.79%
Model B	98.13%	64.33%	89.21%
Model C	98.80%	94.97%	93.80%

许可声明：发布的模型仅限非商业用途。如需商用，请联系作者或查阅原始论文。