:boom:大爆炸:boom:

感受野是天然锚点

感受野就是全部所需

2K分辨率下的实时检测竟然如此简单！

[论文] [MXNet] [PyTorch]

---

MobileFace

一款移动端的人脸识别解决方案。

前置条件

• Anaconda（可选但推荐）
• MXNet和GluonCV（最简单的安装方式）
• DLib（未来可能会被弃用）
  安装DLib最简单的方式是通过pip。

pip install dlib

性能

识别

模型	框架	大小	CPU	LFW	目标
MobileFace_Identification_V1	MXNet	3.40M	8.5ms	-	实际场景
MobileFace_Identification_V2	MXNet	3.41M	9ms	99.653%	基准测试
:star2:MobileFace_Identification_V3	MXNet	2.10M	:boom:3ms(sota)	95.466%(基准)	基准测试

检测

模型	框架	大小	CPU
MobileFace_Detection_V1	MXNet/GluonCV	30M	20ms/50fps

特征点

模型	框架	大小	CPU
MobileFace_Landmark_V1	DLib	5.7M	<1ms

姿态

模型	框架	大小	CPU
MobileFace_Pose_V1	免费	<1K	<0.1ms

对齐

模型	框架	大小	CPU
MobileFace_Align_V1	免费	<1K	<0.1ms

属性

模型	框架	大小	CPU
MobileFace_Attribute_V1	MXNet/GluonCV	16.4M	14ms/71fps

跟踪

模型	框架	大小	CPU
MobileFace_Tracking_V1	免费	-	<2ms

示例

使用MXNet快速获取人脸特征嵌入：

cd example
python get_face_feature_v1_mxnet.py # v1, v2, v3

使用MXNet/GluonCV快速获取人脸检测结果：

cd example
python get_face_boxes_gluoncv.py

使用dlib快速获取人脸特征点结果：

cd example
python get_face_landmark_dlib.py

快速获取人脸姿态结果：

cd example
python get_face_pose.py

快速获取人脸对齐结果：

cd example
python get_face_align.py

快速获取人脸属性结果：

cd example
python get_face_attribute_gluoncv.py

获取MobileFace所有结果：

cd example
python mobileface_allinone.py

获取MobileFace快速跟踪结果：

cd example
python get_face_tracking_v1.py

获取MobileFace化妆效果：

cd example
python get_face_makeup_v1.py

获取MobileFace增强效果：

cd example
python get_face_enhancement_v1.py

可视化

t-SNE

我使用t-SNE算法将256维的特征空间在二维平面上可视化。每种颜色代表不同的人（但颜色会重复使用）：可以看到，MobileFace已经学会将这些图片紧密地聚类在一起。（使用t-SNE算法时，簇之间的距离并无实际意义）

要获得上述t-SNE特征可视化效果，请按以下步骤操作：

cd tool/tSNE
python face2feature.py # 获取特征和标签并保存到txt文件
python tSNE_feature_visualization.py # 加载txt文件，使用t-SNE在2D平面上可视化人脸特征

ConfusionMatrix

我使用ConfusionMatrix来可视化LFW-Aligned-100Pair的256维特征相似度热图：可以看出，MobileFace已经学会了在计算同一个人的不同两张人脸照片时，得到更高的相似度。尽管V1版本在LFW数据集上的表现并不特别出色，但这并不意味着它不能应用于实际场景。

要获得上述ConfusionMatrix特征相似度热图可视化效果，请按以下步骤操作：

cd tool/ConfusionMatrix
python ConfusionMatrix_similarity_visualization.py

工具

时间

要获取不同版本MXNet模型的推理时间，请按以下步骤操作：

cd tool/time
python inference_time_evaluation_mxnet.py --symbol_version=V3 # 默认为V1

模型剪枝

通过删除不必要的层（如分类层和损失层），仅保留特征层来减小模型大小以进行推理：

cd tool/prune
python model_prune_mxnet.py

MXNet2Caffe

合并bn

基准测试

LFW

LFW测试数据集（由MTCNN对齐并裁剪为112x112）可以从Dropbox或百度网盘下载，然后将其命名为lfw.bin并放入data/LFW-bin目录中。
要获得LFW对比结果并绘制ROC曲线，请按以下步骤操作：

cd benchmark/LFW
python lfw_comparison_and_plot_roc.py

MegaFace

待办事项

• MobileFace_Identification
• MobileFace_Detection
• MobileFace_Landmark
• MobileFace_Align
• MobileFace_Attribute
• MobileFace_Pose
• MobileFace_Tracking
• MobileFace_Makeup
• MobileFace_Enhancement
• MobileFace_FacePortrait
• MobileFace_FaceSwap
• MobileFace_MakeupSwap
• MobileFace_NCNN
• MobileFace_FeatherCNN
• Benchmark_LFW
• Benchmark_MegaFace

其他

即将推出！

人脸肖像

化妆换脸

人脸交换

参考资料

• t-SNE
• InsightFace
• SORT

MobileFace 快速上手指南

MobileFace 是一套专为移动设备设计的高效人脸识别解决方案，涵盖人脸检测、识别、关键点定位、姿态估计、属性分析及追踪等功能。基于 MXNet/GluonCV 框架，具有轻量级、推理速度快的特点。

环境准备

系统要求

• 操作系统：Linux / macOS / Windows
• Python 版本：推荐 Python 3.6+
• 硬件：支持 CPU 推理（部分模型在 GPU 上表现更佳）

前置依赖

建议安装 Anaconda 以管理虚拟环境（可选但推荐）。

核心依赖库：

1. MXNet 和 GluonCV：用于模型推理。
2. DLib：用于人脸关键点检测（未来可能弃用，目前仍需安装）。

国内加速提示：安装 Python 包时建议使用清华或阿里镜像源以提升下载速度。 例如：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package_name>

安装步骤

1. 安装 MXNet 和 GluonCV

推荐使用官方提供的最简便安装方式，或根据国内网络情况使用 pip 安装：

pip install mxnet gluoncv
# 若需 GPU 版本，请替换为 mxnet-cu102 (根据你的 CUDA 版本调整)
# pip install mxnet-cu102 gluoncv

注：详细安装指南可参考 GluonCV 官方文档

2. 安装 DLib

通过 pip 直接安装：

pip install dlib

(若编译失败，请确保系统已安装 C++ 编译器及 CMake)

3. 获取代码

克隆项目仓库（假设项目名为 MobileFace）：

git clone https://github.com/becauseofAI/MobileFace.git
cd MobileFace

基本使用

以下示例展示了如何快速运行核心功能。所有脚本均位于 example 目录下。

1. 人脸特征提取 (Identification)

提取人脸特征向量（支持 V1/V2/V3 版本）：

cd example
python get_face_feature_v1_mxnet.py

2. 人脸检测 (Detection)

获取人脸检测框结果：

cd example
python get_face_boxes_gluoncv.py

3. 人脸关键点定位 (Landmark)

获取人脸 5 点或更多关键点坐标：

cd example
python get_face_landmark_dlib.py

4. 全能模式 (All-in-One)

一次性运行检测、对齐、识别等全套流程：

cd example
python mobileface_allinone.py

5. 其他高级功能

• 人脸追踪: python get_face_tracking_v1.py
• 人脸美妆: python get_face_makeup_v1.py
• 图像增强: python get_face_enhancement_v1.py
• 姿态估计: python get_face_pose.py

运行完成后，结果图片或数据将保存在对应的输出目录中。