使用残差掩码网络进行面部表情识别

(*) 最先进的面部表情识别/情绪检测。

安装

1. 通过 pip 安装

pip install rmn

2. 或者从源代码构建

git clone git@github.com:phamquiluan/ResidualMaskingNetwork.git
cd ResidualMaskingNetwork
pip install -e .

快速入门

from rmn import RMN
import cv2

# 初始化模型
m = RMN()

# 从图像中检测情绪
image = cv2.imread("your-image.png")
results = m.detect_emotion_for_single_frame(image)
print(results)

# 在图像上绘制结果
image = m.draw(image, results)
cv2.imwrite("output.png", image)

网络摄像头演示

from rmn import RMN
m = RMN()
m.video_demo()

目录

• FER2013 数据集上的基准测试
• ImageNet 数据集上的基准测试
• 下载数据集
• 在 FER2013 上训练
• 在 ImageNet 上训练
• 评估结果
• 下载论文和幻灯片

FER2013 数据集上的基准测试

我们在两个数据集上对我们的代码进行了全面的基准测试：FER2013 和 VEMO。以下是结果和训练好的权重：

模型	准确率
VGG19	70.80
EfficientNet_b2b	70.80
Googlenet	71.97
Resnet34	72.42
Inception_v3	72.72
Bam_Resnet50	73.14
Densenet121	73.16
Resnet152	73.22
Cbam_Resnet50	73.39
ResMaskingNet	74.14
ResMaskingNet + 6	76.82

VEMO 数据集上的结果可以在我的论文或幻灯片中找到（附在下方）。

ImageNet 数据集上的基准测试

我们还在 ImageNet 数据集上对我们的模型进行了基准测试。

模型	Top-1 准确率	Top-5 准确率
Resnet34	72.59	90.92
CBAM Resnet34	73.77	91.72
ResidualMaskingNetwork	74.16	91.91

数据集

• FER2013 数据集（位于 saved/data/fer2013，例如 saved/data/fer2013/train.csv）
• ImageNet 1K 数据集（确保可以被 torchvision.datasets.Imagenet 加载）

在 FER2013 上训练

要训练这些网络，您需要在配置文件中指定模型名称和其他超参数（位于 configs/*），然后确保它被加载到主文件中，最后只需运行主文件即可开始训练，例如：

python main_fer.py  # 以 fer2013_config.json 文件为例

最佳检查点将根据最佳验证准确率来选择，保存在 saved/checkpoints 中。默认情况下，它会训练 alexnet 模型，您可以编辑 configs/fer2013_config.json 文件将其切换为其他模型（如 resnet18、cbam_resnet50 或我的网络 resmasking_dropout1）。

在 ImageNet 数据集上训练

要在单台机器上使用 4 块 V100 GPU 训练 resnet34：

python ./main_imagenet.py -a resnet34 --dist-url 'tcp://127.0.0.1:12345' --dist-backend 'nccl' --multiprocessing-distributed --world-size 1 --rank 0

集成方法

我使用了无权重求和平均的集成方法，将7个不同的模型融合在一起。为了复现结果，你需要执行以下步骤：

1. 下载所有需要的预训练权重，并将其放置在 ./saved/checkpoints/ 目录下。下载链接可以在基准测试部分找到。
2. 编辑文件 gen_results 并运行它，为每个模型生成离线结果。
3. 运行 gen_ensemble.py 文件，以生成示例方法的准确率。

学位论文与演示文稿

• 学位论文 PDF（越南语）
• 学位论文 Overleaf 源文件
• 英文版演示文稿 PDF（含完整附录）
• 英文版演示文稿 Overleaf 源文件
• ICPR 论文
• ICPR 海报 Overleaf 源文件

引用

Pham Luan, The Huynh Vu, 和 Tuan Anh Tran. “基于残差掩码网络的表情识别”。载于：ICPR 会议论文集。2020年。

@inproceedings{pham2021facial,
  title={基于残差掩码网络的表情识别},
  author={Pham, Luan 和 Vu, The Huynh 和 Tran, Tuan Anh},
  booktitle={2020年第25届国际模式识别会议（ICPR）},
  pages={4513--4519},
  year={2021},
  organization={IEEE}
}

星标历史

许可证

本项目采用 MIT 许可证授权——详情请参阅 LICENSE 文件。

ResidualMaskingNetwork 快速上手指南

ResidualMaskingNetwork (RMN) 是一个基于残差掩码网络的面部表情识别（情感检测）开源工具，在 FER2013 等数据集上达到了业界领先的准确率。本指南将帮助你快速在本地部署并使用该模型。

环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统: Linux, macOS 或 Windows
• Python 版本: Python 3.6 或更高版本
• 核心依赖:
  • torch (PyTorch)
  • torchvision
  • opencv-python (cv2)
  • numpy
  • pillow

提示：如果你尚未安装 PyTorch，建议先访问 PyTorch 官网 根据你的 CUDA 版本获取安装命令。国内用户可使用清华源加速安装：

pip install torch torchvision -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

你可以通过 PyPI 直接安装，也可以从源码构建。

方式一：使用 pip 安装（推荐）

这是最快捷的方式，适合直接使用模型进行推理。

pip install rmn

国内用户加速安装：

pip install rmn -i https://pypi.tuna.tsinghua.edu.cn/simple

方式二：从源码构建

如果你需要修改代码或贡献内容，可以选择此方式。

git clone git@github.com:phamquiluan/ResidualMaskingNetwork.git
cd ResidualMaskingNetwork
pip install -e .

基本使用

安装完成后，只需几行代码即可对图片或摄像头进行情感分析。

1. 图片情感识别

以下示例展示如何读取一张图片，检测其中的人脸情绪，并将结果绘制在图片上保存。

from rmn import RMN
import cv2

# 初始化模型
m = RMN()

# 读取图片
image = cv2.imread("your-image.png")

# 检测单帧图像中的情绪
results = m.detect_emotion_for_single_frame(image)
print(results)

# 将检测结果（边界框和标签）绘制到图片上
image = m.draw(image, results)

# 保存输出图片
cv2.imwrite("output.png", image)

2. 摄像头实时演示

如果你想直接调用摄像头进行实时表情检测，可以使用内置的演示功能：

from rmn import RMN

# 初始化模型并启动视频演示
m = RMN()
m.video_demo()

运行上述代码后，程序将打开默认摄像头，并在视频流中实时标注检测到的人脸及其对应的情绪（如高兴、悲伤、愤怒等）。按 q 键可退出演示。