人脸表情识别.Pytorch

基于卷积神经网络的 PyTorch 实现，用于人脸表情识别（FER2013 和 CK+ 数据集），在 FER2013 数据集中达到 73.112% 的准确率（当前最优），在 CK+ 数据集中达到 94.64% 的准确率。

演示

依赖项

• Python 2.7
• Pytorch >=0.2.0
• h5py（预处理）
• sklearn（绘制混淆矩阵）

使用预训练模型对测试图像进行可视化

• 首先从 https://drive.google.com/open?id=1Oy_9YmpkSKX1Q8jkOhJbz3Mc7qjyISzU（或 https://pan.baidu.com/s/1gCL0TlCwKctAy_5yhzHy5Q，提取码：g2d3）下载预训练模型，并将其放入“FER2013_VGG19”文件夹；然后将测试图像重命名为 1.jpg 并放入“images”文件夹，接着运行
• python visualize.py

FER2013 数据集

• 数据集来源：https://www.kaggle.com/c/challenges-in-representation-learning-facial-expression-recognition-challenge/data 图像属性：48 x 48 像素（2304 字节） 标签：0=愤怒，1=厌恶，2=恐惧，3=快乐，4=悲伤，5=惊讶，6= neutral 训练集包含 28,709 个样本。公开测试集包含 3,589 个样本。私有测试集也包含 3,589 个样本。

FER2013 数据预处理

• 首先下载数据集文件（fer2013.csv），并将其放入“data”文件夹，然后运行
• python preprocess_fer2013.py

训练与评估模型

• python mainpro_FER.py --model VGG19 --bs 128 --lr 0.01

绘制混淆矩阵

• python plot_fer2013_confusion_matrix.py --model VGG19 --split PrivateTest

FER2013 准确率

• 模型： VGG19 ; 公开测试集准确率： 71.496% ; 私有测试集准确率：73.112%
  
• 模型： Resnet18 ; 公开测试集准确率： 71.190% ; 私有测试集准确率：72.973%

CK+ 数据集

• CK+ 数据集是 CK 数据集的扩展版本，包含 327 个带标签的人脸视频。 我们从 CK+ 数据集中的每个序列中提取最后三帧，总共得到 981 个面部表情。实验中采用 10 折交叉验证。

对某一折进行训练与评估

• python mainpro_CK+.py --model VGG19 --bs 128 --lr 0.01 --fold 1

对所有 10 折进行训练与评估

• python k_fold_train.py

绘制所有折的混淆矩阵

• python plot_CK+_confusion_matrix.py --model VGG19

CK+ 准确率

• 模型： VGG19 ; 测试集准确率： 94.646%
  
• 模型： Resnet18 ; 测试集准确率： 94.040%

Facial-Expression-Recognition.Pytorch 快速上手指南

本项目是一个基于 PyTorch 的卷积神经网络（CNN）实现，用于面部表情识别。在 FER2013 数据集上达到了 73.112% 的准确率（SOTA），在 CK+ 数据集上达到了 94.64% 的准确率。

环境准备

系统要求

• Python: 2.7 (注：现代开发建议尝试 Python 3，但官方文档指定为 2.7)
• PyTorch: >= 0.2.0

前置依赖

请确保安装以下 Python 库：

pip install torch h5py sklearn

注：h5py 用于数据预处理，sklearn 用于绘制混淆矩阵。

安装与模型准备

1. 下载预训练模型

要快速体验效果，需先下载预训练的 VGG19 模型。

下载地址：

• Google Drive: 点击下载
• 百度网盘 (国内加速): 点击下载 (提取码：g2d3)

2. 部署模型文件

将下载好的模型文件放入项目根目录下的 FER2013_VGG19 文件夹中。

基本使用

快速测试单张图片

这是最简单的使用方式，无需重新训练即可对单张图片进行表情识别可视化。

1. 准备图片： 将你要测试的图片重命名为 1.jpg，并放入项目根目录下的 images 文件夹中。

2. 运行可视化脚本： 在终端执行以下命令：

   python visualize.py
   

   程序将加载预训练模型，识别 images/1.jpg 中的表情并输出结果。

---

（可选）数据集训练流程

如果你需要从头训练模型，请参考以下简要步骤：

FER2013 数据集

1. 获取数据：从 Kaggle 下载 fer2013.csv 并放入 data 文件夹。
2. 预处理：

   python preprocess_fer2013.py
   

3. 训练与评估 (VGG19)：

   python mainpro_FER.py --model VGG19 --bs 128 --lr 0.01
   

CK+ 数据集

1. 单折训练 (Fold 1)：

   python mainpro_CK+.py --model VGG19 --bs 128 --lr 0.01 --fold 1
   

2. 全部 10 折交叉验证训练：

   python k_fold_train.py