使用深度学习进行情绪检测

简介

本项目旨在利用深度卷积神经网络，将人脸的情绪分类为七种类别之一。该模型基于国际机器学习大会（ICML）发布的FER-2013数据集进行训练。该数据集包含35887张灰度、48x48大小的人脸图像，涵盖七种情绪——愤怒、厌恶、恐惧、快乐、 neutral、悲伤和惊讶。

依赖项

• Python 3，OpenCV，TensorFlow
• 要安装所需的软件包，请运行 pip install -r requirements.txt。

基本用法

目前该仓库与tensorflow-2.0兼容，并使用了tensorflow.keras库中的Keras API。

• 首先，克隆仓库并进入文件夹：

git clone https://github.com/atulapra/Emotion-detection.git
cd Emotion-detection

• 将FER-2013数据集下载到src文件夹中。

• 如果您想训练此模型，请使用：

cd src
python emotions.py --mode train

• 如果您想查看预测结果而无需再次训练，可以从这里下载预训练模型，然后运行：

cd src
python emotions.py --mode display

• 文件夹结构如下： src:

  • data（文件夹）
  • emotions.py（文件）
  • haarcascade_frontalface_default.xml（文件）
  • model.h5（文件）

• 此实现默认会检测网络摄像头画面中所有人脸的情绪。通过一个简单的四层CNN，在50个epoch内，测试准确率达到63.2%。

数据准备（可选）

• Kaggle上的原始FER2013数据集以单个csv文件形式提供。我将其转换为PNG格式的图像数据集，用于训练和测试。

• 如果您希望尝试新的数据集，可能需要处理CSV格式的数据。我在dataset_prepare.py文件中提供了用于数据预处理的代码，可供参考。

算法

• 首先，使用haar级联方法在摄像头每一帧中检测人脸。

• 包含人脸的图像区域被调整为48x48大小，并作为输入传递给CNN。

• 网络输出七个情绪类别的softmax分数列表。

• 屏幕上显示得分最高的情绪。

参考文献

• “表示学习中的挑战：三项机器学习竞赛报告”。I Goodfellow, D Erhan, PL Carrier, A Courville, M Mirza, B Hamner, W Cukierski, Y Tang, DH Lee, Y Zhou, C Ramaiah, F Feng, R Li,
  X Wang, D Athanasakis, J Shawe-Taylor, M Milakov, J Park, R Ionescu, M Popescu, C Grozea, J Bergstra, J Xie, L Romaszko, B Xu, Z Chuang, 和 Y. Bengio。arXiv 2013。

Emotion-detection 快速上手指南

环境准备

• 系统要求：Python 3.6+
• 前置依赖：OpenCV、TensorFlow 2.0
• 推荐使用国内镜像源加速安装：
  pip install -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆仓库并进入目录：

git clone https://github.com/atulapra/Emotion-detection.git
cd Emotion-detection

2. 安装依赖包：

pip install -r requirements.txt

3. 下载 FER-2013 数据集，放入 src/ 目录下。

基本使用

方式一：使用预训练模型实时检测（推荐）

1. 下载预训练模型：model.h5
   （如下载缓慢，可尝试使用国内网盘加速工具）

2. 将 model.h5 放入 src/ 目录

3. 启动摄像头实时情绪识别：

cd src
python emotions.py --mode display

系统将自动检测人脸并实时显示七种情绪（愤怒、厌恶、恐惧、高兴、中性、悲伤、惊讶）。

默认使用 Haar 级联检测人脸，模型为 4 层 CNN，测试准确率 63.2%。