语音情感识别

使用 LSTM、CNN、SVM 和 MLP 进行语音情感识别，基于 Keras 实现。

通过改进特征提取方法，识别准确率提升至约 80%。原始版本的代码已归档在 First-Version 分支。

英文文档 | 中文文档

 

环境

• Python 3.8
• Keras & TensorFlow 2

 

结构

├── models/                // 模型实现
│   ├── common.py          // 所有模型的基类
│   ├── dnn                // 神经网络模型
│   │   ├── dnn.py         // 所有神经网络模型的基类
│   │   ├── cnn.py         // CNN
│   │   └── lstm.py        // LSTM
│   └── ml.py              // SVM & MLP
├── extract_feats/         // 特征提取
│   ├── librosa.py         // librosa 提取特征
│   └── opensmile.py       // Opensmile 提取特征
├── utils/
│   ├── files.py           // 用于整理数据集（分类、批量重命名）
│   ├── opts.py            // 使用 argparse 从命令行读入参数
│   └── plot.py            // 绘图（雷达图、频谱图、波形图）
├── config/                // 配置参数（.yaml）
├── features/              // 存储提取好的特征
├── checkpoints/           // 存储训练好的模型权重
├── train.py               // 训练模型
├── predict.py             // 用训练好的模型预测指定音频的情感
└── preprocess.py          // 数据预处理（提取数据集中音频的特征并保存）

 

依赖

Python

• TensorFlow 2 / Keras：LSTM & CNN (tensorflow.keras)
• scikit-learn：SVM & MLP 模型，划分训练集和测试集
• joblib：保存和加载用 scikit-learn 训练的模型
• librosa：提取特征、波形图
• SciPy：频谱图
• pandas：加载特征
• Matplotlib：绘图
• NumPy

工具

• [可选] Opensmile：提取特征

 

数据集

1. RAVDESS

   英文，24 个人（12 名男性，12 名女性）的大约 1500 个音频，表达了 8 种不同的情绪（第三位数字表示情绪类别）：01 = neutral，02 = calm，03 = happy，04 = sad，05 = angry，06 = fearful，07 = disgust，08 = surprised。

2. SAVEE

   英文，4 个人（男性）的大约 500 个音频，表达了 7 种不同的情绪（第一个字母表示情绪类别）：a = anger，d = disgust，f = fear，h = happiness，n = neutral，sa = sadness，su = surprise。

3. EMO-DB

   德语，10 个人（5 名男性，5 名女性）的大约 500 个音频，表达了 7 种不同的情绪（倒数第二个字母表示情绪类别）：N = neutral，W = angry，A = fear，F = happy，T = sad，E = disgust，L = boredom。

4. CASIA

   汉语，4 个人（2 名男性，2 名女性）的大约 1200 个音频，表达了 6 种不同的情绪：neutral，happy，sad，angry，fearful，surprised。

 

使用方法

准备

安装依赖：

pip install -r requirements.txt

（可选）安装 Opensmile。

 

配置

在 configs/ 文件夹中的配置文件（YAML）里配置参数。

其中 Opensmile 标准特征集目前只支持：

• IS09_emotion：The INTERSPEECH 2009 Emotion Challenge，384 个特征；
• IS10_paraling：The INTERSPEECH 2010 Paralinguistic Challenge，1582 个特征；
• IS11_speaker_state：The INTERSPEECH 2011 Speaker State Challenge，4368 个特征；
• IS12_speaker_trait：The INTERSPEECH 2012 Speaker Trait Challenge，6125 个特征；
• IS13_ComParE：The INTERSPEECH 2013 ComParE Challenge，6373 个特征；
• ComParE_2016：The INTERSPEECH 2016 Computational Paralinguistics Challenge，6373 个特征。

如果需要用其他特征集，可以自行修改 extract_feats/opensmile.py 中的 FEATURE_NUM 项。

 

预处理

首先需要提取数据集中音频的特征并保存到本地。Opensmile 提取的特征会被保存在 .csv 文件中，librosa 提取的特征会被保存在 .p 文件中。

python preprocess.py --config configs/example.yaml

其中，configs/example.yaml 是你的配置文件路径。

 

训练

数据集路径可以在 configs/ 中配置，相同情感的音频放在同一个文件夹里（可以参考 utils/files.py 整理数据），如：

└── datasets
    ├── angry
    ├── happy
    ├── sad
    ...

然后：

python train.py --config configs/example.yaml

 

预测

用训练好的模型来预测指定音频的情感。checkpoints/里有一些已经训练好的模型。

python predict.py --config configs/example.yaml

 

功能

雷达图

绘制预测概率的雷达图。

来源：Radar

import utils

"""
Args:
    data_prob (np.ndarray): 概率数组
    class_labels (list): 情感标签
"""
utils.radar(data_prob, class_labels)

 

播放音频

播放一段音频

import utils

utils.play_audio(file_path)

 

绘制曲线

绘制训练过程中的准确率曲线和损失曲线。

import utils

"""
Args:
    train (list): 训练集损失值或准确率数组
    val (list): 测试集损失值或准确率数组
    title (str): 图像标题
    y_label (str): y 轴标题
"""
utils.curve(train, val, title, y_label)

 

波形图

绘制音频的波形图。

import utils

utils.waveform(file_path)

 

音频频谱图

绘制音频的频谱图。

import utils

utils.spectrogram(file_path)

 

其他贡献者

• @Zhaofan-Su
• @Guo Hui

Speech-Emotion-Recognition 快速上手指南

本指南帮助开发者快速部署并使用基于 LSTM、CNN、SVM 和 MLP 的语音情感识别工具。该工具改进了特征提取方式，识别准确率可达 80% 左右。

1. 环境准备

系统要求

• 操作系统：Linux / macOS / Windows
• Python 版本：Python 3.8

前置依赖

确保已安装以下核心库（可通过 requirements.txt 一键安装）：

• 深度学习框架：TensorFlow 2 & Keras (tensorflow.keras)
• 机器学习库：scikit-learn (SVM & MLP), joblib
• 音频处理：librosa, SciPy
• 数据处理与绘图：pandas, Matplotlib, NumPy
• 可选工具：OpenSMILE（用于提取更丰富的声学特征，非必须但推荐）

国内加速建议：安装 Python 包时，推荐使用清华或阿里镜像源以提升下载速度。 例如：pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 安装步骤

第一步：克隆项目

git clone https://github.com/Renovamen/Speech-Emotion-Recognition.git
cd Speech-Emotion-Recognition

第二步：安装 Python 依赖

pip install -r requirements.txt

(如需使用国内镜像源，请参照上文“环境准备”中的命令)

第三步：安装 OpenSMILE（可选）

若需使用 OpenSMILE 提取特征，请前往 OpenSMILE GitHub 下载编译好的二进制文件并配置环境变量，或根据官方文档自行编译。

3. 基本使用

步骤一：配置参数

在 configs/ 目录下创建或修改配置文件（如 example.yaml），设置数据集路径、模型类型及特征提取方式。

• 若使用 OpenSMILE，需在配置中指定特征集（如 IS09_emotion, ComParE_2016 等）。

步骤二：数据预处理

将原始音频按情感类别放入不同文件夹（参考 datasets 结构），然后运行预处理脚本提取特征：

python preprocess.py --config configs/example.yaml

注：Librosa 特征保存为 .p 文件，OpenSMILE 特征保存为 .csv 文件。

步骤三：训练模型

使用预处理好的特征训练模型：

python train.py --config configs/example.yaml

训练完成后，模型权重将保存在 checkpoints/ 目录。

步骤四：情感预测

使用训练好的模型对单个音频文件进行情感预测：

python predict.py --config configs/example.yaml

进阶功能（代码调用）

你可以在 Python 脚本中直接调用工具函数进行可视化分析：

绘制预测概率雷达图：

import utils
utils.radar(data_prob, class_labels)

绘制音频波形图：

import utils
utils.waveform(file_path)

绘制频谱图：

import utils
utils.spectrogram(file_path)

绘制训练损失/准确率曲线：

import utils
utils.curve(train_loss, val_loss, "Training Loss", "Loss")