一个用于音频特征提取、分类、分割及应用的 Python 库

这是概要信息。如需完整维基，请点击这里，如需更通用的音频数据处理入门介绍，请点击这里

最新消息

• [2025-03-29] 请查看Behavioral Signals Python SDK，它展示了如何使用 Behavioral Signals 的 API 通过 Python 代码发送语音数据并获取与情绪和行为相关的预测结果。该 SDK 支持批处理和流式传输两种模式。目前，Behavioral Signals 的 API 还支持说话人无关的深度伪造检测器。
• [2021-08-06] deep-audio-features：使用 CNN 和 PyTorch 进行深度音频分类与特征提取
• 请查看 paura，这是一款用于实时录制和分析音频数据的 Python 脚本。

概述

pyAudioAnalysis 是一个覆盖广泛音频分析任务的 Python 库。通过 pyAudioAnalysis，您可以：

• 提取音频特征和表示（例如 MFCC、频谱图、色度图）
• 训练、调参和评估音频片段分类器
• 对未知声音进行分类
• 检测音频事件，并从长时间录音中排除静音段
• 执行监督分割（分割与分类联合处理）
• 执行无监督分割（例如说话人分离）并提取音频缩略图
• 训练和使用音频回归模型（示例应用：情绪识别）
• 应用降维技术来可视化音频数据及其内容相似性

安装

• 克隆本库源码：git clone https://github.com/tyiannak/pyAudioAnalysis.git
• 安装依赖：pip install -r ./requirements.txt
• 使用 pip 安装：pip install -e .

音频分类示例

更多示例和详细教程请参阅维基

pyAudioAnalysis 提供易于调用的封装函数来执行音频分析任务。例如，以下代码首先根据存储在不同文件夹中的 WAV 文件集（每个文件夹代表一个类别）训练一个音频片段分类器，然后使用该分类器对未知的 WAV 音频文件进行分类：

from pyAudioAnalysis import audioTrainTest as aT
aT.extract_features_and_train(["classifierData/music","classifierData/speech"], 1.0, 1.0, aT.shortTermWindow, aT.shortTermStep, "svm", "svmSMtemp", False)
aT.file_classification("data/doremi.wav", "svmSMtemp","svm")

结果： (0.0, array([ 0.90156761, 0.09843239]), ['music', 'speech'])

此外，所有功能均提供命令行支持。例如，以下命令可提取存储在 WAV 文件中的音频信号的频谱图：python audioAnalysis.py fileSpectrogram -i data/doremi.wav

延伸阅读

除了此 README 文件外，为了更好地理解如何使用本库，建议阅读以下内容：

• 音频处理基础：使用命令行或 Python 处理音频文件，如果您想学习如何从命令行处理音频文件以及一些基本的音频信号处理编程知识，可以从这里开始，即使您对音频一无所知。
• 音频分析入门：使用机器学习识别声音。本文比上一篇更深入，提供了关于音频特征提取、分类和分割的理论与实践的完整介绍（包含大量 Python 示例）。
• 本库的维基
• 如何利用机器学习根据音乐情绪控制灯光颜色。这是一个有趣的案例，展示了如何使用本库训练实时音乐情绪估计器。
• 关于所采用方法的更通用和理论性的描述（以及针对特定用例的多项实验）发表在这篇论文中。请在您的研究工作中引用 pyAudioAnalysis 时使用以下参考文献：

@article{giannakopoulos2015pyaudioanalysis,
  title={pyAudioAnalysis: 一个用于音频信号分析的开源 Python 库},
  author={Giannakopoulos, Theodoros},
  journal={PloS one},
  volume={10},
  number={12},
  year={2015},
  publisher={Public Library of Science}
}

有关 MATLAB 相关的音频分析资料，请参阅这本书。

作者

Theodoros Giannakopoulos, 多媒体分析组计算智能实验室 (MagCIL) 多模态机器学习首席研究员， 隶属于国家科研中心“德谟克利特”信息与通信研究所。

pyAudioAnalysis 快速上手指南

pyAudioAnalysis 是一个功能强大的 Python 开源库，广泛用于音频特征提取、分类、分割及应用开发（如情感识别、说话人日记、静音检测等）。

环境准备

• 操作系统：支持 Linux, macOS, Windows。
• Python 版本：建议 Python 3.6 及以上版本。
• 前置依赖：
  • git：用于克隆代码仓库。
  • pip：Python 包管理工具。
  • 基础科学计算库（安装脚本会自动处理）：numpy, scipy, scikit-learn, matplotlib, python_speech_features 等。

国内加速建议：在安装依赖时，推荐使用清华或阿里云镜像源以提升下载速度。

安装步骤

1. 克隆源代码

   git clone https://github.com/tyiannak/pyAudioAnalysis.git
   cd pyAudioAnalysis
   

2. 安装依赖 （推荐使用国内镜像源）

   pip install -r ./requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

3. 安装库本身

   pip install -e .
   

基本使用

pyAudioAnalysis 提供了简洁的 Python API 和命令行工具。以下是最核心的音频分类工作流示例：先训练一个分类器，然后对未知音频进行分类。

1. Python 代码示例

假设你有一个文件夹结构，其中 classifierData/music 存放音乐样本，classifierData/speech 存放语音样本。

from pyAudioAnalysis import audioTrainTest as aT

# 第一步：提取特征并训练分类器
# 参数说明：输入文件夹列表，短期窗口大小，步长，窗口函数，步长函数，分类器类型，模型名称，是否标准化
aT.extract_features_and_train(
    ["classifierData/music", "classifierData/speech"], 
    1.0, 
    1.0, 
    aT.shortTermWindow, 
    aT.shortTermStep, 
    "svm", 
    "svmSMtemp", 
    False
)

# 第二步：使用训练好的模型分类未知音频文件
result = aT.file_classification("data/doremi.wav", "svmSMtemp", "svm")

print(result)
# 输出示例：(0.0, array([ 0.90156761,  0.09843239]), ['music', 'speech'])
# 分别代表：预测类别索引，各类别概率数组，类别名称列表

2. 命令行示例

如果你更喜欢命令行操作，可以直接使用自带的脚本。例如，提取音频的语谱图（Spectrogram）：

python audioAnalysis.py fileSpectrogram -i data/doremi.wav

提示：更多高级功能（如降维可视化、无监督分割、实时分析等）及详细参数说明，请参考项目的官方 Wiki。