音频分类（Kapre 版本）

使用 TF 2.3 进行音频分类算法原型开发的流水线

• YouTube
• 环境
• Jupyter 笔记本
• 音频预处理
• 训练
• 绘制历史曲线
• 混淆矩阵
• 接收者操作特征曲线
• Kapre

YouTube

本系列已重新制作。现在有新的视频来支持此仓库。建议观看新系列。

https://www.youtube.com/playlist?list=PLhA3b2k8R3t0SYW_MhWkWS5fWg-BlYqWn

如果您想观看旧视频，请恢复到之前的提交版本。

git checkout 404f2a6f989cec3421e8217d71ef070f3593a84d

环境

conda create -n audio python=3.7
activate audio
pip install -r requirements.txt

Jupyter 笔记本

假设您已从 Conda 环境中安装了 ipykernel：

ipython kernel install --user --name=audio

conda activate audio

jupyter-notebook

音频预处理

clean.py 可用于在阈值下预览信号包络，以去除低幅度数据。

当您取消注释 split_wavs 时，将创建一个 clean 目录，其中包含按时间间隔分割的降采样单声道音频。

python clean.py

训练

将 model_type 更改为：conv1d、conv2d、lstm。

采样率和时间间隔应与 clean.py 中的设置相同。

python train.py

绘制历史曲线

假设您已运行所有 3 种模型并将图像保存到 logs 文件夹中，请查看 notebooks/Plot History.ipynb。

notebooks/Confusion Matrix and ROC.ipynb

混淆矩阵

接收者操作特征曲线

Kapre

用于实时将音频信号从时域转换为频域。

https://github.com/keunwoochoi/kapre
https://arxiv.org/pdf/1706.05781.pdf

Audio-Classification (Kapre 版) 快速上手指南

本指南基于 TensorFlow 2.3，旨在帮助开发者快速搭建音频分类算法原型。

环境准备

• 操作系统：Linux / macOS / Windows
• Python 版本：推荐 3.7
• 核心依赖：TensorFlow 2.3, Kapre (用于实时音频变换), Jupyter Notebook
• 网络建议：安装依赖时若遇网络问题，可配置国内镜像源（如清华源或阿里源）加速下载。

安装步骤

1. 创建并激活 Conda 环境

   conda create -n audio python=3.7
   activate audio
   

2. 安装项目依赖 (注：若需加速，可在 pip 命令后添加 -i https://pypi.tuna.tsinghua.edu.cn/simple)

   pip install -r requirements.txt
   

3. 配置 Jupyter Kernel 为了在 Jupyter Notebook 中使用该环境，需注册内核：

   ipython kernel install --user --name=audio
   

基本使用

1. 启动开发环境

激活环境并启动 Jupyter Notebook 进行交互式开发：

conda activate audio
jupyter-notebook

2. 音频预处理

运行 clean.py 预览信号包络并清理低幅度数据。

• 功能：去除静音片段，生成降采样的单声道音频文件。
• 操作：如需按时间间隔分割音频，请在脚本中取消注释 split_wavs 部分。

python clean.py

3. 模型训练

运行 train.py 开始训练。

• 配置：在脚本中将 model_type 修改为 conv1d、conv2d 或 lstm。
• 注意：确保采样率（sample rate）和时间间隔（delta time）与预处理步骤保持一致。

python train.py

4. 结果可视化

训练完成后，使用提供的 Notebook 查看训练历史和评估指标：

• 训练历史曲线：打开 notebooks/Plot History.ipynb
• 混淆矩阵与 ROC 曲线：打开 notebooks/Confusion Matrix and ROC.ipynb

提示：本项目底层使用 Kapre 库进行时频域转换，支持在 GPU 上进行实时音频特征提取。