使用 Python 进行音频深度学习

这是 The Sound of AI YouTube 频道上“使用 Python 进行深度学习（音频）”系列课程的代码。

本仓库是一个全面的资源和代码集合，用于理解和实现针对音频任务的深度学习模型。它提供了一个实用的指南，从最基础的内容开始（从零构建神经元和反向传播），逐步过渡到 TensorFlow 的实现，最终完成一个完整的音乐流派分类系统，该系统采用了多种架构（MLP、CNN、RNN-LSTM）。

关于版本说明

尽管此 v2 版本功能齐全，并针对当前环境进行了优化，但它可能与课程中展示的原始版本有所不同。代码库已更新，以反映现代最佳实践（例如 TensorFlow 2.16+、Librosa 0.11+），并改进了依赖管理。因此，原始课程版本已被弃用；不过，对于希望完全按照视频内容学习的用户，我们仍将其保留在旧版分支中。

目录

• 数据集设置 (GTZAN)
• 课程结构
  • 1. 基础知识与数学
  • 2. 从零构建神经网络
  • 3. TensorFlow 与音频预处理
  • 4. 音乐流派分类项目 (MLP)
  • 5. 高级架构 (CNN 和 RNN-LSTM)
• 如何运行脚本

---

数据集设置 (GTZAN)

要运行音乐流派分类课程（第 4 部分和第 5 部分），您需要 GTZAN 数据集。我们提供了一个自动化下载器，可为您完成获取、解压和文件夹整理工作。

• 快速入门： 在根目录下运行 python dataset_downloader.py。
• 先决条件： 安装 requirements.txt 中列出的依赖项。

完整说明： 请查看 Instructions_GTZAN.md 文件，了解使用下载脚本或手动下载步骤的详细帮助。

---

课程结构

第一部分：基础知识与数学

1. 课程概述： 视频 | 幻灯片
2. 人工智能、机器学习和深度学习： 视频 | 幻灯片
3. 从零实现人工神经元： 视频 | 幻灯片 | 代码
4. 向量与矩阵运算： 视频 | 幻灯片
5. 神经网络中的计算： 视频 | 幻灯片

---

第二部分：从零构建神经网络

6. 从零构建神经网络： 视频 | 代码
7. 训练神经网络（反向传播与梯度下降）： 视频 | 幻灯片
8. 从零实现反向传播： 视频 | 代码

---

第三部分：TensorFlow 与音频预处理

9. 使用 TensorFlow 2 构建神经网络： 视频 | 代码
10. 理解深度学习中的音频数据： 视频 | 幻灯片
11. 音频数据预处理（MFCC/频谱图）： 视频 | 代码

---

第四部分：音乐流派分类项目 (MLP)

12. 准备数据集： 视频 | 代码
13. 实现用于分类的神经网络： 视频 | 幻灯片 | 代码
14. 解决过拟合问题： 视频 | 幻灯片 | 代码

---

第五部分：高级架构 (CNN 和 RNN-LSTM)

15. 卷积神经网络 (CNN) 解释： 视频 | 幻灯片
16. 实现 CNN 用于音乐流派分类： 视频 | 代码
17. 循环神经网络 (RNN) 解释： 视频 | 幻灯片
18. 长短期记忆网络 (LSTM) 解释： 视频 | 幻灯片
19. 实现 RNN-LSTM 用于音乐流派分类： 视频 | 代码

---

如何运行脚本

为确保模型和脚本正确执行，请在终端中按照以下步骤操作：

2. 准备环境（推荐）

在运行推理之前，请确保已安装必要的依赖项：

pip install -r requirements.txt

2. 导航到课程文件夹

每个课程都是独立的。请进入您正在学习的特定课程目录：

cd class/folder/name  # 替换为具体的课程目录

3. 执行脚本

使用 Python 运行主脚本：

python mlp.py  # 替换为具体的脚本名称

DeepLearningForAudioWithPython 快速上手指南

本指南旨在帮助开发者快速搭建基于 Python 的音频深度学习环境，并运行音乐流派分类等示例项目。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Windows, macOS 或 Linux
• Python 版本：推荐 Python 3.11 (代码库已针对此版本优化)
• 核心依赖：
  • TensorFlow 2.16+
  • Librosa 0.11+
  • NumPy, Scikit-Learn, Matplotlib, Keras

注意：本项目代码已更新以符合现代最佳实践。如果您需要完全复现视频课程中的旧版代码，请切换至 legacy 分支，但本指南默认基于主分支（v2）。

2. 安装步骤

2.1 克隆项目

首先，将代码仓库克隆到本地：

git clone https://github.com/musikalkemist/DeepLearningForAudioWithPython.git
cd DeepLearningForAudioWithPython

2.2 安装依赖

建议使用虚拟环境（如 venv 或 conda）隔离依赖。安装所有必要的 Python 包：

pip install -r requirements.txt

(国内用户若下载缓慢，可添加清华源加速：pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple)

2.3 准备数据集 (GTZAN)

第 4 和第 5 部分的音乐流派分类项目需要 GTZAN 数据集。项目提供了一个自动下载脚本来处理数据的获取、解压和文件夹整理。

在项目根目录运行：

python dataset_downloader.py

如需手动下载或查看详细说明，请参考项目内的 Instructions_GTZAN.md 文件。

3. 基本使用

本项目按课程章节组织，每个章节的代码相对独立。以下是运行一个典型示例（如多层感知机 MLP 分类器）的步骤：

3.1 进入对应章节目录

根据您想学习的部分，进入相应的文件夹。例如，进入第 13 课（实现音乐流派分类神经网络）：

cd "13 - Implementing a neural network for music genre classification/code"

3.2 运行脚本

执行具体的 Python 脚本：

python mlp_genre_classifier.py

3.3 学习路径建议

您可以按照以下顺序逐步深入：

1. 基础原理：从 03 到 08 章节，从零开始构建神经元和反向传播算法，理解数学基础。
2. 框架与预处理：在 09 到 11 章节，学习如何使用 TensorFlow 以及如何使用 Librosa 处理音频数据（如提取 MFCCs 和声谱图）。
3. 实战项目：
   • MLP 模型：运行 13 - 14 章节代码，构建基础分类器并解决过拟合问题。
   • 高级架构：运行 16 (CNN) 和 19 (RNN-LSTM) 章节代码，体验更先进的深度学习模型在音频任务中的应用。

所有章节均配有对应的 YouTube 视频教程和 PPT 幻灯片（位于各章节的 slides 文件夹或 README 链接中），建议结合代码与视频进行学习。