音频深度学习 (DLA)

• 每周的讲座和研讨材料位于 ./week* 文件夹中，具体材料和说明请参阅 README.md。
• 如有任何技术问题、建议、课程材料中的错误或贡献想法，请提交 issue。
• 本课程当前版本于 2025年秋季 在 HSE大学 的 计算机科学学院 开设。

有关往年版本，请参阅“往期版本”部分。

课程大纲

• week01 课程导论

  • 讲座：课程介绍 + 灵感启发
  • 研讨：构建高效的深度学习流水线与整洁代码（第一部分）——实验跟踪、Hydra、Git、VS Code
  • 自学：PyTorch 入门

• week02 数字信号处理导论

  • 讲座：信号、傅里叶变换、谱图、梅尔尺度、MFCC
  • 研讨：数字信号处理实践、谱图生成、冲激响应函数、频率滤波

• week03 自动语音识别 I

  • 讲座：评估指标、数据集、连接时序分类（CTC）、经典模型、束搜索、语言模型
  • 研讨：音频增强、束搜索
  • 问答环节：作业讨论、构建高效的深度学习流水线与整洁代码（第二部分）——项目开发

• week04 语音识别 II

  • 讲座：LAS、RNN-T、用于 RNN-T 和 LAS 的语言模型
  • 研讨：混合 RNN-T 和 CTC 模型的训练与推理

• week05 客座讲座。语音识别 III 与音频自监督学习

  • 讲座：音频自监督模型、音频大语言模型

• week06 声源分离 I

  • 讲座：声源分离与降噪概述、编码器-解码器-分离器架构、Demucs 系列、DCCRN、FullSubNet+、BandSplitRNN
  • 研讨：评估指标

• week07 声源分离 II

  • 讲座：语音分离、盲源分离与目标分离、循环神经网络（TasNet、DPRNN、VoiceFilter）和卷积神经网络（ConvTasNet、SpEx+）
  • 研讨：维纳滤波器、Sinc 滤波器与 DEMUCS；流式处理与性能指标

• week08 视听深度学习

  • 讲座：视听融合、声源分离、语音识别以及自监督模型。Wav2Lip 及联合视听生成（基于扩散模型和大语言模型）。
  • 问答：项目讨论

• week09 文本到语音（TTS）——神经声码器与文本到梅尔谱

  • 讲座：Tacotron、DeepVoice、GST、FastSpeech、AdaSpeech、注意力技巧
  • 讲座：Hifi-GAN
  • 研讨：AudioBot

• week10 神经音频编解码器

  • 讲座：核心架构与技术
  • 研讨：实现一个神经音频编解码器

• week11 基于扩散的 TTS

  • 讲座：扩散概念。扩散声码器与扩散声学模型。潜在扩散模型。

• week12 语音生物特征 I

  • 讲座：简介。混响。用于检测录音与合成语音的 CM 模型（LCNN、RawNet2、AASIST）。GNN
  • 研讨：ASVspoof、Sinc 层、GNN

• week13 XAI 与语音生物特征 II

  • 讲座 1：可解释人工智能（XAI），核心方法、XAI 评估与挑战、针对深度伪造的 XAI
  • 讲座 2：ASV 系统。SASV 系统。流式处理

作业与项目

• HW_ASR 训练语音识别模型
• Project_AVSS 训练视听语音分离模型
• HW_NV 实现 TTS 模型（神经声码器）

请参考我们的 项目模板。

资源

• YouTube 上的讲座录像（俄语）

部分周次有英文录像，请查看相应的子目录。

贡献者及课程团队

课程材料与教学工作由以下人员在不同年份负责：

• Maxim Kaledin
• Petr Grinberg
• Grigory Fedorov
• Aibek Alanov
• Assel Yermekova
• Georgiy Pistsov
• Alexander Markovich（曾任）
• Daniil Ivanov（曾任）
• Ilya Lewin（曾任）
• Timofey Smirnov（曾任）
• Alexander Mamaev（曾任）

往期版本

• 2024
• 2023
• 2022
• 2021
• 2020

DLA (Deep Learning for Audio) 快速上手指南

DLA 是高等经济学院（HSE）开设的音频深度学习课程开源项目，涵盖从数字信号处理、自动语音识别 (ASR)、音源分离到文本转语音 (TTS) 等核心内容。本指南帮助开发者快速搭建环境并开始学习。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+) 或 macOS。Windows 用户建议使用 WSL2。
• Python 版本: Python 3.8 或更高版本 (推荐 3.9/3.10)。
• GPU: 推荐使用 NVIDIA GPU 以加速模型训练（需安装对应的 CUDA 驱动）。
• 前置知识: 熟悉 Python 编程及 PyTorch 基础。

建议依赖管理: 推荐使用 conda 或 venv 创建独立的虚拟环境，避免依赖冲突。

安装步骤

1. 克隆项目仓库

首先将代码库克隆到本地：

git clone https://github.com/markovka17/dla.git
cd dla

2. 创建虚拟环境

使用 Conda 创建环境（推荐）：

conda create -n dla python=3.9
conda activate dla

或者使用 venv：

python -m venv venv
source venv/bin/activate  # Windows: venv\Scripts\activate

3. 安装依赖

根据每周课程的具体需求，依赖可能略有不同。通常根目录或各 week* 文件夹下会有 requirements.txt。

安装基础通用依赖（如果根目录存在）：

pip install -r requirements.txt

若特定周次（如 week01）有独立依赖，请进入对应文件夹安装：

cd week01
pip install -r requirements.txt

提示: 国内用户可使用清华源加速安装：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

4. 验证 PyTorch 安装

本课程重度依赖 PyTorch，请确保已正确安装支持 CUDA 的版本：

python -c "import torch; print(torch.__version__); print(torch.cuda.is_available())"

基本使用

本课程以“周”为单位组织，每个 week* 文件夹包含讲座笔记、研讨会代码和作业。

示例：开始第一周学习 (Introduction)

1. 进入第一周目录：

   cd week01
   

2. 查看自学材料： 阅读该目录下的 README.md 获取具体指令。通常包含 PyTorch 入门练习。

3. 运行研讨会代码示例： 假设该周研讨会涉及使用 Hydra 配置实验（参考大纲），典型的运行方式如下：

   # 示例：运行一个简单的实验脚本
   python train.py hydra.run.dir=outputs/my_first_run model.lr=0.001
   

示例：完成第一个作业 (ASR)

1. 进入作业目录：

   cd hw1_asr
   

2. 准备数据： 按照目录内 README.md 的指示下载数据集（如 LibriSpeech）。

3. 训练模型： 执行训练脚本（具体命令请参考作业说明）：

   python train_asr.py --config config.yaml
   

获取讲座视频

部分讲座提供录像，可在 YouTube 播放列表观看（主要为俄语，部分含英语）：

• YouTube 播放列表

---

下一步: 浏览 Syllabus 章节，选择您感兴趣的专题（如 TTS、音源分离或语音生物特征识别）进入对应的 week* 文件夹深入实践。