SEGAN：语音增强生成对抗网络

简介

这是 SEGAN 项目的代码仓库。我们的原始论文可以在这里找到 链接，测试样本则可在此处获取 链接。

在本工作中，我们采用了一种生成对抗方法来实现语音增强（即从受损的语音信号中去除噪声），并使用了一个全卷积架构，其结构如下所示：

该模型能够处理多种噪声条件下的原始语音波形，且信噪比范围广泛（训练时为 40 种，测试时为 20 种）。此外，它还能在同一架构内对来自不同说话人的语音特征进行建模（无需身份标注信息），从而使生成器在噪声和说话人维度上具有良好的泛化能力。

整个项目均基于 TensorFlow 开发。在定义和部署 GAN 时，以下两个仓库为我们提供了很好的参考：

• improved-gan：实现了多项改进，以更稳定的方式训练 GAN；
• DCGAN-tensorflow：在 TensorFlow 中实现了 DCGAN。

依赖项

• Python 2.7
• TensorFlow 0.12

您可以通过 pip 将所需依赖安装到虚拟环境或系统中，命令如下：

pip install -r requirements.txt

数据

本研究中使用的语音增强数据集 (Valentini et al. 2016) 可在 Edinburgh DataShare 上找到。不过，以下脚本会自动下载并准备数据，使其符合 TensorFlow 格式：

./prepare_data.sh

或者，您也可以先手动下载数据集，将 WAV 文件转换为 16kHz 采样率，并在 cfg/ 目录下的配置文件 e2e_maker.cfg 中指定噪声和干净语音训练文件的路径，然后运行以下脚本：

python make_tfrecords.py --force-gen --cfg cfg/e2e_maker.cfg

训练

当 data/segan.tfrecords 文件生成后，您只需运行以下命令即可开始训练：

./train_segan.sh

默认情况下，该脚本会使用系统中所有可用的 GPU；如果没有 GPU，则会使用 CPU。

注意：如果您希望指定特定的 GPU 进行计算，可以在训练脚本中的 Python 执行命令中添加 CUDA_VISIBLE_DEVICES="0, 1, <etc>" 参数。例如，如果有两块 GPU，它们会被识别为 0 和 1，那么您可以仅使用第一块 GPU，设置为 CUDA_VISIBLE_DEVICES="0"。

根据论文描述，观察生成器损失的变化很有意义：L1 损失以 100 倍的权重进行最小化，而对抗损失则趋于平衡且方差较小。

L1 损失（平滑因子 0.5）

对抗损失（平滑因子 0.5）

加载模型与预测

首先，您需要从 这里 下载训练好的权重文件并解压。

随后，main.py 脚本提供了一个通过生成器网络处理单个 WAV 文件的功能（推理模式），用户必须指定训练好的权重文件以及训练网络的配置。对于论文中提出的 v1 版本的 SEGAN，相关参数如下：

CUDA_VISIBLE_DEVICES="" python main.py --init_noise_std 0. --save_path segan_v1.1 \
                                       --batch_size 100 --g_nl prelu --weights SEGAN_full \
                                       --test_wav <wav_filename> --clean_save_path <clean_save_dirpath>

为了方便起见，我们还提供了一个名为 clean_wav.sh 的 Bash 脚本，它接受测试文件名和保存路径作为输入参数。

作者

• Santiago Pascual（TALP-UPC，巴塞罗那理工大学）
• Antonio Bonafonte（TALP-UPC，巴塞罗那理工大学）
• Joan Serrà（Telefónica Research，巴塞罗那）

引用

@article{pascual2017segan,
  title={SEGAN: Speech Enhancement Generative Adversarial Network},
  author={Pascual, Santiago and Bonafonte, Antonio and Serr{\`a}, Joan},
  journal={arXiv preprint arXiv:1703.09452},
  year={2017}
}

联系方式

邮箱：santi.pascual@upc.edu

备注

• 如果您使用了本代码、其中的部分内容，或基于此代码所做的任何开发，请务必引用上述文献。
• 我们不为提供的代码提供任何支持或协助，也不提供任何其他版本或修改后的代码。
• 对于所提供的代码，我们不承担任何责任。

SEGAN 快速上手指南

SEGAN (Speech Enhancement Generative Adversarial Network) 是一个基于生成对抗网络（GAN）的语音增强工具，旨在从含噪语音信号中去除噪声。该项目完全基于 TensorFlow 构建，采用全卷积架构处理原始语音波形。

环境准备

在开始之前，请确保您的系统满足以下要求。注意：本项目基于较早期的 TensorFlow 版本开发。

• 操作系统: Linux / macOS (Windows 需配置相应环境)
• Python 版本: Python 2.7
• 深度学习框架: TensorFlow 0.12
• 硬件建议: 支持 CUDA 的 NVIDIA GPU（可选，用于加速训练），或仅使用 CPU。

提示：由于项目依赖 Python 2.7 和旧版 TensorFlow，强烈建议在虚拟环境（virtualenv 或 conda）中运行以避免冲突。国内用户可使用清华源或阿里源加速 pip 包安装。

安装步骤

1. 克隆项目

首先获取源代码：

git clone <repository_url>
cd segan

(注：请将 <repository_url> 替换为实际的 GitHub 仓库地址)

2. 安装依赖

使用 pip 安装所需库：

pip install -r requirements.txt

国内加速方案：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 数据准备

项目提供了脚本自动下载并预处理数据集（Valentini et al. 2016），将其转换为 TensorFlow 所需的 TFRecords 格式。

运行以下脚本自动完成下载和转换：

./prepare_data.sh

备选方案（手动配置）： 如果自动脚本无法运行，您可以手动下载数据集，将 wav 文件转换为 16kHz 采样率，修改 cfg/e2e_maker.cfg 中的 noisy 和 clean 路径，然后运行：

python make_tfrecords.py --force-gen --cfg cfg/e2e_maker.cfg

执行成功后，将在 data/ 目录下生成 segan.tfrecords 文件。

基本使用

训练模型

数据准备就绪后，即可启动训练。默认情况下，脚本会自动检测并使用系统中所有可用的 GPU；若无 GPU，则使用 CPU 运行。

./train_segan.sh

指定 GPU 运行： 若需指定特定 GPU（例如仅使用第一块 GPU），可在命令前添加环境变量：

CUDA_VISIBLE_DEVICES="0" ./train_segan.sh

语音增强（推理/去噪）

要使用预训练模型对含噪语音进行去噪，首先需要下载并解压预训练权重：

# 下载权重 (示例链接，具体请参考官方 release 页面)
wget http://veu.talp.cat/segan/release_weights/segan_v1.1.tar.gz
tar -xzvf segan_v1.1.tar.gz

使用 main.py 进行处理。以下是最简单的单文件去噪示例：

CUDA_VISIBLE_DEVICES="" python main.py --init_noise_std 0. --save_path segan_v1.1 \
                                       --batch_size 100 --g_nl prelu --weights SEGAN_full \
                                       --test_wav input_noisy.wav --clean_save_path ./output_clean

参数说明：

• --test_wav: 输入的含噪 wav 文件路径。
• --clean_save_path: 去噪后文件的保存目录。
• --save_path: 预训练权重所在的文件夹。

便捷脚本： 项目还提供了一个封装好的 bash 脚本 clean_wav.sh，用法更简单：

./clean_wav.sh input_noisy.wav ./output_clean

---

引用参考：若在项目中使用此代码，请引用原文献 "SEGAN: Speech Enhancement Generative Adversarial Network" (arXiv:1703.09452)。