论文《MelGAN：用于条件波形合成的生成对抗网络》的官方仓库

先前的研究表明，使用 GAN 生成连贯的原始音频波形颇具挑战性。在本文中，我们通过引入一系列架构改进和简单的训练技巧，证明了可以可靠地训练 GAN 来生成高质量的连贯波形。主观评价指标（平均意见分，MOS）显示，所提出的方法在高质量梅尔谱图反演任务中非常有效。为了验证所提技术的通用性，我们展示了模型在语音合成、音乐领域迁移以及无条件音乐合成方面的定性结果。我们通过消融实验评估了模型的各个组件，并提出了一套针对条件序列合成任务设计通用判别器和生成器的指导原则。我们的模型是非自回归的、全卷积的，参数量显著少于竞争模型，并且在梅尔谱图反演任务中能够泛化到未见过的说话人。我们的 PyTorch 实现可在 GTX 1080Ti GPU 上以超过实时速度 100 倍的速度运行，在 CPU 上则以超过两倍于实时的速度运行，且无需任何硬件特定的优化技巧。包含样本和配套代码的博客文章即将发布。

请访问我们的网站查看样本。您还可以尝试基于 MelGAN 的端到端语音合成流水线构建的语音修正应用这里。

如果您无法参加 NeurIPS 2019 大会，可以查看幻灯片，了解我们的海报展示内容。

代码组织

├── README.md             <- 顶级 README 文件。
├── set_env.sh            <- 设置 PYTHONPATH 和 CUDA_VISIBLE_DEVICES。
│
├── mel2wav
│   ├── dataset.py           <- 数据加载脚本
│   ├── modules.py           <- 模型、层及损失函数
│   ├── utils.py             <- 监控、保存、日志记录、学习率调度等工具函数
│
├── scripts
│   ├── train.py                    <- 训练、验证等脚本
│   ├── generate_from_folder.py

数据集准备

创建一个名为 raw 的文件夹，并将所有样本存储在 wavs/ 子文件夹中。 执行以下命令：

ls wavs/*.wav | tail -n+10 > train_files.txt
ls wavs/*.wav | head -n10 > test_files.txt

训练示例

. source set_env.sh 0
# 设置 PYTHONPATH 并使用第一块 GPU
python scripts/train.py --save_path logs/baseline --path <数据根目录>

PyTorch Hub 示例

import torch
vocoder = torch.hub.load('descriptinc/melgan-neurips', 'load_melgan')
vocoder.inverse(audio)  # audio (torch.tensor) -> (batch_size, 80, timesteps)

MelGAN 快速上手指南

MelGAN 是一种用于条件波形合成的生成对抗网络（GAN），能够高效地将梅尔频谱图转换为高质量音频。该模型非自回归、全卷积，推理速度极快（GPU 上超过实时 100 倍），适用于语音合成、音乐转换等任务。

环境准备

• 系统要求：Linux 或 macOS（Windows 需配置 WSL 或类似环境）。
• 硬件要求：推荐 NVIDIA GPU（如 GTX 1080Ti 或更高版本）以获得最佳训练和推理速度；CPU 亦可运行但速度较慢。
• 前置依赖：
  • Python 3.6+
  • PyTorch 1.4+
  • CUDA Toolkit (如需 GPU 加速)
  • librosa, numpy, tensorboardX 等常用科学计算库

提示：国内开发者建议使用清华源或阿里源加速 PyTorch 及相关 pip 包的安装。

pip install torch torchvision torchaudio -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆仓库

   git clone https://github.com/descriptinc/melgan-neurips.git
   cd melgan-neurips
   

2. 安装依赖 虽然原文未提供 requirements.txt，但根据代码结构，通常需要安装以下基础包：

   pip install numpy librosa tensorboardX scipy -i https://pypi.tuna.tsinghua.edu.cn/simple
   

3. 配置环境变量 执行官方提供的脚本来设置 PYTHONPATH 和指定 GPU 设备：

   source set_env.sh 0
   # 这将设置 PYTHONPATH 并使用第一块 GPU (CUDA_VISIBLE_DEVICES=0)
   

基本使用

1. 快速推理 (PyTorch Hub)

这是最简单的使用方式，无需下载完整代码库即可加载预训练模型进行频谱转音频操作。

import torch

# 加载预训练的 MelGAN 声码器
vocoder = torch.hub.load('descriptinc/melgan-neurips', 'load_melgan')

# 准备输入：梅尔频谱图 (batch_size, 80, timesteps)
# 注意：此处 audio 变量名在原文示例中代表 mel-spectrogram 输入
mel_spec = torch.randn(1, 80, 100) 

# 执行逆变换生成波形
waveform = vocoder.inverse(mel_spec)

print(waveform.shape)

2. 数据集准备与训练

若需从头训练模型，请按以下步骤操作：

准备数据 将原始音频文件放入 wavs/ 文件夹，然后运行以下命令划分训练集和测试集：

ls wavs/*.wav | tail -n+10 > train_files.txt
ls wavs/*.wav | head -n10 > test_files.txt

启动训练 确保已执行 source set_env.sh 0，然后运行训练脚本：

python scripts/train.py --save_path logs/baseline --path <root_data_folder>

• <root_data_folder>：替换为包含 train_files.txt 和 test_files.txt 的根目录路径。
• 训练日志和模型权重将保存在 logs/baseline 目录下。