MelGAN

非官方 PyTorch 实现的 MelGAN 声码器

核心特性

• 与 WaveGlow 相比，MelGAN 更轻量、更快，并且在泛化到未见过的说话人方面表现更优。
• 本仓库使用了与 NVIDIA/tacotron2 完全相同的梅尔谱函数，因此可以直接将 NVIDIA Tacotron 2 的输出转换为原始音频。
• 通过 PyTorch Hub 提供了基于 LJSpeech-1.1 数据集的预训练模型。

先决条件

已在 Python 3.6 上测试通过：

pip install -r requirements.txt

准备数据集

• 下载用于训练的数据集。可以是任何采样率为 22050Hz 的 WAV 文件。（例如，论文中使用的是 LJSpeech 数据集）
• 预处理：python preprocess.py -c config/default.yaml -d [数据根路径]
• 编辑配置 yaml 文件

训练与 TensorBoard

• python trainer.py -c [配置 yaml 文件] -n [运行名称]
  • 将 config/default.yaml 复制为 config/config.yaml，然后编辑该文件。
  • 在第 2 和第 3 行填写训练和验证数据的根路径。
  • 每个路径应包含成对的 *.wav 文件及其对应的（预处理过的）*.mel 文件。
  • 数据加载器会递归地解析路径中的文件列表。
• tensorboard --logdir logs/

预训练模型

可尝试使用 Google Colab：待补充

import torch
vocoder = torch.hub.load('seungwonpark/melgan', 'melgan')
vocoder.eval()
mel = torch.randn(1, 80, 234) # 在此处使用您自己的梅尔谱

if torch.cuda.is_available():
    vocoder = vocoder.cuda()
    mel = mel.cuda()

with torch.no_grad():
    audio = vocoder.inference(mel)

推理

• python inference.py -p [检查点路径] -i [输入梅尔谱路径]

结果

音频样本请参见：http://swpark.me/melgan/。模型使用 V100 GPU，在 LJSpeech-1.1 数据集上训练了 14 天。

实现作者

• Seungwon Park @ MINDsLab Inc. (yyyyy@snu.ac.kr, swpark@mindslab.ai)
• Myunchul Joe @ MINDsLab Inc.
• Rishikesh @ DeepSync Technologies Pvt Ltd.

许可证

BSD 3-Clause 许可证。

• utils/stft.py 由 Prem Seetharaman 编写（BSD 3-Clause 许可证）
• datasets/mel2samp.py 来自 https://github.com/NVIDIA/waveglow（BSD 3-Clause 许可证）
• utils/hparams.py 来自 https://github.com/HarryVolek/PyTorch_Speaker_Verification（未指定许可证）

有用资源

• Soumith Chintala 的 如何训练 GAN？让 GAN 起作用的技巧与窍门
• 原作者的 官方 MelGAN 实现
• Yifei Zhao、Yichao Yang 和 Yang Gao 的 MelGAN 复现 — NeurIPS 2019 复现挑战赛（消融实验赛道）
  • “用最大池化层替换平均池化层，并用复制填充代替反射填充，可以显著提升性能；而两者同时使用则会导致性能下降”

MelGAN 快速上手指南

MelGAN 是一个轻量、快速且泛化能力强的语音合成声码器（Vocoder），可将梅尔频谱图转换为原始音频。本项目为非官方的 PyTorch 实现，兼容 NVIDIA Tacotron2 的输出。

环境准备

• 操作系统：Linux / macOS / Windows (需配置相应 CUDA 环境)
• Python 版本：推荐 Python 3.6+
• 硬件要求：训练建议使用 NVIDIA GPU (如 V100)，推理可在 CPU 或 GPU 上进行
• 依赖安装： 建议先配置国内镜像源以加速下载（可选）：

  pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
  

  安装项目依赖：

  pip install -r requirements.txt
  

安装步骤

本项目无需复杂编译，克隆仓库并安装依赖即可使用：

1. 克隆代码库：

   git clone https://github.com/seungwonpark/melgan.git
   cd melgan
   

2. 安装 Python 依赖：

   pip install -r requirements.txt
   

基本使用

方式一：使用预训练模型（推荐）

通过 PyTorch Hub 直接加载预训练模型进行推理，无需下载权重文件。

import torch

# 加载预训练模型
vocoder = torch.hub.load('seungwonpark/melgan', 'melgan')
vocoder.eval()

# 准备输入数据 (替换为你自己的梅尔频谱图)
# 形状应为 (batch_size, 80, time_steps)
mel = torch.randn(1, 80, 234) 

# 启用 GPU 加速（如果可用）
if torch.cuda.is_available():
    vocoder = vocoder.cuda()
    mel = mel.cuda()

# 执行推理
with torch.no_grad():
    audio = vocoder.inference(mel)

# audio 即为生成的波形数据

方式二：本地推理

如果你已有训练好的检查点文件和梅尔频谱文件：

python inference.py -p [checkpoint 路径] -i [输入 mel 文件路径]

简要训练流程

若需从头训练，请准备采样率为 22050Hz 的 .wav 数据集：

1. 数据预处理：

   python preprocess.py -c config/default.yaml -d [数据集根目录]
   

2. 修改配置： 复制并编辑配置文件 config/config.yaml，在第 2/3 行填入训练集和验证集的路径（需包含成对的 .wav 和 .mel 文件）。

3. 开始训练：

   python trainer.py -c config/config.yaml -n [运行名称]
   

4. 查看监控：

   tensorboard --logdir logs/