HiFi-GAN：用于高效高保真语音合成的生成对抗网络

Jungil Kong, Jaehyeon Kim, Jaekyoung Bae

在我们的 论文 中，我们提出了 HiFi-GAN：一种基于 GAN（生成对抗网络）的模型，能够高效地生成高保真语音。
我们在该仓库中开源了我们的实现和预训练模型。

摘要： 近期几项语音合成工作采用了生成对抗网络（GANs）来生成原始波形。 尽管此类方法提高了采样效率和内存占用，但其样本质量尚未达到自回归（autoregressive）和基于流（flow-based）生成模型的水平。 在这项工作中，我们提出了 HiFi-GAN，实现了高效且高保真的语音合成。 由于语音音频由具有不同周期的正弦信号组成，我们证明了建模音频的周期模式对于提高样本质量至关重要。 对单说话人数据集的主观人类评估（平均意见得分，MOS）表明，我们的方法在生成 22.05 kHz 高保真音频时，在单个 V100 GPU 上比实时快 167.9 倍，同时表现出接近人类质量的水平。 我们还展示了 HiFi-GAN 在未见过说话人的梅尔频谱图（mel-spectrogram）反演以及端到端（end-to-end）语音合成方面的通用性。 最后，一个轻量级版本的 HiFi-GAN 在 CPU 上生成样本的速度比实时快 13.4 倍，且具有与自回归对应模型相当的质量。

访问我们的 演示网站 以获取音频样本。

前置要求

1. Python >= 3.6
2. 克隆此仓库。
3. 安装 Python 依赖。请参考 requirements.txt。
4. 下载并解压 LJ Speech 数据集。 并将所有 wav 文件移动到 LJSpeech-1.1/wavs

训练

python train.py --config config_v1.json

要训练 V2 或 V3 生成器（Generator），请将 config_v1.json 替换为 config_v2.json 或 config_v3.json。
默认情况下，检查点（Checkpoints）和配置文件副本保存在 cp_hifigan 目录中。
您可以通过添加 --checkpoint_path 选项来更改路径。

使用 V1 生成器训练期间的验证损失。

预训练模型

您也可以使用我们要提供的预训练模型。
下载预训练模型
每个文件夹的详情如下所示：

文件夹名称	生成器	数据集	微调
LJ_V1	V1	LJSpeech	否
LJ_V2	V2	LJSpeech	否
LJ_V3	V3	LJSpeech	否
LJ_FT_T2_V1	V1	LJSpeech	是 (Tacotron2)
LJ_FT_T2_V2	V2	LJSpeech	是 (Tacotron2)
LJ_FT_T2_V3	V3	LJSpeech	是 (Tacotron2)
VCTK_V1	V1	VCTK	否
VCTK_V2	V2	VCTK	否
VCTK_V3	V3	VCTK	否
UNIVERSAL_V1	V1	Universal	否

我们提供了带有判别器（discriminator）权重的通用模型，可作为迁移学习（transfer learning）到其他数据集的基础。

微调

1. 使用 Tacotron2 配合教师强制（teacher-forcing）生成 numpy 格式的梅尔频谱图（mel-spectrogram）。
   生成的梅尔频谱图的文件名应与音频文件匹配，且扩展名应为 .npy。
   示例：

   Audio File : LJ001-0001.wav
   Mel-Spectrogram File : LJ001-0001.npy
   

2. 创建 ft_dataset 文件夹并将生成的梅尔频谱图文件复制进去。
   
3. 运行以下命令。

   python train.py --fine_tuning True --config config_v1.json
   

   关于其他命令行选项，请参阅训练部分。

从 wav 文件进行推理

1. 创建 test_files 目录并将 wav 文件复制到该目录中。
2. 运行以下命令。

   python inference.py --checkpoint_file [generator checkpoint file path]
   

生成的 wav 文件默认保存在 generated_files 中。
您可以通过添加 --output_dir 选项来更改路径。

用于端到端语音合成的推理

1. 创建 test_mel_files 目录并将生成的梅尔频谱图文件复制到该目录中。
   您可以使用 Tacotron2、Glow-TTS 等生成梅尔频谱图。
2. 运行以下命令。

   python inference_e2e.py --checkpoint_file [generator checkpoint file path]
   

生成的 wav 文件默认保存在 generated_files_from_mel 中。
您可以通过添加 --output_dir 选项来更改路径。

致谢

我们参考了 WaveGlow、MelGAN 和 Tacotron2 来实现此项目。

HiFi-GAN 快速上手指南

HiFi-GAN 是一种基于生成对抗网络（GAN）的高效高保真语音合成模型。它能够在保证音质的同时显著提升生成速度，支持从梅尔频谱图反演波形以及端到端语音合成。

1. 环境准备

• 操作系统: Linux / Windows / macOS
• Python 版本: >= 3.6
• 硬件要求:
  • 推荐 NVIDIA GPU（如 V100）以获得最佳推理速度。
  • 支持 CPU 运行（速度较慢）。
• 依赖库: PyTorch 及相关音频处理库（详见 requirements.txt）。

2. 安装步骤

克隆仓库

git clone https://github.com/jik876/hifi-gan.git
cd hifi-gan

安装依赖

pip install -r requirements.txt

数据集准备（仅训练需要）

如需从头训练模型，请下载并解压 LJ Speech 数据集，并将所有 .wav 文件移动至 LJSpeech-1.1/wavs 目录。

注：若仅使用预训练模型进行推理，此步骤可跳过。

3. 基本使用

获取预训练模型

官方提供了多个版本的预训练模型（包括 LJ Speech、VCTK 及通用模型），可通过以下链接下载： Google Drive 下载链接 (国内用户如遇下载缓慢，建议使用云盘工具或寻找镜像源)

推理示例 1：从 WAV 文件生成

1. 创建测试目录并放入待合成的音频文件：

   mkdir test_files
   cp your_audio.wav test_files/
   

2. 运行推理命令（替换为实际检查点路径）：

   python inference.py --checkpoint_file [generator checkpoint file path]
   

3. 生成的音频将默认保存在 generated_files 目录中。

推理示例 2：端到端语音合成（从梅尔频谱图）

如果你已有其他 TTS 模型（如 Tacotron2, Glow-TTS）生成的梅尔频谱图：

1. 创建目录并放入 .npy 格式的梅尔频谱图文件：

   mkdir test_mel_files
   

2. 运行推理命令：

   python inference_e2e.py --checkpoint_file [generator checkpoint file path]
   

3. 生成的音频将默认保存在 generated_files_from_mel 目录中。

训练模型（可选）

如需自定义训练，可使用以下命令：

python train.py --config config_v1.json

注意：训练前需确保已准备好数据集。检查点默认保存于 cp_hifigan 目录。