WaveNet 语音编码器

注意: 这是开发版本。如果您需要稳定版本，请检出 v0.1.1。

该仓库的目标是提供一个 WaveNet 语音编码器的实现，它可以基于语言学或声学特征生成高质量的原始语音样本。

音频样本可在 https://r9y9.github.io/wavenet_vocoder/ 上找到。

最新消息

• 2019年10月31日：该仓库已适配 ESPnet。其中提供了英语、中文和日语的样本及预训练模型。详情请参见 https://github.com/espnet/espnet 和 https://github.com/espnet/espnet#tts-results。

在线 TTS 演示

有一个应该在 https://colab.research.google.com 上运行的笔记本：

• Tacotron2：基于 WaveNet 的文本到语音演示

亮点

• 专注于 WaveNet 的局部和全局条件化，这对语音编码器至关重要。
• 使用混合分布对 16 位原始音频建模：支持物流混合 (MoL)、高斯混合以及单个高斯分布。
• 多种音频样本和预训练模型
• 通过缓存卷积中的中间状态实现快速推理。类似于 arXiv:1611.09482
• 与 ESPnet 集成（https://github.com/espnet/espnet）

预训练模型

注意: 这本身并不是一个文本到语音 (TTS) 模型。使用此处提供的预训练模型，您可以根据 梅尔频谱图 合成波形，而不是原始文本。要将这些预训练模型用于 TTS，您还需要一个梅尔频谱图预测模型（例如 Tacotron2）。

注意: 对于 LJSpeech 的预训练模型，该模型经过多次微调，总共训练了超过 100 万步。有关模型的训练方式，请参阅相关问题（#1、#75、#45)。

模型链接	数据	超参数链接	Git 提交	步数
链接	LJSpeech	链接	2092a64	100万步左右
链接	CMU ARCTIC	链接	b1a1076	74万步

要使用预训练模型，首先检出上述指定的 Git 提交。即：

git checkout ${commit_hash}

然后按照 README 中的“从检查点合成”部分操作。请注意，旧版本的 synthesis.py 可能不接受 --preset=<json> 参数，您可能需要根据预设 (json) 文件修改 hparams.py。

您可以尝试如下操作：

# 假设您已将 LJSpeech-1.1 下载到 ~/data/LJSpeech-1.1
# 预训练模型 (20180510_mixture_lj_checkpoint_step000320000_ema.pth)
# 超参数文件 (20180510_mixture_lj_checkpoint_step000320000_ema.json)
git checkout 2092a64
python preprocess.py ljspeech ~/data/LJSpeech-1.1 ./data/ljspeech \
  --preset=20180510_mixture_lj_checkpoint_step000320000_ema.json
python synthesis.py --preset=20180510_mixture_lj_checkpoint_step000320000_ema.json \
  --conditional=./data/ljspeech/ljspeech-mel-00001.npy \
  20180510_mixture_lj_checkpoint_step000320000_ema.pth \
  generated

您可以在 generated 目录中找到生成的 wav 文件。想知道它是如何工作的吗？那就看看代码吧 :)

仓库结构

该仓库由 1) PyTorch 库、2) 命令行工具以及 3) ESPnet-风格的配方组成。第一部分是一个 PyTorch 库，用于提供 WaveNet 功能。第二部分是一组用于运行 WaveNet 训练/推理、数据处理等的工具。第三部分则是结合 WaveNet 库和实用工具的可复现配方。请根据您的目的查看它们。如果您想在自己的数据集上构建 WaveNet（我想这可能是最常见的情况），那么配方就是适合您的方式。

需求

• Python 3
• CUDA >= 8.0
• PyTorch >= v0.4.0

安装

git clone https://github.com/r9y9/wavenet_vocoder && cd wavenet_vocoder
pip install -e .

如果您只需要库部分，可以从 pypi 安装：

pip install wavenet_vocoder

入门

Kaldi 风格的配方

该仓库提供了 Kaldi 风格的配方，以使实验具有可重复性且易于管理。可用的配方如下：

• mulaw256：使用分类输出分布的 WaveNet。输入为 8 位 mu-law 量化波形。
• mol：物流混合（MoL）WaveNet。输入为 16 位原始音频。
• gaussian：单高斯 WaveNet（又称 ClariNet 的教师模型）。输入为 16 位原始音频。

所有配方都包含 run.sh 脚本，其中指定了执行 WaveNet 训练/推理的所有步骤，包括数据预处理。详细信息请参阅 egs 目录中的 run.sh。

注意：上述配方不支持多说话人 WaveNet 的全局条件化（尽管实现起来并不困难）。请查看 v0.1.12 版本以获取此功能，或者如果您确实需要此功能，请提交 issue。

将配方应用于您自己的数据集

这些配方设计为通用型，因此可以用于任何数据集。要将配方应用于您自己的数据集，您需要将所有 WAV 文件放入一个扁平目录中。例如：

> tree -L 1 ~/data/LJSpeech-1.1/wavs/ | head
/Users/ryuichi/data/LJSpeech-1.1/wavs/
├── LJ001-0001.wav
├── LJ001-0002.wav
├── LJ001-0003.wav
├── LJ001-0004.wav
├── LJ001-0005.wav
├── LJ001-0006.wav
├── LJ001-0007.wav
├── LJ001-0008.wav
├── LJ001-0009.wav

就是这样！最后一步是修改 run.sh 中的 db_root，或将 db_root 作为命令行参数传递给 run.sh。

./run.sh --stage 0 --stop-stage 0 --db-root ~/data/LJSpeech-1.1/wavs/

分步操作

一个配方通常由多个步骤组成。强烈建议首次使用时分步运行配方，以便了解其工作原理。为此，请按如下方式指定 stage 和 stop_stage：

./run.sh --stage 0 --stop-stage 0

./run.sh --stage 1 --stop-stage 1

./run.sh --stage 2 --stop-stage 2

在典型情况下，尤其是在训练步骤中，您需要显式指定 CUDA 设备。

CUDA_VISIBLE_DEVICES="0,1" ./run.sh --stage 2 --stop-stage 2

命令行工具文档

命令行工具使用 docopt 编写。有关基本用法，请参阅每个 docstring。

tojson.py

将超参数转储到 JSON 文件中。

用法：

python tojson.py --hparams="您想要覆盖的参数" <output_json_path>

preprocess.py

用法：

python preprocess.py wavallin ${dataset_path} ${out_dir} --preset=<json>

train.py

注意：对于多 GPU 训练，最好确保 batch_size % num_gpu == 0。

用法：

python train.py --dump-root=${dump-root} --preset=<json>\
  --hparams="您想要覆盖的参数"

evaluate.py

给定一个包含局部条件特征的目录，为其合成波形。

用法：

python evaluate.py ${dump_root} ${checkpoint} ${output_dir} --dump-root="数据位置"\
    --preset=<json> --hparams="您想要覆盖的参数"

选项：

• --num-utterances=<N>：要生成的语句数量。如果未指定，则生成所有语句。这对于调试非常有用。

synthesis.py

注意：这可能目前无法正常工作。请改用 evaluate.py。

根据给定的条件特征合成波形。

用法：

python synthesis.py ${checkpoint_path} ${output_dir} --preset=<json> --hparams="您想要覆盖的参数"

重要选项：

• --conditional=<path>：（条件 WaveNet 必需）局部条件特征文件路径（.npy）。如果指定了此选项，生成的时间步长将由条件特征的大小决定。

训练场景

训练无条件 WaveNet

注意：这可能目前无法正常工作。请查看 v0.1.1 版本以获取可用版本。

python train.py --dump-root=./data/cmu_arctic/
    --hparams="cin_channels=-1,gin_channels=-1"

您必须通过将 gin_channels 和 cin_channels 设置为负值来禁用全局和局部条件化。

训练基于梅尔谱的条件 WaveNet

python train.py --dump-root=./data/cmu_arctic/ --speaker-id=0 \
    --hparams="cin_channels=80,gin_channels=-1"

训练基于梅尔谱和说话人嵌入的条件 WaveNet

注意：这可能目前无法正常工作。请查看 v0.1.1 版本以获取可用版本。

python train.py --dump-root=./data/cmu_arctic/ \
    --hparams="cin_channels=80,gin_channels=16,n_speakers=7"

杂项

使用 TensorBoard 监控

日志默认会转储到 ./log 目录中。您可以使用 TensorBoard 监控日志：

tensorboard --logdir=log

使用本仓库的论文列表

• 近期神经声码器在语音信号重建中的比较 https://www.isca-speech.org/archive/SSW_2019/abstracts/SSW10_O_1-2.html
• WaveGlow：用于语音合成的基于流的生成网络 https://arxiv.org/abs/1811.00002
• WaveCycleGAN2：用于语音波形生成的时域神经后滤波器 https://arxiv.org/abs/1904.02892
• 使用神经声码器进行参数化重合成 https://arxiv.org/abs/1906.06762
• TTS 合成中的表征混合 https://arxiv.org/abs/1811.07240
• 用于乐器音频任务的统一神经架构 https://arxiv.org/abs/1903.00142
• ESPnet-TTS：统一、可重复且可集成的开源端到端文本到语音工具包：https://arxiv.org/abs/1910.10909

非常感谢！！如果您发现了新的论文，请提交 PR。

赞助商

• https://github.com/echelon

参考文献

• Aaron van den Oord, Sander Dieleman, Heiga Zen 等，“WaveNet：一种原始音频生成模型”，arXiv:1609.03499，2016 年 9 月。
• Aaron van den Oord, Yazhe Li, Igor Babuschkin 等，“并行 WaveNet：快速高保真语音合成”，arXiv:1711.10433，2017 年 11 月。
• Tamamori, Akira 等。“基于说话人的 WaveNet 声码器”。Interspeech 会议论文集，2017 年。
• Jonathan Shen, Ruoming Pang, Ron J. Weiss 等，“通过将 WaveNet 条件化于梅尔谱预测来实现自然的 TTS 合成”，arXiv:1712.05884，2017 年 12 月。
• Wei Ping, Kainan Peng, Andrew Gibiansky 等，“Deep Voice 3：2000 说话人的神经文本到语音”，arXiv:1710.07654，2017 年 10 月。
• Tom Le Paine, Pooya Khorrami, Shiyu Chang 等，“快速 WaveNet 生成算法”，arXiv:1611.09482，2016 年 11 月。
• Ye Jia, Yu Zhang, Ron J. Weiss, Quan Wang, Jonathan Shen, Fei Ren, Zhifeng Chen, Patrick Nguyen, Ruoming Pang, Ignacio Lopez Moreno, Yonghui Wu 等，“从说话人验证到多说话人文本到语音合成的迁移学习”，arXiv:1806.04558v4 cs.CL，2019 年 1 月 2 日。

WaveNet Vocoder 快速上手指南

WaveNet Vocoder 是一个基于 PyTorch 实现的 WaveNet 声码器，能够根据语言或声学特征（如梅尔频谱）生成高质量的原始语音波形。它支持多种分布建模（MoL、高斯混合等），并可与 ESPnet 集成。

注意：本工具本身不是端到端的文本转语音（TTS）模型。你需要先通过其他模型（如 Tacotron2）生成梅尔频谱，再使用本工具合成波形。

环境准备

在开始之前，请确保你的系统满足以下要求：

• 操作系统: Linux (推荐) 或 macOS
• Python: Python 3
• GPU: CUDA >= 8.0 (用于加速训练和推理)
• 深度学习框架: PyTorch >= v0.4.0

建议预先安装好对应的 CUDA 版本和 PyTorch。如果在国内网络环境下安装 PyTorch 较慢，推荐使用清华或中科大镜像源：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
# 请根据实际 CUDA 版本调整上述命令中的 cu118

安装步骤

你可以选择从源码安装（推荐，包含完整工具和示例脚本）或仅安装库文件。

方式一：从源码安装（推荐）

克隆仓库并以可编辑模式安装，以便运行示例脚本和修改代码：

git clone https://github.com/r9y9/wavenet_vocoder && cd wavenet_vocoder
pip install -e .

方式二：仅安装库

如果你只需要调用库函数，可以直接从 PyPI 安装：

pip install wavenet_vocoder

基本使用

以下是基于预训练模型进行语音合成的最简流程。本示例假设你已准备好一个梅尔频谱文件（.npy 格式）。

1. 获取预训练模型与配置

WaveNet Vocoder 提供了针对 LJSpeech 数据集的预训练模型。使用前需切换到对应的 Git 提交版本以确保兼容性。

# 切换到指定版本
git checkout 2092a64

# 下载预训练模型权重 (示例链接，请根据实际需求下载最新可用模型)
wget https://www.dropbox.com/s/zdbfprugbagfp2w/20180510_mixture_lj_checkpoint_step000320000_ema.pth?dl=0 -O checkpoint.pth

# 下载对应的超参数配置文件
wget https://www.dropbox.com/s/0vsd7973w20eskz/20180510_mixture_lj_checkpoint_step000320000_ema.json?dl=0 -O hparams.json

2. 数据预处理（可选）

如果你有自己的音频数据需要处理，可以使用 preprocess.py。若直接使用现成的梅尔频谱文件，可跳过此步。

# 示例：处理 LJSpeech 数据集
# 假设数据位于 ~/data/LJSpeech-1.1
python preprocess.py ljspeech ~/data/LJSpeech-1.1 ./data/ljspeech \
  --preset=hparams.json

3. 合成语音

使用 evaluate.py（推荐）或 synthesis.py 根据梅尔频谱生成波形。

前提条件：你需要有一个梅尔频谱文件（例如 mel-spec.npy）。如果是测试，可以从预处理后的数据目录中找一个现成的。

# 执行合成
# --conditional: 指定输入的梅尔频谱文件路径 (.npy)
# checkpoint.pth: 下载的模型权重
# generated: 输出目录
python evaluate.py ./data/ljspeech checkpoint.pth generated \
    --preset=hparams.json \
    --conditional=./data/ljspeech/ljspeech-mel-00001.npy

合成完成后，生成的 .wav 文件将保存在 generated 目录中。

进阶：运行完整食谱 (Recipe)

项目提供了类似 Kaldi 风格的食谱脚本 (run.sh)，可一键完成从数据准备到训练的全过程。

# 查看可用的食谱目录
ls egs/

# 运行示例食谱 (以 mol 为例，输入为 16-bit 原始音频)
# --stage 0 --stop-stage 0 表示只运行数据预处理阶段
./egs/mol/run.sh --stage 0 --stop-stage 0 --db-root ~/data/your_wav_directory/

如需进行多卡训练，请在运行训练阶段时指定 GPU：

CUDA_VISIBLE_DEVICES="0,1" ./egs/mol/run.sh --stage 2 --stop-stage 2