Tacotron-2:

DeepMind的Tacotron-2的TensorFlow实现。该深度神经网络架构在论文《通过基于梅尔频谱图预测来调节WaveNet实现自然的TTS合成》中有所描述：Natural TTS synthesis by conditioning Wavenet on MEL spectogram predictions

本仓库包含了对原论文的额外改进和尝试，因此我们提出了paper_hparams.py文件，其中保存了完全相同的超参数，以便在没有任何额外改动的情况下复现论文结果。

建议使用的默认hparams.py文件包含了一些经过验证在大多数情况下能带来更好效果的附加超参数。您可以根据需要自由调整这些参数。

相关差异将在文档中尽快标注出来。

仓库结构：

Tacotron-2
├── datasets
├── en_UK		(0)
│   └── by_book
│       └── female
├── en_US		(0)
│   └── by_book
│       ├── female
│       └── male
├── LJSpeech-1.1	(0)
│   └── wavs
├── logs-Tacotron	(2)
│   ├── eval_-dir
│   │ 	├── plots
│ 	│ 	└── wavs
│   ├── mel-spectrograms
│   ├── plots
│   ├── taco_pretrained
│   ├── metas
│   └── wavs
├── logs-Wavenet	(4)
│   ├── eval-dir
│   │ 	├── plots
│ 	│ 	└── wavs
│   ├── plots
│   ├── wave_pretrained
│   ├── metas
│   └── wavs
├── logs-Tacotron-2	( * )
│   ├── eval-dir
│   │ 	├── plots
│ 	│ 	└── wavs
│   ├── plots
│   ├── taco_pretrained
│   ├── wave_pretrained
│   ├── metas
│   └── wavs
├── papers
├── tacotron
│   ├── models
│   └── utils
├── tacotron_output	(3)
│   ├── eval
│   ├── gta
│   ├── logs-eval
│   │   ├── plots
│   │   └── wavs
│   └── natural
├── wavenet_output	(5)
│   ├── plots
│   └── wavs
├── training_data	(1)
│   ├── audio
│   ├── linear
│	└── mels
└── wavenet_vocoder
	└── models

上述目录树展示了当前仓库的状态（分步训练，一次完成一步）。

• 步骤 (0)：获取您的数据集，这里我提供了Ljspeech、en_US和en_UK（来自M-AILABS）的示例。

• 步骤 (1)：预处理您的数据。这将生成training_data文件夹。

• 步骤 (2)：训练您的Tacotron模型。这将产生logs-Tacotron文件夹。

• 步骤 (3)：合成/评估Tacotron模型。这将生成tacotron_output文件夹。

• 步骤 (4)：训练您的Wavenet模型。这将产生logs-Wavenet文件夹。

• 步骤 (5)：使用Wavenet模型合成音频。这将生成wavenet_output文件夹。

• 注意：步骤2、3和4都可以通过简单的运行同时完成Tacotron和WaveNet的训练（Tacotron-2，步骤( *)）。

注意：

• 我们的预处理仅支持Ljspeech及类似Ljspeech的数据集（M-AILABS语音数据）！ 如果您使用的是以不同方式存储的数据集，可能需要自行编写预处理脚本。
• 在上述目录树中，为了简化起见，未展示所有文件，并且最大深度设置为3。
• 如果您同时训练两个模型，仓库的结构将会有所不同。

预训练模型与样本：

预训练模型和音频样本将在稍后添加。不过，您可以在这里查看模型性能的一些初步见解（处于训练初期阶段）。请注意，这些内容已经非常过时，我将很快更新。

模型架构：

作者描述的模型可以分为两部分：

• 频谱图预测网络
• WaveNet声码器

如需深入了解模型架构、训练流程和预处理逻辑，请参阅我们的维基页面。

当前状态：

如需了解我们在该项目上的进展，请参阅此讨论。

由于整个模型的两部分是分别训练的，我们可以先训练特征预测模型，以便在后续的WaveNet训练中使用其预测结果。

如何开始

• 机器环境配置：

首先，您需要安装Python 3以及TensorFlow。

接下来，您需要安装一些Linux依赖项，以确保音频库正常工作：

apt-get install -y libasound-dev portaudio19-dev libportaudio2 libportaudiocpp0 ffmpeg libav-tools

最后，您可以安装项目所需的依赖包。如果您使用Anaconda：（否则请将pip替换为pip3，python替换为python3）

pip install -r requirements.txt

• Docker：

或者，您也可以构建Docker镜像，以确保所有环境自动配置完毕，并在Docker容器内运行该项目。 Dockerfile位于“docker”文件夹内

可以通过以下命令构建Docker镜像：

docker build -t tacotron-2_image docker/

然后可以使用以下命令运行容器：

docker run -i --name new_container tacotron-2_image

如果您在使用Docker运行我们的模型时遇到任何问题，请随时向我们反馈，我会尽快处理。谢谢！

数据集：

我们已在 ljspeech数据集上测试了上述代码，该数据集包含近24小时由一位女演员录制的带标签语音。（下载数据集时，README文件中提供了更多关于该数据集的信息）

我们目前还在对新的M-AILABS语音数据集进行测试，该数据集包含超过700小时的语音（超过80GB的数据），覆盖10多种语言。

在下载数据集后，请解压缩文件，并将文件夹放置到克隆的仓库目录中。

超参数设置：

在继续之前，您必须选择最适合您需求的超参数。虽然在预处理或训练过程中可以通过命令行更改超参数，但我仍然建议您直接在hparams.py文件中一次性完成所有修改。

为了选择最佳的FFT参数，我制作了一个griffin_lim_synthesis_tool笔记本，您可以使用它来反演实际提取的梅尔频谱图/线性频谱图，从而判断您的预处理效果如何。其他选项在hparams.py中都有详细说明，并且命名清晰，方便您尝试不同的设置。

关于超参数的详细文档即将发布！！

预处理

在运行以下步骤之前，请确保您位于 Tacotron-2 文件夹 内。

cd Tacotron-2

然后可以使用以下命令开始预处理：

python preprocess.py

可以通过 --dataset 参数选择数据集。如果使用 M-AILABS 数据集，您需要根据自己的需求提供 language、voice、reader、merge_books 和 book 参数。默认值为 Ljspeech。

M-AILABS 示例：

python preprocess.py --dataset='M-AILABS' --language='en_US' --voice='female' --reader='mary_ann' --merge_books=False --book='northandsouth'

或者，如果您希望将一位说话人的所有书籍合并为一个数据集：

python preprocess.py --dataset='M-AILABS' --language='en_US' --voice='female' --reader='mary_ann' --merge_books=True

这通常不会超过 几分钟。

训练：

要依次训练 两个模型（一个接一个）：

python train.py --model='Tacotron-2'

特征预测模型可以 单独 训练，使用以下命令：

python train.py --model='Tacotron'

检查点将每 5000 步 保存一次，并存储在 logs-Tacotron 文件夹 中。

当然，也可以单独训练 WaveNet 模型，使用以下命令：

python train.py --model='WaveNet'

日志文件将存储在 logs-Wavenet 文件夹 中。

注意：

• 如果未提供 model 参数，则默认训练 Tacotron-2 模型（即同时训练两个模型）。
• 请参阅 train.py 中的训练参数，以获取可用选项。
• 现在也可以仅使用 wavenet_preprocess.py 进行 WaveNet 的预处理。

合成

要以 端到端 方式（文本到音频）合成音频（两个模型协同工作）：

python synthesize.py --model='Tacotron-2'

对于频谱图预测网络（单独使用），有 三种 不同的梅尔频谱图合成方式：

• 评估合成（对自定义句子进行合成）。这通常是在拥有完整的端到端模型后使用的模式。

python synthesize.py --model='Tacotron'

• 自然合成（让模型通过将前一时刻的解码器输出作为下一时刻的输入来独立进行预测）。

python synthesize.py --model='Tacotron' --mode='synthesis' --GTA=False

• 真值对齐合成（默认：模型在教师强制机制下借助真实标签进行辅助）。这种合成方法用于生成用于训练 WaveNet 声码器的梅尔频谱图。（如论文所述，这种方法效果更好）

python synthesize.py --model='Tacotron' --mode='synthesis' --GTA=True

基于先前合成的梅尔频谱图单独合成 波形，可以使用以下命令：

python synthesize.py --model='WaveNet'

注意：

• 如果未提供 model 参数，则默认合成 Tacotron-2 模型的音频（端到端 TTS）。
• 请参阅 synthesize.py 中的合成参数，以获取可用选项。

参考文献与资源：

• 通过将 WaveNet 条件化于梅尔频谱图预测进行自然 TTS 合成
• 原始 Tacotron 论文
• 基于注意力机制的语音识别模型
• WaveNet：一种用于原始音频的生成模型
• 快速 WaveNet
• r9y9/wavenet_vocoder
• keithito/tacotron

Tacotron-2 快速上手指南

Tacotron-2 是一个基于 TensorFlow 实现的端到端文本转语音（TTS）深度学习架构。它包含两个主要部分：梅尔频谱预测网络（Tacotron）和 WaveNet 声码器。本指南将帮助你快速搭建环境并运行模型。

环境准备

在开始之前，请确保你的系统满足以下要求：

• 操作系统: 推荐 Linux (Ubuntu)，Windows 可能需要额外配置音频依赖。
• Python: Python 3.x
• 深度学习框架: TensorFlow (CPU 或 GPU 版本)
• 系统依赖库: 需要安装音频处理相关的开发库。

安装系统依赖 (Ubuntu/Debian):

apt-get install -y libasound-dev portaudio19-dev libportaudio2 libportaudiocpp0 ffmpeg libav-tools

安装 Python 依赖: 如果你使用 Anaconda，请在激活环境后运行：

pip install -r requirements.txt

若未使用 Anaconda，请将 pip 替换为 pip3，python 替换为 python3。

提示: 国内用户建议使用清华源或阿里源加速 pip 安装： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

Docker 方案 (可选): 项目提供了 Dockerfile 以自动配置环境。

docker build -t tacotron-2_image docker/
docker run -i --name new_container tacotron-2_image

安装与数据准备

1. 获取数据集

本项目主要支持 LJSpeech 数据集或与其结构相似的 M-AILABS 数据集。

• 下载 LJSpeech 数据集：LJ-Speech-Dataset
• 解压后将文件夹放入克隆后的仓库根目录中。

2. 配置超参数

在运行前，建议检查 hparams.py 文件。

• paper_hparams.py: 包含复现原论文结果的精确参数。
• hparams.py (默认): 包含经过优化、通常能产生更好效果的额外参数。
• 如需调整 FFT 参数，可使用项目提供的 griffin_lim_synthesis_tool notebook 进行测试。

3. 数据预处理

进入项目目录并执行预处理脚本。默认处理 LJSpeech 数据集：

cd Tacotron-2
python preprocess.py

如果使用 M-AILABS 数据集，需指定语言、说话人等参数：

python preprocess.py --dataset='M-AILABS' --language='en_US' --voice='female' --reader='mary_ann' --merge_books=True

预处理过程通常只需几分钟，完成后会生成 training_data 文件夹。

基本使用

1. 训练模型

方式 A：端到端训练 (推荐) 依次训练 Tacotron 和 WaveNet 两个模型：

python train.py --model='Tacotron-2'

注：如果不提供 --model 参数，默认也会执行此操作。

方式 B：分步训练 仅训练频谱预测模型 (Tacotron)：

python train.py --model='Tacotron'

仅训练声码器模型 (WaveNet)：

python train.py --model='WaveNet'

检查点每 5000 步保存一次，分别存储在 logs-Tacotron 或 logs-Wavenet 目录中。

2. 语音合成

方式 A：端到端合成 (文本直接转音频) 使用训练好的完整模型生成语音：

python synthesize.py --model='Tacotron-2'

注：如果不提供 --model 参数，默认执行此操作。

方式 B：分步合成 仅生成梅尔频谱 (Tacotron 部分)：

# 评估模式 (自定义句子)
python synthesize.py --model='Tacotron'

# 自然合成模式
python synthesize.py --model='Tacotron' --mode='synthesis' --GTA=False

# GTA 模式 (用于训练 WaveNet，效果更佳)
python synthesize.py --model='Tacotron' --mode='synthesis' --GTA=True

仅基于已生成的梅尔频谱合成波形 (WaveNet 部分)：

python synthesize.py --model='WaveNet'

合成结果将保存在 tacotron_output 或 wavenet_output 目录中。