一个（附有详尽文档）的 Tacotron TensorFlow 实现：一种完全端到端的文本转语音合成模型

需求

• NumPy >= 1.11.1
• TensorFlow >= 1.3
• librosa
• tqdm
• matplotlib
• scipy

数据

我们使用三个不同的语音数据集来训练模型。

1. LJ 语音数据集
2. 尼克·奥弗曼的有声书
3. 世界英语圣经

LJ 语音数据集因其公开可用性，近年来被广泛用作 TTS 任务中的基准数据集。它包含 24 小时质量尚可的样本。 尼克的有声书则用于测试模型在数据较少、语音样本多变的情况下是否仍能有效学习，总时长为 18 小时。 世界英语圣经是 1901 年美国标准版的现代英语更新版本，属于公共领域作品。其原始音频可在此免费获取 这里。Kyubyong 将每一章按经文手动分割，并将分段后的音频与文本对齐，总时长达 72 小时。您可以在 Kaggle 数据集上下载这些数据。

训练

• 第 0 步：下载 LJ 语音数据集 或准备您自己的数据。
• 第 1 步：调整 hyperparams.py 中的超参数。（如果您想进行预处理，请将 prepro 设置为 True。）
• 第 2 步：运行 python train.py。（如果将 prepro 设置为 True，则需先运行 python prepro.py。）
• 第 3 步：在训练过程中定期运行 python eval.py。

样本合成

我们根据原始论文的做法，基于 哈佛句子生成语音样本。这些样本已包含在代码库中。

• 运行 python synthesize.py，并在 samples 目录中查看生成的文件。

训练曲线

注意力图

生成的样本

• LJ 在 20 万步时
• 尼克在 21.5 万步时
• WEB 在 18.3 万步时

预训练文件

• 请注意，20 万步可能不足以达到最佳性能。
• LJ 20 万步
• WEB 20 万步

注意事项

• 在训练过程中监控注意力图非常重要。如果注意力图一开始看起来不错（对齐呈线性），但后来又变得糟糕（类似于训练初期的样子），则说明训练出现了问题，很可能需要从注意力表现良好的检查点重新开始，因为我们发现损失通常难以恢复。这种注意力的恶化会伴随着损失的急剧上升。

• 在原始论文中，作者提到：“我们发现的一个重要技巧是在每个解码步骤预测多个不重叠的输出帧”，这里的“多个帧”即缩减因子 r。我们最初将其理解为在每个解码步骤 t 中预测非连续的帧。因此，在解码时采用了如下方案（设 r=5）：

  t    帧号
  -----------------------
  0    [ 0  1  2  3  4]
  1    [ 5  6  7  8  9]
  2    [10 11 12 13 14]
  ...
  

  经过多次实验后，我们发现模型无法学到任何有用的信息。随后，我们改为在每个解码步骤中预测 r 个连续的帧。

  t    帧号
  -----------------------
  0    [ 0  1  2  3  4]
  1    [ 5  6  7  8  9]
  2    [10 11 12 13 14]
  ...
  

  采用这种设置后，我们观察到了注意力方面的改善，并一直沿用至今。

• 最重要的超参数或许是学习率。 初始学习率为 0.002 时，我们始终无法获得清晰的注意力图，损失也经常飙升。而当初始学习率设为 0.001 时，我们成功获得了清晰的注意力图，并能够长时间训练，最终在合成时得到可辨认的语音。

• 您也可以参考其他 TTS 模型，例如 DCTTS 或 Deep Voice 3。

与原始论文的不同之处

• 我们使用 Noam 式的学习率预热和衰减策略。
• 我们实现了梯度裁剪。
• 我们的训练批次经过桶排序。
• 在后处理网络的最后一层卷积之后，我们应用了一个仿射变换，将维度从 80 提升至 128，因为高速公路网络所需的输入维度为 128。在原始的高速公路网络论文中，作者提到也可以通过零填充来增加输入维度，但他们所有的实验都使用了仿射变换。至于 Tacotron 的作者选择了哪种方法，我们并不清楚。

引用本仓库的论文

• 基于深度卷积网络并结合引导式注意力的高效可训练文本转语音系统
• Storytime - 用于有声书的端到端神经网络

2018 年 1 月， Kyubyong Park & Tommy Mulc

Tacotron 快速上手指南

Tacotron 是一个基于 TensorFlow 实现的端到端文本转语音（TTS）合成模型。本指南将帮助你快速搭建环境并运行该模型。

环境准备

在开始之前，请确保你的系统满足以下要求：

• 操作系统: Linux 或 macOS (Windows 需配置相应 TensorFlow 环境)
• Python: 建议 Python 3.6+
• 核心依赖:
  • NumPy >= 1.11.1
  • TensorFlow >= 1.3 (注意：此项目基于 TF 1.x 版本)
  • librosa
  • tqdm
  • matplotlib
  • scipy

提示：由于该项目依赖较旧版本的 TensorFlow (1.x)，建议在独立的虚拟环境（如 venv 或 conda）中安装，以避免与现有 TensorFlow 2.x 环境冲突。国内用户可使用清华源或阿里源加速 pip 包下载。

安装步骤

1. 克隆仓库

   git clone https://github.com/kyubyong/tacotron.git
   cd tacotron
   

2. 安装依赖 推荐使用国内镜像源安装 Python 依赖包：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

   如果项目中没有 requirements.txt 文件，请手动安装：

   pip install numpy>=1.11.1 tensorflow>=1.3 librosa tqdm matplotlib scipy -i https://pypi.tuna.tsinghua.edu.cn/simple
   

3. 准备数据 默认使用 LJ Speech Dataset。你需要手动下载并解压到项目目录或指定路径。

   • 下载地址：LJ Speech Dataset
   • 将下载的数据集放置在 data 文件夹下（具体路径需在配置文件中确认）。

基本使用

1. 配置参数

打开 hyperparams.py 文件，根据本地环境调整超参数。

• 如果需要预处理数据，确保设置 prepro = True。
• 重要提示：学习率 (lr) 是关键参数。建议使用初始学习率 0.001 以获得更好的注意力对齐效果；0.002 可能导致损失爆炸。

2. 数据预处理（可选）

如果在配置中开启了 prepro，请先运行预处理脚本：

python prepro.py

3. 开始训练

运行训练脚本启动模型训练：

python train.py

训练过程中请密切关注生成的注意力图（Attention Plot）。如果注意力图从线性对齐变为混乱，且损失值激增，说明训练失败，需要从之前的检查点重启。

4. 评估与监控

在训练过程中，可以定期运行评估脚本来查看中间结果：

python eval.py

5. 语音合成

训练完成后（或使用预训练模型），运行合成脚本生成语音样本。默认使用哈佛句子集（Harvard Sentences）进行测试：

python synthesize.py

生成的音频文件将保存在 samples 目录中。

使用预训练模型（可选）

如果你不想从头训练，可以下载作者提供的预训练权重（约 200k steps）：

• LJ 数据集预训练模型
• WEB 数据集预训练模型

下载后解压到对应的日志目录，然后直接运行 python synthesize.py 即可测试效果。