Tacotron

在 TensorFlow 中实现的 Tacotron 语音合成模型。

音频样本

• 音频样本 来自使用本仓库训练的模型。
  • 第一组在 LJ Speech 数据集 上训练了 441K 步。
    • 大约在 20K 步时，语音开始变得可懂。
  • 第二组由 @MXGray 在 Nancy 语料库 上训练了 140K 步。

最新更新

1. @npuichigo 修复 了一个 bug，即 Prenet 中未应用 Dropout。

2. @begeekmyfriend 创建了一个 分支，添加了来自 Tacotron 2 论文中的位置敏感注意力机制和停止标记。这可以大大减少训练模型所需的数据量。

背景

2017 年 4 月，Google 发表了一篇论文《Tacotron：迈向端到端语音合成》，其中他们提出了一种神经网络文本转语音模型，可以直接从 (文本, 音频) 对中学习合成语音。然而，他们并未公开源代码或训练数据。本项目是对此论文中描述模型的开源实现尝试。

目前的质量还不如 Google 的演示效果，但希望未来能够达到那个水平 :-)。欢迎提交 Pull Request！

快速入门

安装依赖

1. 安装 Python 3。

2. 根据你的平台安装最新版本的 TensorFlow。为了获得更好的性能，如果硬件支持 GPU，请安装带有 GPU 支持的版本。此代码适用于 TensorFlow 1.3 及以上版本。

3. 安装所需的依赖：

   pip install -r requirements.txt
   

使用预训练模型

1. 下载并解压模型：

   curl https://data.keithito.com/data/speech/tacotron-20180906.tar.gz | tar xzC /tmp
   

2. 运行演示服务器：

   python3 demo_server.py --checkpoint /tmp/tacotron-20180906/model.ckpt
   

3. 在浏览器中访问 localhost:9000

   • 输入你想要合成的内容

训练

注意：训练模型至少需要 40GB 的可用磁盘空间。

1. 下载语音数据集。

   默认支持以下数据集：

   • LJ Speech（公共领域）
   • Blizzard 2012（知识共享署名-相同方式共享许可）

   如果你能将其他数据集转换为正确格式，也可以使用。更多信息请参阅 TRAINING_DATA.md。

2. 将数据集解压到 ~/tacotron 目录下

   解压后，对于 LJ Speech，目录结构应如下所示：

   tacotron
     |- LJSpeech-1.1
         |- metadata.csv
         |- wavs
   

   或者对于 Blizzard 2012：

   tacotron
     |- Blizzard2012
         |- ATrampAbroad
         |   |- sentence_index.txt
         |   |- lab
         |   |- wav
         |- TheManThatCorruptedHadleyburg
             |- sentence_index.txt
             |- lab
             |- wav
   

3. 预处理数据

   python3 preprocess.py --dataset ljspeech
   

   • 对于 Blizzard 数据，使用 --dataset blizzard。

4. 训练模型

   python3 train.py
   

   可调超参数位于 hparams.py 中。你可以在命令行中使用 --hparams 标志来调整这些参数，例如 --hparams="batch_size=16,outputs_per_step=2"。通常情况下，训练和评估时的超参数应设置为相同的值。默认超参数推荐用于 LJ Speech 和其他英语数据集。有关其他语言的信息，请参阅 TRAINING_DATA.md。

5. 使用 TensorBoard 监控训练过程（可选）

   tensorboard --logdir ~/tacotron/logs-tacotron
   

   训练器会每 1000 步输出一次音频和对齐信息。这些文件可以在 ~/tacotron/logs-tacotron 目录下找到。

6. 从检查点合成语音

   python3 demo_server.py --checkpoint ~/tacotron/logs-tacotron/model.ckpt-185000
   

   将“185000”替换为你想要使用的检查点编号，然后打开浏览器访问 localhost:9000，输入你想要朗读的内容。或者，你也可以在命令行中运行 eval.py：

   python3 eval.py --checkpoint ~/tacotron/logs-tacotron/model.ckpt-185000
   

   如果你在训练时设置了 --hparams 标志，这里也应使用相同的值。

注意事项及常见问题

• TCMalloc 似乎能提高训练速度，并避免使用默认分配器时偶尔出现的减速现象。你可以通过安装它并设置 LD_PRELOAD=/usr/lib/libtcmalloc.so 来启用。使用 TCMalloc 后，在 GTX 1080Ti 上大约可以达到 1.1 秒/步的速度。

• 你可以使用 CMUDict 进行训练，只需将词典下载到 ~/tacotron/training 目录下，然后在 train.py 中传递 --hparams="use_cmudict=True" 参数即可。这样，在评估时，你可以用花括号括起来的 ARPAbet 音素来强制特定的发音，例如 Turn left on {HH AW1 S S T AH0 N} Street.。

• 如果你在 train.py 中通过 --slack_url 参数传入 Slack 入站 Webhook URL，程序会在每 1000 步发送一次进度更新。

• 有时，损失会出现激增，模型可能会忘记如何进行注意力机制计算（对齐信息不再合理）。虽然最终会恢复，但为了避免浪费时间，你可以在激增之前的一个检查点重新启动训练，方法是在 train.py 中添加 --restore_step=150000 参数（将 150000 替换为激增前的步骤编号）。更新：最近由 @candlewill 提出的关于梯度裁剪的 修复 可能已经解决了这个问题。

• 在评估和训练过程中，音频长度受限于 max_iters * outputs_per_step * frame_shift_ms 毫秒。使用默认值（max_iters=200, outputs_per_step=5, frame_shift_ms=12.5），最大长度为 12.5 秒。

  如果你的训练示例更长，你可能会看到类似如下的错误： 形状不匹配：[32,1340,80] vs. [32,1000,80]

  要解决这个问题，你可以通过在 train.py 中传递 --hparams="max_iters=300" 来增加 max_iters 的值（将 300 替换为你根据音频长度和上述公式计算出的合适数值）。

• 以下是使用默认超参数在 LJ Speech 数据集上训练时预期的损失曲线：

其他实现

• Alex Barron 的实现：https://github.com/barronalex/Tacotron
• Kyubyong Park 的实现：https://github.com/Kyubyong/tacotron

Tacotron 快速上手指南

Tacotron 是一个基于 TensorFlow 实现的端到端语音合成（Text-to-Speech）开源项目，能够直接从文本 - 音频对中學習合成语音。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux 或 macOS（Windows 需通过 WSL 或 Docker 运行）。
• Python 版本：Python 3.6+。
• 深度学习框架：TensorFlow 1.3 或更高版本。
  • 推荐：若拥有 NVIDIA GPU，请安装支持 CUDA 的 tensorflow-gpu 版本以获得最佳训练性能。
• 磁盘空间：
  • 仅使用预训练模型演示：至少 1GB。
  • 从头训练模型：至少 40GB 可用空间（用于存放数据集和检查点）。

安装步骤

1. 安装 Python 依赖

克隆仓库或直接进入项目目录后，使用 pip 安装所需库。国内用户建议使用清华或阿里镜像源加速安装：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 获取预训练模型（可选，用于快速体验）

如果您不想从头训练，可以直接下载官方提供的预训练模型：

curl https://data.keithito.com/data/speech/tacotron-20180906.tar.gz | tar xzC /tmp

基本使用

方案 A：使用预训练模型快速演示

这是最简单的体验方式，无需下载大型数据集即可测试语音合成效果。

1. 启动演示服务器 运行以下命令加载刚才下载的模型检查点：

   python3 demo_server.py --checkpoint /tmp/tacotron-20180906/model.ckpt
   

2. 进行语音合成 打开浏览器访问 http://localhost:9000，在输入框中输入英文文本，即可听到合成的语音。

---

方案 B：从头训练模型

如果您希望用自己的数据训练模型，请按以下步骤操作：

1. 准备数据集 下载支持的 dataset（如 LJ Speech），并将其解压到 ~/tacotron 目录下。 目录结构应如下所示：

   tacotron
     |- LJSpeech-1.1
         |- metadata.csv
         |- wavs
   

2. 数据预处理 运行预处理脚本将音频和文本转换为模型可接受的格式：

   python3 preprocess.py --dataset ljspeech
   

   (注：若使用 Blizzard 数据集，请将 --dataset 参数改为 blizzard)

3. 开始训练 启动训练进程：

   python3 train.py
   

   • 监控训练：可在另一个终端运行 tensorboard --logdir ~/tacotron/logs-tacotron 查看损失曲线和音频样本。
   • 显存优化：若遇到内存不足，可通过 --hparams 调整批次大小，例如：python3 train.py --hparams="batch_size=8"。

4. 使用训练好的模型合成 当训练生成检查点（例如步数为 185000）后，运行：

   python3 demo_server.py --checkpoint ~/tacotron/logs-tacotron/model.ckpt-185000
   

   随后访问 http://localhost:9000 即可使用您训练的模型。