TTS: 面向所有人的文本转语音（Text-to-Speech）

TTS 是一个用于高级文本转语音生成的库。它基于最新研究成果构建，旨在实现训练便捷性、速度和音质之间的最佳平衡。TTS 提供预训练模型、用于评估数据集质量的工具，并已在 20 多种语言的产品和研究项目中得到应用。

:loudspeaker: 英语语音样本 和 SoundCloud 播放列表

:man_cook: TTS 训练配方

:page_facing_up: 文本转语音论文合集

💬 问题咨询渠道

请使用我们的专用渠道进行提问和讨论。如果帮助能够公开分享，让更多人受益，那么它将更有价值。

类型	平台
🚨 Bug 报告	GitHub Issue Tracker
❔ 常见问题	TTS/Wiki
🎁 功能请求与想法	GitHub Issue Tracker
👩‍💻 使用问题	Discourse Forum
🗯 一般讨论	Discourse Forum 和 Matrix Channel

🔗 链接与资源

类型	链接
💾 安装	TTS/README.md
👩🏾‍🏫 教程与示例	TTS/Wiki
🚀 已发布模型	TTS/Wiki
💻 Docker 镜像	Repository by @synesthesiam
🖥️ 演示服务器	TTS/server
🤖 在终端运行 TTS	TTS/README.md
✨ 如何贡献	TTS/README.md

🥇 TTS 性能表现

"Mozilla*" 和 "Judy*" 是我们的模型。 详情...

功能特性

• 用于文本转语音（Text2Speech）任务的高性能深度学习模型。
  • Text2Spec 模型（Tacotron、Tacotron2、Glow-TTS、SpeedySpeech）。
  • 用于高效计算说话人嵌入（speaker embeddings）的说话人编码器（Speaker Encoder）。
  • 声码器（Vocoder）模型（MelGAN、Multiband-MelGAN、GAN-TTS、ParallelWaveGAN、WaveGrad、WaveRNN）
• 快速高效的模型训练。
• 在控制台和 Tensorboard 上提供详细的训练日志。
• 支持多说话人文本转语音（multi-speaker TTS）。
• 高效的多 GPU 训练。
• 能够将 PyTorch 模型转换为 Tensorflow 2.0 和 TFLite 以进行推理。
• 发布 PyTorch、Tensorflow 和 TFLite 格式的模型。
• 在 dataset_analysis 下提供整理文本转语音数据集的工具。
• 用于模型测试的演示服务器。
• 用于广泛模型基准测试的 Notebook。
• 模块化（但不过度）的代码库，便于测试新想法。

已实现模型

文本转频谱图（Text-to-Spectrogram）

• Tacotron：论文
• Tacotron2：论文
• Glow-TTS：论文
• Speedy-Speech：论文

注意力机制（Attention Methods）

• 引导注意力（Guided Attention）：论文
• 前向后向解码（Forward Backward Decoding）：论文
• Graves 注意力（Graves Attention）：论文
• 双解码器一致性（Double Decoder Consistency）：博客

说话人编码器（Speaker Encoder）

• GE2E：论文
• 角损失（Angular Loss）：论文

声码器（Vocoders）

• MelGAN：论文
• MultiBandMelGAN：论文
• ParallelWaveGAN：论文
• GAN-TTS 判别器：论文
• WaveRNN：来源
• WaveGrad：论文

您也可以帮助我们实现更多模型。一些与 TTS 相关的工作可以在这里找到。

安装 TTS

TTS 支持 python >= 3.6, <3.9。

如果您只想使用已发布的 TTS 模型合成语音，从 PyPI 安装是最简单的选择。

pip install TTS

如果您计划编写代码或训练模型，请克隆 TTS 并在本地安装。

git clone https://github.com/mozilla/TTS
pip install -e .

目录结构

|- notebooks/       (用于模型评估、参数选择和数据分析的 Jupyter Notebooks)
|- utils/           (通用工具函数)
|- TTS
    |- bin/             (所有可执行文件的文件夹)
      |- train*.py                  (训练目标模型)
      |- distribute.py              (使用多 GPU 训练 TTS 模型)
      |- compute_statistics.py      (计算数据集统计信息用于归一化)
      |- convert*.py                (将目标 torch 模型转换为 TF)
    |- tts/             (文本转语音模型)
        |- layers/          (模型层定义)
        |- models/          (模型定义)
        |- tf/              (Tensorflow 2 工具和模型实现)
        |- utils/           (模型专用工具函数)
    |- speaker_encoder/ (说话人编码器 Speaker Encoder 模型)
        |- (同上)
    |- vocoder/         (声码器 Vocoder 模型)
        |- (同上)

模型输出示例

下图展示了使用 LJSpeech 数据集、批量大小 batch-size 为 32 训练 16K 迭代后的 Tacotron 模型状态。

"Recent research at Harvard has shown meditating for as little as 8 weeks can actually increase the grey matter in the parts of the brain responsible for emotional regulation and learning."

音频示例：soundcloud

数据集和数据加载

TTS 提供了一个通用的数据加载器 dataloader，可轻松用于您的自定义数据集。 您只需编写一个简单的函数来格式化数据集。查看 datasets/preprocess.py 了解一些示例。 之后，您需要在 config.json 中设置 dataset 字段。

我们成功应用 TTS 的一些公开数据集：

• LJ Speech
• Nancy
• TWEB
• M-AI-Labs
• LibriTTS
• Spanish - 感谢 @carlfm01

示例：在终端使用发布模型合成语音

安装完成后，TTS 提供了一个命令行界面 CLI，用于使用预训练模型合成语音。您可以使用自己的模型或 TTS 项目下的发布模型。

列出已发布的 TTS 模型：

tts --list_models

从发布模型列表中运行 TTS 和声码器 vocoder 模型。（只需从列表中复制完整的模型名称作为以下命令的参数）

tts --text "Text for TTS" \
    --model_name "<type>/<language>/<dataset>/<model_name>" \
    --vocoder_name "<type>/<language>/<dataset>/<model_name>" \
    --out_path folder/to/save/output/

运行您自己的 TTS 模型（使用 Griffin-Lim 声码器）

tts --text "Text for TTS" \
    --model_path path/to/model.pth.tar \
    --config_path path/to/config.json \
    --out_path output/path/speech.wav

运行您自己的 TTS 和声码器模型

tts --text "Text for TTS" \
    --model_path path/to/config.json \
    --config_path path/to/model.pth.tar \
    --out_path output/path/speech.wav \
    --vocoder_path path/to/vocoder.pth.tar \
    --vocoder_config_path path/to/vocoder_config.json

注意： 如果您更喜欢从 TTS 项目文件夹运行 tts，可以使用 ./TTS/bin/synthesize.py。

示例：训练和微调 LJ-Speech 数据集

您可以在这里找到一个用于实际训练 LJSpeech 的 CoLab 笔记本。或者您可以手动按照以下指南操作。

首先，将 metadata.csv 分割为训练集和验证集，分别命名为 metadata_train.csv 和 metadata_val.csv。请注意，对于文本转语音任务，验证性能可能会产生误导，因为损失值 loss 并不能直接衡量人耳感知的语音质量，也无法衡量注意力模块 attention module 的性能。因此，使用新句子运行模型并聆听结果是最佳方法。

shuf metadata.csv > metadata_shuf.csv
head -n 12000 metadata_shuf.csv > metadata_train.csv
tail -n 1100 metadata_shuf.csv > metadata_val.csv

要训练新模型，您需要定义自己的 config.json 来定义模型细节、训练配置等（查看示例）。然后调用相应的训练脚本。

例如，要在 LJSpeech 数据集上训练 tacotron 或 tacotron2 模型，请按照以下步骤操作：

python TTS/bin/train_tacotron.py --config_path TTS/tts/configs/config.json

要微调模型，使用 --restore_path。

python TTS/bin/train_tacotron.py --config_path TTS/tts/configs/config.json --restore_path /path/to/your/model.pth.tar

要继续之前的训练运行，使用 --continue_path。

python TTS/bin/train_tacotron.py --continue_path /path/to/your/run_folder/

对于多 GPU 训练，调用 distribute.py。它会在多 GPU 设置下运行任何提供的训练脚本。

CUDA_VISIBLE_DEVICES="0,1,4" python TTS/bin/distribute.py --script train_tacotron.py --config_path TTS/tts/configs/config.json

每次运行都会创建一个新的输出文件夹，包含使用的 config.json、模型检查点 checkpoint 和 tensorboard 日志。

如果出现任何错误或执行被中断，如果输出文件夹下还没有检查点，整个文件夹将被删除。

您也可以使用 Tensorboard，只需将 Tensorboard 参数 --logdir 指向实验文件夹即可。

贡献指南

本仓库受 Mozilla 行为准则和礼仪指南的约束。更多详情，请阅读 Mozilla 社区参与指南。

1. 创建一个新分支。
2. 实现您的更改。
3. （如适用）添加 Google 风格 文档字符串 docstrings。
4. （如适用）在 tests 文件夹下实现测试用例。
5. （可选但推荐）运行测试。

./run_tests.sh

6. 运行代码检查工具 linter。

pip install pylint cardboardlint
cardboardlinter --refspec master

7. 向 dev 分支发送 PR，解释更改内容。
8. 让我们讨论直到完美 :)。
9. 一切看起来不错后，我们将其合并到 dev 分支。

在任何需要帮助步骤，请随时通过我们的沟通渠道联系我们。

协作实验指南

如果你喜欢使用 TTS（Text-to-Speech，文本转语音）来尝试新想法，并希望与社区分享你的实验，我们建议你遵循以下指南以实现更好的协作。 （如果你有更好的协作建议，请告诉我们）

• 创建一个新分支（branch）。
• 提交一个 issue（问题）并指向你的分支。
• 解释你的想法和实验。
• 定期分享你的结果。（Tensorboard 日志文件、音频结果、可视化内容等）

主要待办事项

• 实现模型。
• 在 LJSpeech 数据集上生成类人语音。
• 在不同数据集（Nancy）（TWEB）上生成类人语音。
• 成功使用 r=1 训练 TTS。
• 启用基于进程的分布式训练。类似于 (https://github.com/fastai/imagenet-fast/)。
• 适配神经声码器（Neural Vocoder）。TTS 可与 WaveRNN 和 ParallelWaveGAN 配合使用 (https://github.com/erogol/WaveRNN 和 https://github.com/erogol/ParallelWaveGAN)
• 多说话人嵌入（Multi-speaker embedding）。
• 模型优化（模型导出、模型剪枝等）。

致谢

• https://github.com/keithito/tacotron （数据集预处理）
• https://github.com/r9y9/tacotron_pytorch （初始 Tacotron 架构）
• https://github.com/kan-bayashi/ParallelWaveGAN （声码器库）
• https://github.com/jaywalnut310/glow-tts （原始 Glow-TTS 实现）
• https://github.com/fatchord/WaveRNN/ （原始 WaveRNN 实现）

TTS 快速上手指南

环境准备

项目	要求
Python 版本	3.6 - 3.8（推荐 3.7）
操作系统	Linux / macOS / Windows
GPU（可选）	CUDA 10.2+（用于训练加速）

前置依赖：

• PyTorch（根据 CUDA 版本选择）
• espeak / espeak-ng（用于文本处理，Linux 建议安装）

# Ubuntu/Debian 安装 espeak
sudo apt-get install espeak

# macOS
brew install espeak

安装步骤

方式一：仅使用预训练模型（推荐快速体验）

# 使用 PyPI 直接安装
pip install TTS -i https://pypi.tuna.tsinghua.edu.cn/simple

方式二：本地开发/训练模型

# 克隆仓库（国内可用 gitee 镜像加速）
git clone https://github.com/mozilla/TTS.git
cd TTS

# 或使用镜像
git clone https://gitee.com/mirrors/mozilla-TTS.git

# 本地安装
pip install -e .

基本使用

1. 查看可用模型

tts --list_models

2. 使用官方预训练模型合成语音

tts --text "你好，这是 TTS 语音合成测试。" \
    --model_name "tts_models/zh-CN/baker/tacotron2-DDC-GST" \
    --vocoder_name "vocoder_models/zh-CN/baker/hifigan" \
    --out_path output.wav

提示：中文模型路径可能为 tts_models/zh-CN/...，具体以 list_models 输出为准。

3. 使用自定义模型

tts --text "你好，世界" \
    --model_path /path/to/model.pth.tar \
    --config_path /path/to/config.json \
    --out_path output.wav

4. Python API 调用

from TTS.api import TTS

# 初始化模型
tts = TTS("tts_models/zh-CN/baker/tacotron2-DDC-GST")

# 合成语音
tts.tts_to_file(text="你好，这是 TTS 语音合成。", file_path="output.wav")

---

更多资源：

• 官方模型列表
• 训练教程 Notebook