Glow-TTS：基于单调对齐搜索的文本到语音生成流模型

金在贤、金成元、孔正日和尹成浩

在我们最近发表的论文中，我们提出了Glow-TTS：一种基于单调对齐搜索的文本到语音生成流模型。

近年来，诸如FastSpeech和ParaNet之类的并行文本到语音（TTS）模型被提出，用于从文本并行生成梅尔频谱图。尽管具有这一优势，但这些并行TTS模型仍需借助自回归TTS模型作为外部对齐器才能进行训练。在本工作中，我们提出了Glow-TTS，这是一种基于流的并行TTS生成模型，无需任何外部对齐器。通过结合流模型与动态规划的特性，该模型能够自主搜索文本与语音潜在表示之间最可能的单调对齐方式。我们证明，强制执行硬性单调对齐可以实现鲁棒的TTS系统，使其能够泛化到较长的语音片段；同时，采用生成流模型则能实现快速、多样且可控的语音合成。Glow-TTS在合成速度上比自回归模型Tacotron 2快了一个数量级，而语音质量却相当接近。此外，我们还表明，该模型可以轻松扩展到多说话人场景。

请访问我们的演示页面，收听音频示例。

我们还提供了预训练模型。

Glow-TTS 训练时	Glow-TTS 推理时

更新说明*

此结果未收录于论文中。近期我们发现，两项改进有助于提升Glow-TTS的合成质量：1) 改用声码器HiFi-GAN（arXiv:2010.05646），以减少噪声；2) 在任意两个输入标记之间插入空白标记，以改善发音。具体而言，我们使用了与Tacotron 2配套的微调版声码器，该声码器作为预训练模型包含在HiFi-GAN仓库中。如果您感兴趣，请前往我们的演示页面试听相关样本。

关于添加空白标记，我们提供了配置文件和预训练模型。此外，我们还提供了一个推理示例inference_hifigan.ipynb。您可能需要初始化HiFi-GAN子模块：git submodule init; git submodule update

1. 我们使用的环境

• Python 3.6.9
• PyTorch 1.2.0
• Cython 0.29.12
• Librosa 0.7.1
• NumPy 1.16.4
• SciPy 1.3.0

对于混合精度训练，我们使用apex，提交记录为：37cdaf4

2. 先决条件

a) 下载并解压LJ Speech数据集，然后重命名或创建指向数据集文件夹的符号链接：ln -s /path/to/LJSpeech-1.1/wavs DUMMY

b) 初始化WaveGlow子模块：git submodule init; git submodule update

别忘了下载预训练的WaveGlow模型，并将其放置在waveglow文件夹中。

c) 构建单调对齐搜索代码（Cython）：cd monotonic_align; python setup.py build_ext --inplace

3. 训练示例

sh train_ddi.sh configs/base.json base

4. 推理示例

请参阅inference.ipynb

致谢

我们的实现深受以下项目的影响：

• WaveGlow
• Tensor2Tensor
• Mellotron

Glow-TTS 快速上手指南

Glow-TTS 是一种基于生成流的并行文本转语音（TTS）模型。它通过单调对齐搜索（Monotonic Alignment Search）自动学习文本与语音潜在表示之间的对齐关系，无需外部对齐器。相比自回归模型（如 Tacotron 2），它在保持相当音质的同时实现了数量级的速度提升，并支持长语句合成和多说话人扩展。

环境准备

系统要求

• Python: 3.6.9
• PyTorch: 1.2.0
• GPU: 推荐 NVIDIA GPU 以加速训练和推理（若使用混合精度训练需安装 Apex）

核心依赖

请确保安装以下版本的库：

• cython: 0.29.12
• librosa: 0.7.1
• numpy: 1.16.4
• scipy: 1.3.0

提示：国内用户可使用清华或阿里镜像源加速 pip 安装： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package_name>

若需开启混合精度训练，请安装 NVIDIA Apex：

git clone https://github.com/NVIDIA/apex
cd apex
git checkout 37cdaf4
pip install -v --no-cache-dir ./

安装步骤

1. 获取代码与子模块

克隆仓库并初始化子模块（包含 WaveGlow 等组件）：

git clone <repository_url>
cd glow-tts
git submodule init
git submodule update

注意：请手动下载预训练的 WaveGlow 模型并放入 waveglow 文件夹中。

2. 编译对齐搜索代码

构建用于单调对齐搜索的 Cython 扩展：

cd monotonic_align
python setup.py build_ext --inplace
cd ..

3. 准备数据集

下载 LJ Speech 数据集，解压后建立软链接：

# 将 /path/to/LJSpeech-1.1/wavs 替换为实际数据路径
ln -s /path/to/LJSpeech-1.1/wavs DUMMY

基本使用

训练模型

使用默认配置文件启动训练（单卡或多卡分布式训练）：

sh train_ddi.sh configs/base.json base

推理合成

项目提供了 Jupyter Notebook 示例用于快速测试推理效果。请打开并运行以下文件：

inference.ipynb

进阶：高质量合成（推荐）

为了获得更佳的音质并减少噪声，官方推荐使用 HiFi-GAN 作为声码器，并在输入 token 间插入空白 token 以改善发音。

1. 初始化 HiFi-GAN 子模块：

   git submodule init
   git submodule update
   

2. 使用专用配置与模型：
   • 配置文件：configs/base_blank.json
   • 预训练模型：下载链接
3. 运行推理示例： 请参考 inference_hifigan.ipynb 进行高质量语音合成。

音频演示：更多合成样本请访问 官方 Demo 页面。