StyleTTS 2：通过风格扩散与对抗训练结合大型语音语言模型实现人类水平的文本到语音合成

袁浩·李、韩聪、文尼·R·拉加万、加文·米施勒、尼玛·梅斯加拉尼

在本文中，我们提出了StyleTTS 2，这是一种文本到语音（TTS）模型，它利用风格扩散和与大型语音语言模型（SLM）结合的对抗训练，以实现人类水平的TTS合成。StyleTTS 2与其前代模型的不同之处在于，它通过扩散模型将风格建模为一个潜在的随机变量，从而在无需参考语音的情况下生成最适合文本的风格，在享受扩散模型提供的多样化语音合成的同时，实现了高效的潜在扩散。此外，我们还使用了如WavLM等大型预训练SLM作为判别器，并结合我们新颖的可微分时长建模进行端到端训练，从而进一步提升了语音的自然度。StyleTTS 2在单说话人LJSpeech数据集上的表现超越了真人录音，而在多说话人VCTK数据集上则与真人录音相当，这一评价由以英语为母语的听者做出。更进一步地，在LibriTTS数据集上训练后，我们的模型在零样本说话人适配上优于此前公开可用的模型。这项工作首次在单说话人和多说话人数据集上均实现了人类水平的TTS合成，展示了风格扩散与大型SLM结合对抗训练的巨大潜力。

论文：https://arxiv.org/abs/2306.07691

音频示例：https://styletts2.github.io/

在线演示：Hugging Face（感谢@fakerybakery提供的精彩在线演示）

待办事项

• 单说话人模型（LJSpeech）的训练与推理演示代码
• 多说话人模型（VCTK和LibriTTS）的测试训练代码
• 完成多说话人模型的演示代码并上传预训练模型
• 添加基于基础多说话人预训练模型对新说话人的微调脚本
• 修复train_second.py中的DDP（加速器）问题 （我已经尝试了所有能想到的方法来解决这个问题，但仍未成功，因此如果您愿意帮忙，请参阅#7)

前置条件

1. Python >= 3.7
2. 克隆本仓库：

git clone https://github.com/yl4579/StyleTTS2.git
cd StyleTTS2

3. 安装Python依赖：

pip install -r requirements.txt

在Windows系统上还需添加：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 -U

如果您想运行演示，还需要安装phonemizer和espeak：

pip install phonemizer
sudo apt-get install espeak-ng

4. 下载并解压LJSpeech数据集，解压到data文件夹，并将数据上采样至24 kHz。文本对齐器和音高提取器是在24 kHz数据上预训练的，但您可以轻松更改预处理方式并使用您自己的预处理流程重新训练它们。 对于LibriTTS，您需要将train-clean-360与train-clean-100合并，并重命名为train-clean-460文件夹（请参阅val_list_libritts.txt作为示例）。

训练

第一阶段训练：

accelerate launch train_first.py --config_path ./Configs/config.yml

第二阶段训练 （DDP版本无法正常工作，因此当前版本使用DP，如果您想帮忙，请再次参阅#7)：

python train_second.py --config_path ./Configs/config.yml

您可以连续运行这两个命令，这样就能同时完成第一和第二阶段的训练。模型将以“epoch_1st_%05d.pth”和“epoch_2nd_%05d.pth”的格式保存。检查点和Tensorboard日志将保存在log_dir目录下。

数据列表的格式应为“filename.wav|转录文本|说话人”，请参阅val_list.txt作为示例。多说话人模型需要说话人标签，因为我们需要为风格扩散模型的训练采集参考音频。

重要配置

在config.yml中，有几项重要的配置需要注意：

• OOD_data：用于SLM对抗训练的分布外文本路径。格式应为“文本|任意内容”。
• min_length：用于训练的分布外文本的最小长度。这是为了确保合成的语音具有一定的最小长度。
• max_len：用于训练的最大音频长度。单位为帧。由于默认的跳过步长为300，一帧大约是“300 / 24000”（0.0125）秒。如果您遇到内存不足的问题，可以适当降低此值。
• multispeaker：如果要训练多说话人模型，请将其设置为真。这是因为单说话人和多说话人模型的去噪器架构不同。
• batch_percentage：此参数用于确保在SLM对抗训练过程中不会出现内存不足（OOM）的情况。如果您遇到OOM问题，请降低此数值。

预训练模块

在Utils文件夹中，有三个预训练模型：

• ASR文件夹：其中包含预训练的文本对齐器，该模型已在英语（LibriTTS）、日语（JVS）和中文（AiShell）语料库上进行了预训练。它在大多数其他语言上无需微调即可良好工作，但您也可以使用此处的代码训练您自己的文本对齐器：yl4579/AuxiliaryASR。
• JDC文件夹：其中包含预训练的音高提取器，该模型仅在英语（LibriTTS）语料库上进行了预训练。然而，由于F0与语言无关，它在其他语言上也能很好地工作。如果您想在歌唱语料库上训练，建议使用此处的代码训练一个新的音高提取器：yl4579/PitchExtractor。
• PLBERT文件夹：其中包含预训练的PL-BERT模型，该模型仅在英语（维基百科）语料库上进行了预训练。它可能在其他语言上效果不佳，因此您需要使用此处的仓库为不同语言训练不同的PL-BERT：yl4579/PL-BERT。您也可以使用支持14种语言的多语言PL-BERT。

常见问题

• 损失变为 NaN：如果是第一阶段，请确保不要使用混合精度训练，因为在某些特定数据集上，当批量大小设置不当（需要大于 16 才能正常工作）时，可能会导致损失变为 NaN。对于第二阶段，也请尝试不同的批量大小，较大的批量大小更容易导致损失值为 NaN。我们建议将批量大小设置为 16。更多详情可参考议题 #10 和 #11。
• 显存不足：请降低 batch_size 或 max_len。更多信息可参考议题 #10。
• 非英语数据集：您可以使用任何语言进行训练，但需要使用该语言的预训练 PL-BERT 模型。我们提供了一个支持 14 种语言的多语言 PL-BERT 模型，可在 Hugging Face 上找到。关于如何使用中文数据集进行训练的示例，可参考 yl4579/StyleTTS#10 和 #70。

微调

该脚本基于使用 DP 的 train_second.py 修改而来，因为 DDP 在 train_second.py 中无法正常工作。如果您愿意帮助解决这个问题，请参阅上方加粗部分。

python train_finetune.py --config_path ./Configs/config_ft.yml

请确保您已下载并解压 LibriTTS 检查点文件到指定文件夹中。默认配置 config_ft.yml 会在 LJSpeech 数据集上进行微调，使用约 1 小时的语音数据（约 1000 个样本），训练 50 个 epoch。在四块 NVidia A100 显卡上完成此任务大约需要 4 小时。其生成的音质略逊于从头开始训练、使用 24 小时语音数据的 LJSpeech 模型，后者在四块 A100 上大约需要 2.5 天才能完成。相关样本可在 #65 (评论) 中查看。

如果您使用的是单 GPU（因为该脚本不支持 DDP），并且希望节省训练时间和显存，可以按照以下方式操作（感谢 @korakoe 在 #100 中提供的脚本）：

accelerate launch --mixed_precision=fp16 --num_processes=1 train_finetune_accelerate.py --config_path ./Configs/config_ft.yml

常见问题

@Kreevoz 对微调中的常见问题进行了详细说明，并提出了提升音频质量的建议：#81。其中一些内容同样适用于从零开始训练。@IIEleven11 也提供了一份微调指南：#128。

• joint_epoch 后显存不足：这很可能是由于您的 GPU 显存不足以运行 SLM 对抗训练。您可以跳过这一部分，但音质可能会有所下降。将 joint_epoch 设置为大于 epochs 的值，即可跳过 SLM 对抗训练。

推理

有关详细信息，请参阅 Inference_LJSpeech.ipynb（单说话人）和 Inference_LibriTTS.ipynb（多说话人）。对于 LibriTTS，您还需要下载 reference_audio.zip，并在运行演示之前将其解压到 demo 文件夹中。

• 预训练的 StyleTTS 2 模型（LJSpeech 语料库，24 kHz）可在 https://huggingface.co/yl4579/StyleTTS2-LJSpeech/tree/main 下载。

  

• 预训练的 StyleTTS 2 模型（LibriTTS）可在 https://huggingface.co/yl4579/StyleTTS2-LibriTTS/tree/main 下载。

  

您可以在自己的代码中导入 StyleTTS 2 并运行它。然而，推理过程依赖于 GPL 许可的软件包，因此未直接包含在本仓库中。一个 GPL 许可的分支 提供了可导入的脚本以及实验性的流式 API 等功能。此外，还有一个 完全 MIT 许可的软件包，它使用 gruut，尽管由于发音器与 gruut 之间的不匹配，音质稍低。

在使用这些预训练模型之前，您需同意告知听众，这些语音样本是由预训练模型合成的，除非您已获得被合成声音所有者的许可。也就是说，您必须仅使用那些已明确授权克隆其声音的说话人的语音，无论是通过直接许可还是通过授权协议，在公开合成语音之前；或者，如果您未获得此类许可，则必须公开声明这些语音是合成的。

常见问题

• 背景噪音过高：这是由旧款 GPU 中的浮点数差异引起的。更多详情请参阅议题 #13。通常情况下，您需要使用更新的 GPU 或在 CPU 上进行推理。
• 预训练模型的许可：只有在您使用预训练模型且所用语音不在训练集中时，才需要遵守上述规则，即您的参考说话人并非来自任何开放获取的数据集。有关使用预训练模型的具体规则，请参阅 #37。

参考文献

• archinetai/audio-diffusion-pytorch
• jik876/hifi-gan
• rishikksh20/iSTFTNet-pytorch
• nii-yamagishilab/project-NN-Pytorch-scripts/project/01-nsf

许可证

代码：MIT 许可证

预训练模型：在使用这些预训练模型之前，您需同意告知听众，相关语音样本是由预训练模型合成的，除非您已获得被合成声音所有者的许可。换言之，您承诺仅使用那些其持有人已明确授权进行声音克隆的语音——无论是直接授权还是通过许可协议——方可公开发布合成语音；否则，您必须公开声明这些语音为合成音，若您未取得相应授权。

StyleTTS 2 快速上手指南

StyleTTS 2 是一款通过风格扩散和对抗训练实现人类级别语音合成（TTS）的开源模型。它支持单说话人和多说话人场景，并具备优秀的零样本说话人适应能力。

环境准备

系统要求

• Python: >= 3.7
• GPU: 推荐 NVIDIA GPU（用于加速训练和推理）
• 操作系统: Linux / Windows / macOS

前置依赖

在开始之前，请确保系统已安装以下基础工具：

• git
• ffmpeg (可选，用于音频处理)
• espeak-ng (用于音素化，Linux 下需单独安装)

Linux 用户安装 espeak-ng:

sudo apt-get install espeak-ng

安装步骤

1. 克隆仓库

git clone https://github.com/yl4579/StyleTTS2.git
cd StyleTTS2

2. 安装 Python 依赖

安装基础依赖包：

pip install -r requirements.txt

Windows 用户注意： 如果您在 Windows 上运行，需要指定 PyTorch CUDA 版本进行安装（以 cu118 为例）：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 -U

额外依赖： 如果需要运行演示代码，请确保安装了 phonemizer：

pip install phonemizer

3. 准备数据

模型默认使用 24kHz 采样率的数据。

• 单说话人 (LJSpeech): 下载 LJSpeech 数据集，解压至 data 文件夹，并将音频重采样至 24 kHz。
• 多说话人 (LibriTTS): 需合并 train-clean-360 和 train-clean-100 并重命名为 train-clean-460。

基本使用

对于大多数开发者，直接使用预训练模型进行推理是最快的上手方式。以下是基于 Google Colab 或本地环境的简单推理流程。

方式一：使用 Google Colab 快速体验（推荐）

无需本地配置环境，直接点击以下链接在云端运行：

• 单说话人模型 (LJSpeech):

• 多说话人模型 (LibriTTS):

方式二：本地代码推理

1. 下载预训练模型

从 Hugging Face 下载对应的模型权重：

• LJSpeech (单说话人): 下载链接
• LibriTTS (多说话人): 下载链接
  • 注意: 使用 LibriTTS 模型时，还需下载 reference_audio.zip 并解压到 demo 目录下作为参考音频。

2. 运行推理脚本

项目提供了现成的 Jupyter Notebook 用于演示推理逻辑，您可以直接在本地 Jupyter 环境中打开并运行：

• 单说话人推理:

  # 在 Jupyter 中打开
  Demo/Inference_LJSpeech.ipynb
  

• 多说话人推理:

  # 在 Jupyter 中打开
  Demo/Inference_LibriTTS.ipynb
  

3. 集成到自己的代码中

由于推理依赖 GPL 许可的第三方包，官方仓库未直接提供可导入的 Python 脚本。您可以参考以下方案：

• 使用社区维护的完全 MIT 许可版本：

  pip install styletts2
  

• 或者参考 NeuralVox/StyleTTS2 分支获取可导入脚本及流式 API 支持。

简易微调（可选）

如果您希望基于预训练的多说话人模型微调新的说话人声音，可以使用以下命令（需准备约 1 小时的新说话人音频数据）：

python train_finetune.py --config_path ./Configs/config_ft.yml

注：微调脚本目前仅支持 DP 模式（单卡或多卡非分布式），若需节省显存并加速，可使用 accelerate 启动：

accelerate launch --mixed_precision=fp16 --num_processes=1 train_finetune_accelerate.py --config_path ./Configs/config_ft.yml