VITS2：通过对抗学习和架构设计提升单阶段文本转语音的质量与效率

孔正日、朴志勋、金凡正、金正民、孔度熙、金相镇

SK电讯，韩国

近年来，单阶段文本转语音模型得到了广泛研究，其性能已超越传统的两阶段流水线系统。尽管先前的单阶段模型取得了显著进展，但在间歇性不自然、计算效率以及对音素转换的高度依赖等方面仍有改进空间。在本工作中，我们提出了VITS2，这是一种通过改进前人工作的多个方面，高效合成更自然语音的单阶段文本转语音模型。我们提出了改进的结构和训练机制，并证明所提出的方法能够有效提升语音的自然度、多说话人模型中语音特征的相似性以及训练和推理的效率。此外，我们还展示了利用我们的方法可以显著降低先前工作对音素转换的强烈依赖，从而实现完全端到端的单阶段方案。

演示：https://vits-2.github.io/demo/

论文：https://arxiv.org/abs/2307.16430

VITS2的非官方实现。目前仍在开发中。更多详情请参阅待办事项。

时长预测器	归一化流	文本编码器

音频样本

[正在进行中]

在LJSpeech数据集上使用1张GPU训练52,000步后的音频样本： https://github.com/daniilrobnikov/vits2/assets/91742765/d769c77a-bd92-4732-96e7-ab53bf50d783

安装：

克隆仓库

git clone git@github.com:daniilrobnikov/vits2.git
cd vits2

设置conda环境

假设您在克隆后已导航至vits2根目录。

注意： 本环境已在python3.11和conda环境下测试通过。对于其他Python版本，可能会遇到版本冲突问题。

PyTorch 2.0 请参考requirements.txt

# 安装所需包（适用于PyTorch 2.0）
conda create -n vits2 python=3.11
conda activate vits2
pip install -r requirements.txt

conda env config vars set PYTHONPATH="/path/to/vits2"

下载数据集

您有三种选择：LJ Speech、VCTK或自定义数据集。

1. LJ Speech：LJ Speech数据集。用于单说话人TTS。
2. VCTK：VCTK数据集。用于多说话人TTS。
3. 自定义数据集：您可以使用自己的数据集。请参阅此处。

LJ Speech数据集

1. 下载并解压LJ Speech数据集

wget https://data.keithito.com/data/speech/LJSpeech-1.1.tar.bz2
tar -xvf LJSpeech-1.1.tar.bz2
cd LJSpeech-1.1/wavs
rm -rf wavs

3. 预处理梅尔谱图。请参阅mel_transform.py

python preprocess/mel_transform.py --data_dir /path/to/LJSpeech-1.1 -c datasets/ljs_base/config.yaml

3. 预处理文本。请参阅prepare/filelists.ipynb

4. 重命名或将数据集文件夹创建为链接。

ln -s /path/to/LJSpeech-1.1 DUMMY1

VCTK数据集

1. 下载并解压VCTK数据集

wget https://datashare.is.ed.ac.uk/bitstream/handle/10283/3443/VCTK-Corpus-0.92.zip
unzip VCTK-Corpus-0.92.zip

2. （可选）将音频文件下采样至22050 Hz。请参阅audio_resample.ipynb

3. 预处理梅尔谱图。请参阅mel_transform.py

python preprocess/mel_transform.py --data_dir /path/to/VCTK-Corpus-0.92 -c datasets/vctk_base/config.yaml

4. 预处理文本。请参阅prepare/filelists.ipynb

5. 重命名或将数据集文件夹创建为链接。

ln -s /path/to/VCTK-Corpus-0.92 DUMMY2

自定义数据集

1. 创建包含wav文件的文件夹
2. 复制datasets目录中的ljs_base并重命名为custom_base
3. 打开custom_base（datasets/custom_base），修改config.yaml中的以下字段：

data:
  training_files: datasets/custom_base/filelists/train.txt
  validation_files: datasets/custom_base/filelists/val.txt
  text_cleaners: # 参见text/cleaners.py
    - phonemize_text
    - tokenize_text
    - add_bos_eos
  cleaned_text: true # 如果您完成了第6步，则为真。
  language: en-us # 您的数据集语言。请参阅espeak-ng
  sample_rate: 22050 # 根据您的数据集设置采样率
  ...
  n_speakers: 0 # 单说话人为0，多说话人为大于0

4. 预处理梅尔谱图。请参阅mel_transform.py

python preprocess/mel_transform.py --data_dir /path/to/custom_dataset -c datasets/custom_base/config.yaml

6. 预处理文本。请参阅prepare/filelists.ipynb

注意： 如果您想使用phonemize_text清理器，可能需要安装espeak-ng。请参阅espeak-ng

7. 重命名或将数据集文件夹创建为链接。

ln -s /path/to/custom_dataset DUMMY3

训练示例

# LJ Speech
python train.py -c datasets/ljs_base/config.yaml -m ljs_base

# VCTK
python train_ms.py -c datasets/vctk_base/config.yaml -m vctk_base

# 自定义数据集（多说话人）
python train_ms.py -c datasets/custom_base/config.yaml  -m custom_base

推理示例

请参阅inference.ipynb和inference_batch.ipynb

预训练模型

[正在进行中]

待办事项

• 模型（VITS2）
  • 更新TextEncoder以支持说话人条件化
  • 在训练中支持高分辨率梅尔谱图。参见mel_transform.py
  • 带有高斯噪声的单调对齐搜索
  • 使用Transformer块的归一化流
  • 具有时步条件判别器的随机持续时间预测器
• 模型（YourTTS）
  • 语言条件化
  • 说话人编码器
• 模型（NaturalSpeech）
  • 先验增强后的KL散度损失
  • 用于端到端训练的GAN损失
• 其他
  • 支持批量推理
  • 分词器中的特殊标记
  • 测试MAS的numba.jit和numba.cuda.jit实现。参见monotonic_align.py
  • TextEncoder与投影之间的KL散度损失
  • 支持流式推理。请参考vits_chinese
  • 使用optuna进行超参数调优
• 未来工作
  • 将模型更新至VITS2。请参考VITS2
  • 将模型更新至具有零样本学习能力的YourTTS。参见YourTTS
  • 将模型更新至NaturalSpeech。请参考NaturalSpeech

致谢

• 本仓库为基于VITS2的非官方实现。
• 多语言的g2p工具基于phonemizer。
• 同时感谢GhatGPT提供的写作协助。

参考文献

• VITS2：通过对抗学习和架构设计提升单阶段文本转语音的质量与效率
• 基于对抗学习的条件变分自编码器用于端到端文本转语音
• YourTTS：迈向面向所有人的零样本多说话人TTS与零样本语音转换
• NaturalSpeech：具有人类水平质量的端到端文本转语音合成
• Google Tacotron语音合成的TensorFlow实现（非官方，含预训练模型）

VITS2

VITS2 快速上手指南

VITS2 是一个单阶段端到端文本转语音（TTS）模型，通过改进架构设计和对抗学习机制，显著提升了语音合成的自然度、多说话人特征相似度以及训练推理效率。本指南基于非官方实现版本，帮助开发者快速搭建环境并运行模型。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐) 或 macOS
• Python 版本: 3.11 (严格推荐，其他版本可能存在依赖冲突)
• 深度学习框架: PyTorch 2.0+
• 其他依赖:
  • conda (用于管理虚拟环境)
  • espeak-ng (用于文本音素化处理，若使用自定义数据集或多语言支持必装)
  • git

安装 espeak-ng (Ubuntu/Debian):

sudo apt-get update
sudo apt-get install espeak-ng

安装步骤

1. 克隆代码仓库

首先将项目代码克隆到本地：

git clone git@github.com:daniilrobnikov/vits2.git
cd vits2

2. 创建并激活 Conda 环境

建议使用 Python 3.11 创建独立的虚拟环境以避免版本冲突：

conda create -n vits2 python=3.11
conda activate vits2

3. 安装依赖包

安装项目所需的 Python 依赖（包含 PyTorch 2.0 兼容版本）：

pip install -r requirements.txt

(注：如果下载速度慢，可添加国内镜像源，例如：pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple)

4. 配置环境变量

设置 PYTHONPATH 指向项目根目录，确保模块导入正常：

conda env config vars set PYTHONPATH="$(pwd)"

注意：请将 $(pwd) 替换为您当前 vits2 文件夹的绝对路径，或者直接在 shell 中执行上述命令（conda 会自动解析）。

基本使用

以下以单说话人数据集 LJSpeech 为例，展示从数据预处理到训练的最简流程。

1. 准备数据集

下载并解压 LJSpeech 数据集，然后进行音频和文本的预处理。

下载与解压：

wget https://data.keithito.com/data/speech/LJSpeech-1.1.tar.bz2
tar -xvf LJSpeech-1.1.tar.bz2
# 进入 wav 目录并清理多余文件夹（根据原脚本逻辑）
cd LJSpeech-1.1/wavs
rm -rf wavs
cd ../..

预处理梅尔频谱图：

python preprocess/mel_transform.py --data_dir /path/to/LJSpeech-1.1 -c datasets/ljs_base/config.yaml

请将 /path/to/LJSpeech-1.1 替换为实际的数据集路径。

生成文件列表： 参考 datasets/ljs_base/prepare/filelists.ipynb 运行 Notebook 以生成训练和验证用的文本列表文件。

创建数据链接： 为了方便程序读取，将数据集目录链接为 DUMMY1：

ln -s /path/to/LJSpeech-1.1 DUMMY1

2. 开始训练

使用默认配置文件启动单说话人模型训练：

python train.py -c datasets/ljs_base/config.yaml -m ljs_base

• -c: 指定配置文件路径。
• -m: 指定模型保存目录名称。

3. 推理测试

训练完成后，可使用 Jupyter Notebook 进行语音合成测试：

jupyter notebook inference.ipynb

在 Notebook 中加载训练好的检查点（checkpoint），输入文本即可生成音频。

---

提示：如需使用多说话人数据集（如 VCTK）或自定义数据集，请参考项目文档中的对应章节调整配置文件和数据预处理流程。