VITS：用于端到端文语转换的条件变分自编码器与对抗学习

金在贤、孔正日和孙珠熙

在我们最近发表的论文中，我们提出了VITS：一种用于端到端文语转换的条件变分自编码器与对抗学习方法。

近年来，已经提出了一些支持单阶段训练和并行采样的端到端文语转换（TTS）模型，但它们的生成音质仍不及两阶段TTS系统。在本工作中，我们提出了一种并行的端到端TTS方法，其生成的音频听起来比当前的两阶段模型更为自然。我们的方法采用了结合归一化流的变分推断以及对抗训练过程，从而提升了生成建模的表达能力。此外，我们还提出了一种随机时长预测器，以根据输入文本合成具有多样化节奏的语音。通过在潜在变量上进行不确定性建模以及使用随机时长预测器，我们的方法能够更好地表达自然的一对多关系——即同一段文本可以以不同的音高和节奏被朗读出来。针对单说话人数据集LJ Speech进行的人工主观评价（平均意见得分，MOS）表明，我们的方法优于目前公开的最佳TTS系统，并达到了与真实录音相当的MOS分数。

请访问我们的演示页面，以收听音频样本。

我们还提供了预训练模型。

更新说明： 感谢Rishikesh (ऋषिकेश)，我们的交互式TTS演示现在已在Colab Notebook上提供。

VITS训练时	VITS推理时

前置条件

0. Python >= 3.6
1. 克隆本仓库
2. 安装Python依赖。请参考requirements.txt
   1. 可能需要先安装espeak：apt-get install espeak
3. 下载数据集
   1. 下载并解压LJ Speech数据集，然后重命名或创建指向该文件夹的符号链接：ln -s /path/to/LJSpeech-1.1/wavs DUMMY1
   2. 对于多说话人场景，下载并解压VCTK数据集，将wav文件下采样至22050 Hz。然后重命名或创建指向该文件夹的符号链接：ln -s /path/to/VCTK-Corpus/downsampled_wavs DUMMY2
4. 如果使用自己的数据集，请构建单调对齐搜索工具并运行预处理。

# Cython版本的单调对齐搜索
cd monotonic_align
python setup.py build_ext --inplace

# 针对自己数据集的预处理（g2p）。LJ Speech和VCTK的预处理后的音素已随附提供。
# python preprocess.py --text_index 1 --filelists filelists/ljs_audio_text_train_filelist.txt filelists/ljs_audio_text_val_filelist.txt filelists/ljs_audio_text_test_filelist.txt 
# python preprocess.py --text_index 2 --filelists filelists/vctk_audio_sid_text_train_filelist.txt filelists/vctk_audio_sid_text_val_filelist.txt filelists/vctk_audio_sid_text_test_filelist.txt

训练示例

# LJ Speech
python train.py -c configs/ljs_base.json -m ljs_base

# VCTK
python train_ms.py -c configs/vctk_base.json -m vctk_base

推理示例

请参阅inference.ipynb

VITS 快速上手指南

VITS (Conditional Variational Autoencoder with Adversarial Learning) 是一个端到端的文本转语音 (TTS) 模型。它支持并行采样，能够生成自然度极高的音频，并具备通过随机时长预测器合成不同节奏和音高语音的能力。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐 Ubuntu)
• Python 版本: >= 3.6
• 系统依赖: 需要安装 espeak 用于文本处理。

  sudo apt-get install espeak
  

• 代码仓库: 克隆本项目到本地。

  git clone https://github.com/jaywalnut310/vits.git
  cd vits
  

安装步骤

1. 安装 Python 依赖

建议使用虚拟环境（如 conda 或 venv），然后安装项目所需的 Python 包。

pip install -r requirements.txt

提示：如果下载速度较慢，可使用国内镜像源加速安装： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 编译单调对齐搜索模块 (Monotonic Alignment Search)

VITS 依赖 Cython 编写的对齐模块，必须手动编译。

cd monotonic_align
python setup.py build_ext --inplace
cd ..

3. 准备数据集

您需要下载数据集并建立软链接。项目默认支持 LJ Speech (单说话人) 和 VCTK (多说话人)。

• 单说话人示例 (LJ Speech): 下载并解压 LJ Speech 数据集后，执行以下命令建立链接（假设数据集路径为 /path/to/LJSpeech-1.1/wavs）：

  ln -s /path/to/LJSpeech-1.1/wavs DUMMY1
  

  注：LJ Speech 的预处理音素文件已包含在项目中，通常无需额外运行预处理脚本。

• 多说话人示例 (VCTK): 下载 VCTK 数据集，将音频重采样至 22050 Hz，然后建立链接：

  ln -s /path/to/VCTK-Corpus/downsampled_wavs DUMMY2
  

基本使用

1. 训练模型

根据数据集类型选择对应的训练脚本。

• 训练单说话人模型 (LJ Speech):

  python train.py -c configs/ljs_base.json -m ljs_base
  

• 训练多说话人模型 (VCTK):

  python train_ms.py -c configs/vctk_base.json -m vctk_base
  

  训练生成的检查点将保存在 logs/<model_name> 目录下。

2. 推理 (合成语音)

最简单的推理方式是运行官方提供的 Jupyter Notebook，其中包含了加载预训练模型和合成音频的完整流程。

jupyter notebook inference.ipynb

如果您希望直接使用预训练模型而不重新训练，可以从 Google Drive 下载预训练权重，并在 inference.ipynb 中修改模型路径进行测试。

在线体验: 如果不想配置本地环境，可以直接使用 Colab Notebook 进行交互式尝试。