这是🍵 Matcha-TTS的官方代码实现，发表于ICASSP 2024。

我们提出了🍵 Matcha-TTS，这是一种新的非自回归神经网络TTS方法，它使用条件流匹配（类似于修正流）来加速基于ODE的语音合成。我们的方法：

• 具有概率性
• 内存占用小
• 发音非常自然
• 合成速度极快

请访问我们的演示页面并阅读我们的ICASSP 2024论文，以获取更多详细信息。

预训练模型将通过CLI或Gradio界面自动下载。

您也可以在HuggingFace 🤗 spaces上，在浏览器中试用🍵 Matcha-TTS。

预告视频

安装

1. 创建环境（建议但非必需）

conda create -n matcha-tts python=3.10 -y
conda activate matcha-tts

2. 使用pip或从源码安装Matcha TTS

pip install matcha-tts

从源码安装

pip install git+https://github.com/shivammehta25/Matcha-TTS.git
cd Matcha-TTS
pip install -e .

3. 运行CLI / Gradio应用 / Jupyter Notebook

# 这将下载所需的模型
matcha-tts --text "<INPUT TEXT>"

或者

matcha-tts-app

或者打开Jupyter Notebook中的synthesis.ipynb

CLI参数

• 要根据给定文本进行合成，运行：

matcha-tts --text "<INPUT TEXT>"

• 要从文件中合成，运行：

matcha-tts --file <PATH TO FILE>

• 要批量从文件中合成，运行：

matcha-tts --file <PATH TO FILE> --batched

其他参数

• 语速

matcha-tts --text "<INPUT TEXT>" --speaking_rate 1.0

• 采样温度

matcha-tts --text "<INPUT TEXT>" --temperature 0.667

• 欧拉ODE求解器步数

matcha-tts --text "<INPUT TEXT>" --steps 10

使用您自己的数据集进行训练

假设我们正在使用LJ Speech数据集进行训练

1. 从这里下载数据集，将其解压到data/LJSpeech-1.1，并准备文件列表，使其指向解压后的数据，就像NVIDIA Tacotron 2仓库设置中的第5项一样。

2. 克隆并进入Matcha-TTS仓库

git clone https://github.com/shivammehta25/Matcha-TTS.git
cd Matcha-TTS

3. 从源码安装软件包

pip install -e .

4. 打开configs/data/ljspeech.yaml并修改如下：

train_filelist_path: data/filelists/ljs_audio_text_train_filelist.txt
valid_filelist_path: data/filelists/ljs_audio_text_val_filelist.txt

5. 使用数据集配置的yaml文件生成归一化统计信息

matcha-data-stats -i ljspeech.yaml
# 输出：
#{'mel_mean': -5.53662231756592, 'mel_std': 2.1161014277038574}

将这些值更新到configs/data/ljspeech.yaml中的data_statistics键下。

data_statistics:  # 为ljspeech数据集计算
  mel_mean: -5.536622
  mel_std: 2.116101

然后指定您的训练和验证文件列表路径。

6. 运行训练脚本

make train-ljspeech

或者

python matcha/train.py experiment=ljspeech

• 对于最小内存运行：

python matcha/train.py experiment=ljspeech_min_memory

• 对于多GPU训练，运行：

python matcha/train.py experiment=ljspeech trainer.devices=[0,1]

7. 使用自定义训练的模型进行合成

matcha-tts --text "<INPUT TEXT>" --checkpoint_path <PATH TO CHECKPOINT>

ONNX支持

特别感谢@mush42实现了ONNX导出与推理支持。

可以将Matcha检查点导出为ONNX格式，并在导出的ONNX图上进行推理。

ONNX导出

要将检查点导出为ONNX，首先安装ONNX：

pip install onnx

然后运行以下命令：

python3 -m matcha.onnx.export matcha.ckpt model.onnx --n-timesteps 5

可选地，ONNX导出工具接受vocoder-name和vocoder-checkpoint参数。这使您可以将声码器嵌入到导出的图中，并在一次运行中生成波形（类似于端到端TTS系统）。

注意：n_timesteps被视为超参数，而非模型输入。这意味着您应在导出时指定它（而不是在推理时）。如果未指定，n_timesteps将被设置为5。

重要提示：目前需要torch>=2.1.0才能进行导出，因为在较旧的版本中，scaled_product_attention算子无法导出。在最终版本发布之前，想要导出模型的人必须手动安装预发布版的torch>=2.1.0。

ONNX 推理

要对导出的模型进行推理，首先使用以下命令安装 onnxruntime：

pip install onnxruntime
pip install onnxruntime-gpu  # 用于 GPU 推理

然后使用以下命令：

python3 -m matcha.onnx.infer model.onnx --text "hey" --output-dir ./outputs

你还可以控制合成参数：

python3 -m matcha.onnx.infer model.onnx --text "hey" --output-dir ./outputs --temperature 0.4 --speaking_rate 0.9 --spk 0

要在 GPU 上运行推理，请确保已安装 onnxruntime-gpu 包，然后在推理命令中添加 --gpu 参数：

python3 -m matcha.onnx.infer model.onnx --text "hey" --output-dir ./outputs --gpu

如果你只将 Matcha 导出为 ONNX 格式，输出目录中会生成梅尔谱图的图表和 numpy 数组。如果在导出的图中嵌入了声码器，则会在输出目录中生成 .wav 音频文件。

如果你只将 Matcha 导出为 ONNX 格式，并希望运行完整的 TTS 流程，可以传递一个 ONNX 格式的声码器模型路径：

python3 -m matcha.onnx.infer model.onnx --text "hey" --output-dir ./outputs --vocoder hifigan.small.onnx

这将会在输出目录中生成 .wav 音频文件。

从 Matcha-TTS 中提取音素对齐信息

如果数据集的结构如下：

data/
└── LJSpeech-1.1
    ├── metadata.csv
    ├── README
    ├── test.txt
    ├── train.txt
    ├── val.txt
    └── wavs

那么你可以使用以下命令从训练好的 Matcha-TTS 模型中提取音素级别的对齐信息：

python  matcha/utils/get_durations_from_trained_model.py -i dataset_yaml -c <checkpoint>

例如：

python  matcha/utils/get_durations_from_trained_model.py -i ljspeech.yaml -c matcha_ljspeech.ckpt

或者更简单地：

matcha-tts-get-durations -i ljspeech.yaml -c matcha_ljspeech.ckpt

---

使用提取的对齐信息进行训练

在数据集配置文件中启用加载持续时间功能。例如：ljspeech.yaml

load_durations: True

或者参考配置文件中的示例：configs/experiment/ljspeech_from_durations.yaml

引用信息

如果你使用了我们的代码，或者以其他方式认为这项工作对你有所帮助，请引用我们的论文：

@inproceedings{mehta2024matcha,
  title={Matcha-{TTS}: A fast {TTS} architecture with conditional flow matching},
  author={Mehta, Shivam and Tu, Ruibo and Beskow, Jonas and Sz{\'e}kely, {\'E}va and Henter, Gustav Eje},
  booktitle={Proc. ICASSP},
  year={2024}
}

致谢

由于本代码使用了 Lightning-Hydra-Template，因此你将拥有该模板提供的所有功能。

我们还想感谢以下开源项目：

• Coqui-TTS：帮助我解决了如何使 Cython 二进制文件可以通过 pip 安装的问题，并给予了鼓励。
• Hugging Face Diffusers：感谢他们出色的 diffusers 库及其组件。
• Grad-TTS：提供了单调对齐搜索的源代码。
• torchdyn：在研发过程中尝试其他 ODE 求解器时非常有用。
• labml.ai：提供了 RoPE 的实现。

Matcha-TTS 快速上手指南

Matcha-TTS 是一种基于条件流匹配（Conditional Flow Matching）的快速非自回归神经语音合成架构。它具有概率性、内存占用小、声音自然且合成速度极快的特点。

1. 环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux, macOS 或 Windows
• Python: 3.10 (推荐)
• PyTorch: 2.0+
• 硬件: 推荐使用 NVIDIA GPU 以获得最佳推理速度（CPU 亦可运行）

国内开发者提示：建议配置国内镜像源以加速依赖下载。

• PyPI 镜像：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package>
• Conda 镜像：在 .condarc 中配置清华或中科大源。

2. 安装步骤

您可以选择使用 Conda 创建独立环境（推荐），然后直接通过 pip 安装。

第一步：创建并激活环境

conda create -n matcha-tts python=3.10 -y
conda activate matcha-tts

第二步：安装 Matcha-TTS

方式 A：通过 PyPI 安装（推荐）

pip install matcha-tts

(国内用户可添加 -i https://pypi.tuna.tsinghua.edu.cn/simple)

方式 B：从源码安装（适合需要修改代码或最新特性）

pip install git+https://github.com/shivammehta25/Matcha-TTS.git
cd Matcha-TTS
pip install -e .

安装完成后，预训练模型将在首次运行时自动下载。

3. 基本使用

安装完成后，您可以通过命令行接口 (CLI) 立即开始合成语音。

最简单的文本转语音

运行以下命令，将 <INPUT TEXT> 替换为您想要合成的文本内容：

matcha-tts --text "<INPUT TEXT>"

程序会自动下载所需的预训练模型，生成音频文件并保存。

常用参数示例

您还可以通过参数调整语速、温度和采样步数：

# 调整语速 (默认 1.0), 温度 (默认 0.667), 和 ODE 求解步数 (默认 10)
matcha-tts --text "你好，这是 Matcha-TTS 的测试声音。" --speaking_rate 1.0 --temperature 0.667 --steps 10

从文件批量合成

如果您有一个包含多行文本的文件：

matcha-tts --file <PATH TO FILE> --batched

启动 Web 界面 (Gradio)

如果您更喜欢图形化界面，可以运行：

matcha-tts-app

然后在浏览器中打开显示的本地地址即可使用。