VALL-E

基于 EnCodec 分词器的 VALL-E 非官方 PyTorch 实现。

快速开始

一个简单的 Google Colab 示例：。 请注意，此示例仅针对 data/test 目录下的单个语音片段进行过拟合训练，不具备实际可用性。 预训练模型尚未发布。

环境要求

由于训练器基于 DeepSpeed，您需要具备 DeepSpeed 已开发并测试过的 GPU，并且已预安装 CUDA 或 ROCm 编译器才能安装本包。

安装

pip install git+https://github.com/enhuiz/vall-e

或者您可以使用以下命令克隆：

git clone --recurse-submodules https://github.com/enhuiz/vall-e.git

请注意，代码目前仅在 Python 3.10.7 环境下经过测试。

训练

1. 将您的数据放入一个文件夹中，例如 data/your_data。音频文件应以 .wav 为后缀，文本文件则以 .normalized.txt 为后缀。

2. 对数据进行量化：

python -m vall_e.emb.qnt data/your_data

3. 根据文本生成音素：

python -m vall_e.emb.g2p data/your_data

4. 自定义配置文件，创建 config/your_data/ar.yml 和 config/your_data/nar.yml。详细信息请参考 config/test 和 vall_e/config.py 中的示例配置文件。您可以选择不同的模型预设，请查看 vall_e/vall_e/__init__.py。

5. 使用以下脚本训练 AR 或 NAR 模型：

python -m vall_e.train yaml=config/your_data/ar_or_nar.yml

您可以在任何时候通过在命令行输入 quit 来停止训练，最新的检查点会自动保存。

导出

两种训练好的模型都需要导出到指定路径。要导出其中任意一种模型，请运行：

python -m vall_e.export zoo/ar_or_nar.pt yaml=config/your_data/ar_or_nar.yml

这将导出最新的检查点。

合成

python -m vall_e <text> <ref_path> <out_path> --ar-ckpt zoo/ar.pt --nar-ckpt zoo/nar.pt

待办事项

• 第一个量化器的 AR 模型
• 从标记解码音频
• 其余量化器的 NAR 模型
• 两个模型的训练器
• 为 NAR 模型实现 AdaLN
• NAR 训练中的样本级量化级别采样
• LibriTTS 上的预训练检查点和演示
• 合成 CLI

注意事项

• EnCodec 采用 CC-BY-NC 4.0 许可证。如果您使用该代码生成音频量化或执行解码操作，务必遵守其许可证条款。

引用

@article{wang2023neural,
  title={Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers},
  author={Wang, Chengyi and Chen, Sanyuan and Wu, Yu and Zhang, Ziqiang and Zhou, Long and Liu, Shujie and Chen, Zhuo and Liu, Yanqing and Wang, Huaming and Li, Jinyu and others},
  journal={arXiv preprint arXiv:2301.02111},
  year={2023}
}

@article{defossez2022highfi,
  title={High Fidelity Neural Audio Compression},
  author={Défossez, Alexandre and Copet, Jade and Synnaeve, Gabriel and Adi, Yossi},
  journal={arXiv preprint arXiv:2210.13438},
  year={2022}
}

VALL-E 快速上手指南

VALL-E 是一个基于 PyTorch 的非官方实现，利用 EnCodec 分词器进行零样本文本转语音（TTS）合成。本指南将帮助你快速搭建环境并运行模型。

环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统：Linux 或 macOS（Windows 需配置 WSL2）。
• Python 版本：严格推荐 Python 3.10.7（代码仅在此版本下经过测试）。
• 硬件要求：需要支持 DeepSpeed 的 NVIDIA GPU。
• 编译器：必须预安装 CUDA 或 ROCm 编译器，以便正确安装 DeepSpeed 及相关依赖。

注意：由于训练器基于 DeepSpeed，请确保你的 GPU 驱动和 CUDA 版本与 DeepSpeed 兼容。

安装步骤

你可以选择直接通过 pip 安装，或者克隆源码以便修改配置。

方式一：直接安装（推荐）

pip install git+https://github.com/enhuiz/vall-e

方式二：源码安装

如果你需要查看示例配置或进行二次开发：

git clone --recurse-submodules https://github.com/enhuiz/vall-e.git
cd vall-e
pip install -e .

基本使用

目前该项目尚未发布预训练模型，官方 README 明确指出当前的 Colab 示例仅用于在单个语句上过拟合演示，不可用于实际生产。因此，最基本的“使用”流程是准备数据并训练模型。

以下是训练一个简单模型的极简流程：

1. 准备数据

将你的音频数据放入文件夹（例如 data/my_data）。

• 音频文件后缀必须为 .wav。
• 对应的文本文件后缀必须为 .normalized.txt（文件名需与音频对应）。

2. 数据量化与音素生成

执行以下命令处理数据：

# 量化音频数据
python -m vall_e.emb.qnt data/my_data

# 基于文本生成音素
python -m vall_e.emb.g2p data/my_data

3. 配置模型

复制示例配置文件并进行自定义：

mkdir -p config/my_data
cp config/test/ar.yml config/my_data/ar.yml
cp config/test/nar.yml config/my_data/nar.yml

编辑 config/my_data/ar.yml 和 nar.yml 以适配你的数据路径和模型参数。

4. 开始训练

分别训练自回归（AR）和非自回归（NAR）模型：

# 训练 AR 模型
python -m vall_e.train yaml=config/my_data/ar.yml

# 训练 NAR 模型
python -m vall_e.train yaml=config/my_data/nar.yml

提示：在命令行中输入 quit 可随时停止训练，系统会自动保存最新的检查点。

5. 导出与合成（训练完成后）

当模型训练完毕后，先导出检查点：

python -m vall_e.export zoo/ar.pt yaml=config/my_data/ar.yml
python -m vall_e.export zoo/nar.pt yaml=config/my_data/nar.yml

最后进行语音合成：

python -m vall_e "你好，这是测试文本" data/my_data/ref.wav output.wav --ar-ckpt zoo/ar.pt --nar-ckpt zoo/nar.pt

注：ref.wav 为参考音频，用于提供说话人音色。