Parler-TTS

Parler-TTS 是一款轻量级的文本到语音（TTS）模型，能够以给定说话人的风格（性别、音高、语速等）生成高质量、自然流畅的语音。它是对 Dan Lyth 和 Simon King 在 Stability AI 与爱丁堡大学联合发表的论文《基于合成标注的高保真文本到语音的自然语言引导》中工作的复现。

与其他 TTS 模型不同，Parler-TTS 是一个 完全开源 的项目。所有数据集、预处理流程、训练代码和模型权重均以宽松许可证公开发布，使社区能够在此基础上进一步开发属于自己的强大 TTS 模型。

本仓库包含 Parler-TTS 的推理与训练代码，并配套使用 Data-Speech 仓库进行数据集标注。

[!重要提示] 2024年8月8日： 我们自豪地发布了两个新的 Parler-TTS 检查点：

1. Parler-TTS Mini，一个拥有 8.8 亿参数的模型。
2. Parler-TTS Large，一个拥有 23 亿参数的模型。

这些检查点是在 4.5 万小时有声书数据上训练得到的。

此外，代码也进行了优化，以大幅提升生成速度：我们加入了 SDPA 和 Flash Attention 2 的兼容性，并支持对模型进行编译。

📖 快速索引

• 安装
• 使用
  • 🎲 使用随机语音
  • 🎯 使用特定说话人
• 训练
• 演示
• 模型权重与数据集
• 优化推理速度

安装

Parler-TTS 的依赖非常轻量，只需一行命令即可完成安装：

pip install git+https://github.com/huggingface/parler-tts.git

对于 Apple Silicon 用户，还需要运行以下命令以使用夜间版 PyTorch（2.4）构建，从而支持 bfloat16 数据类型：

pip3 install --pre torch torchaudio --index-url https://download.pytorch.org/whl/nightly/cpu

使用

[!提示] 您可以直接在交互式演示中体验 这里！

使用 Parler-TTS 非常简单，就像“bonjour”一样。只需安装一次库即可：

pip install git+https://github.com/huggingface/parler-tts.git

🎲 随机语音

Parler-TTS 经过训练，能够根据简单的文本提示控制生成语音的特征，例如：

import torch
from parler_tts import ParlerTTSForConditionalGeneration
from transformers import AutoTokenizer
import soundfile as sf

device = "cuda:0" if torch.cuda.is_available() else "cpu"

model = ParlerTTSForConditionalGeneration.from_pretrained("parler-tts/parler-tts-mini-v1").to(device)
tokenizer = AutoTokenizer.from_pretrained("parler-tts/parler-tts-mini-v1")

prompt = "嘿，你今天过得怎么样？"
description = "一位女性说话者以略带表现力和生动的语气，用适中的语速和音调进行演讲。录音质量非常高，说话者的嗓音清晰且近场感很强。"

input_ids = tokenizer(description, return_tensors="pt").input_ids.to(device)
prompt_input_ids = tokenizer(prompt，return_tensors="pt").input_ids.to(device）

generation = model.generate(input_ids=input_ids, prompt_input_ids=prompt_input_ids)
audio_arr = generation.cpu().numpy().squeeze()
sf.write("parler_tts_out.wav", audio_arr，model.config.sampling_rate)

🎯 使用特定说话人

为确保每次生成的语音都保持一致的说话人特征，该检查点还基于 34 位说话人进行了训练，每位说话人都有其独特的名称。可用的说话人名单包括： Laura、Gary、Jon、Lea、Karen、Rick、Brenda、David、Eileen、Jordan、Mike、Yann、Joy、James、Eric、Lauren、Rose、Will、Jason、Aaron、Naomie、Alisa、Patrick、Jerry、Tina、Jenna、Bill、Tom、Carol、Barbara、Rebecca、Anna、Bruce、Emily。

要利用这一点，只需在文本描述中明确指定要使用的说话人即可：Jon 的声音单调但语速稍快，录音非常近场，几乎没有背景噪声。

您可以将“Jon”替换为上述列表中的任何名字，以使用不同的说话人特征。每位说话人独特的嗓音特质都可以根据您的具体需求加以利用。有关说话人一致性及语音表现的更多详细信息，请参阅 推理指南。

import torch
from parler_tts import ParlerTTSForConditionalGeneration
from transformers import AutoTokenizer
import soundfile as sf

device = "cuda:0" if torch.cuda.is_available() else "cpu"

model = ParlerTTSForConditionalGeneration.from_pretrained("parler-tts/parler-tts-mini-v1").to(device)
tokenizer = AutoTokenizer.from_pretrained("parler-tts/parler-tts-mini-v1")

prompt = "嘿，你今天过得怎么样？"
description = "Jon 的声音单调但语速稍快，录音非常近场，几乎没有背景噪声。"

input_ids = tokenizer(description，return_tensors="pt").input_ids.to(device)
prompt_input_ids = tokenizer(prompt，return_tensors="pt").input_ids.to(device)

generation = model.generate(input_ids=input_ids，prompt_input_ids=prompt_input_ids)
audio_arr = generation.cpu().numpy().squeeze()
sf.write("parler_tts_out.wav", audio_arr，model.config.sampling_rate)

提示：

• 如果希望生成最高质量的音频，请加入“非常清晰的音频”；若需要较高背景噪声，则可使用“非常嘈杂的音频”。
• 标点符号可用于控制生成语音的韵律，例如用逗号来添加短暂停顿。
• 其他语音特征（性别、语速、音调和混响）可以直接通过提示词进行控制。

✨ 优化推理速度

我们已编写了一份 推理指南，旨在进一步提升生成速度。请参考 SDPA、torch.compile 和流式传输等内容！

https://github.com/huggingface/parler-tts/assets/52246514/251e2488-fe6e-42c1-81cd-814c5b7795b0

训练

训练文件夹 包含训练或微调您自己的 Parler-TTS 模型所需的所有信息。它包括：

• 1. Parler-TTS 架构简介
• 2. 入门步骤
• 3. 训练指南

[!重要] 简而言之： 在完成安装步骤后，您可以使用以下命令行重现 Parler-TTS Mini v1 的训练配方：

accelerate launch ./training/run_parler_tts_training.py ./helpers/training_configs/starting_point_v1.json

[!重要] 您还可以按照此微调指南，以单说话人数据集为例进行操作。

致谢

本库建立在众多开源优秀项目的基础上，我们衷心感谢这些项目提供了如此强大的工具！

特别感谢：

• Stability AI 的 Dan Lyth 和爱丁堡大学的 Simon King，他们发表了极具前景且清晰的研究论文：利用合成标注实现高保真文本到语音的自然语言引导。
• 所使用的诸多库，包括 🤗 datasets、🤗 accelerate、jiwer、wandb 以及 🤗 transformers。
• Descript 提供的 DAC 编解码器模型。
• Hugging Face 🤗 提供了计算资源和探索时间！

引用

如果您觉得本仓库有用，请考虑引用本文以及原始的 Stability AI 论文：

@misc{lacombe-etal-2024-parler-tts,
  author = {Yoach Lacombe、Vaibhav Srivastav 和 Sanchit Gandhi},
  title = {Parler-TTS},
  year = {2024},
  publisher = {GitHub},
  journal = {GitHub 仓库},
  howpublished = {\url{https://github.com/huggingface/parler-tts}}
}

@misc{lyth2024natural,
      title={利用合成标注实现高保真文本到语音的自然语言引导},
      author={Dan Lyth 和 Simon King},
      year={2024},
      eprint={2402.01912},
      archivePrefix={arXiv},
      primaryClass={cs.SD}
}

贡献

欢迎贡献，因为该项目有许多改进和探索的可能性。

具体来说，我们正在寻找提升质量和速度的方法：

• 数据集：
  • 使用更多数据进行训练
  • 增加更多特征，例如口音
• 训练：
  • 添加 PEFT 兼容性，以支持 LoRA 微调。
  • 增加无需描述列即可训练的功能。
  • 添加笔记本式训练。
  • 探索多语言训练。
  • 探索单说话人微调。
  • 探索更多架构。
• 优化：
  • 编译与静态缓存
  • 支持 FA2 和 SDPA
• 评估：
  • 增加更多评估指标

Parler-TTS 快速上手指南

Parler-TTS 是一个轻量级的开源文本转语音（TTS）模型，能够根据自然语言描述生成高质量、自然的语音，并精确控制说话人的性别、音调、语速和风格。该模型完全开源，提供从数据预处理到训练权重的全套资源。

环境准备

• 系统要求：支持 Linux、macOS (包括 Apple Silicon) 和 Windows。
• 硬件建议：推荐使用 NVIDIA GPU 以获得最佳生成速度；CPU 亦可运行但速度较慢。
• 前置依赖：
  • Python 3.8+
  • PyTorch 2.4+ (Apple Silicon 用户需安装 nightly 版本以支持 bfloat16)
  • transformers 库

安装步骤

1. 基础安装

大多数用户只需运行以下命令即可完成安装：

pip install git+https://github.com/huggingface/parler-tts.git

提示：国内用户若下载缓慢，可尝试配置 pip 国内镜像源（如清华源）：

pip install git+https://github.com/huggingface/parler-tts.git -i https://pypi.tuna.tsinghua.edu.cn/simple

2. Apple Silicon (M1/M2/M3) 用户额外步骤

如果您使用的是 Mac Apple Silicon 芯片，为了启用 bfloat16 支持以获得更好性能，请额外安装 PyTorch 的 nightly 构建版：

pip3 install --pre torch torchaudio --index-url https://download.pytorch.org/whl/nightly/cpu

基本使用

Parler-TTS 的核心特性是通过自然语言描述来控制语音风格。以下是最简单的使用示例，展示如何生成一段随机风格的语音。

示例：生成随机风格语音

此代码将加载 parler-tts-mini-v1 模型，并根据描述生成语音文件 parler_tts_out.wav。

import torch
from parler_tts import ParlerTTSForConditionalGeneration
from transformers import AutoTokenizer
import soundfile as sf

# 自动检测设备 (CUDA 或 CPU)
device = "cuda:0" if torch.cuda.is_available() else "cpu"

# 加载模型和分词器
model = ParlerTTSForConditionalGeneration.from_pretrained("parler-tts/parler-tts-mini-v1").to(device)
tokenizer = AutoTokenizer.from_pretrained("parler-tts/parler-tts-mini-v1")

# 输入文本
prompt = "Hey, how are you doing today?"

# 语音风格描述 (控制性别、语速、音质等)
description = "A female speaker delivers a slightly expressive and animated speech with a moderate speed and pitch. The recording is of very high quality, with the speaker's voice sounding clear and very close up."

# 编码输入
input_ids = tokenizer(description, return_tensors="pt").input_ids.to(device)
prompt_input_ids = tokenizer(prompt, return_tensors="pt").input_ids.to(device)

# 生成音频
generation = model.generate(input_ids=input_ids, prompt_input_ids=prompt_input_ids)
audio_arr = generation.cpu().numpy().squeeze()

# 保存为 WAV 文件
sf.write("parler_tts_out.wav", audio_arr, model.config.sampling_rate)

进阶技巧：指定特定说话人

模型内置了 34 种预设说话人（如 Jon, Laura, Gary 等）。若要固定说话人音色，只需在 description 中明确提及名字即可。

修改描述示例：

# 将描述改为指定 "Jon" 的声音特征
description = "Jon's voice is monotone yet slightly fast in delivery, with a very close recording that almost has no background noise."

可用说话人列表包含：Laura, Gary, Jon, Lea, Karen, Rick, Brenda, David, Eileen, Jordan, Mike, Yann, Joy, James, Eric, Lauren, Rose, Will, Jason, Aaron, Naomie, Alisa, Patrick, Jerry, Tina, Jenna, Bill, Tom, Carol, Barbara, Rebecca, Anna, Bruce, Emily。

提示词优化建议

• 音质控制：在描述中加入 "very clear audio" 可生成最高音质；加入 "very noisy audio" 可模拟背景噪音。
• 韵律控制：利用标点符号（如逗号）可以在语音中制造短暂的停顿。
• 特征控制：性别、语速、音调和混响效果均可直接通过自然语言描述进行调整。