🐸Coqui.ai 新闻

• 📣 ⓍTTSv2 已发布，支持16种语言，整体性能更优。
• 📣 ⓍTTS 微调代码已公开。请查看示例教程。
• 📣 ⓍTTS 现在可以以低于200毫秒的延迟进行流式传输。
• 📣 ⓍTTS，我们的生产级TTS模型，能够说13种语言，现已发布。博客文章，演示，文档
• 📣 🐶Bark 现已可用于推理，并支持无约束的语音克隆。文档
• 📣 您可以使用~1100个Fairseq模型与🐸TTS一起使用。
• 📣 🐸TTS 现在支持🐢Tortoise，且推理速度更快。文档

---

💬 咨询渠道

请使用我们专门的渠道进行提问和讨论。公开分享的帮助更有价值，这样更多人可以从中受益。

类型	平台
🚨 Bug报告	[GitHub问题追踪器]
🎁 功能请求与建议	[GitHub问题追踪器]
👩‍💻 使用问题	[GitHub讨论区]
🗯 一般讨论	[GitHub讨论区]或Discord

🔗 链接和资源

类型	链接
💼 文档	ReadTheDocs
💾 安装	TTS/README.md
👩‍💻 贡献	CONTRIBUTING.md
📌 路线图	主要开发计划
🚀 已发布的模型	TTS发布 和 实验性模型
📰 论文	TTS论文

🥇 TTS性能

带下划线的“TTS*”和“Judy*”是内部的🐸TTS模型，尚未开源。它们旨在展示潜在能力。以点号开头的模型（.Jofish、.Abe 和 .Janice）则是真实的人类声音。

特性

• 用于文本转语音任务的高性能深度学习模型。
  • 文本转频谱模型（Tacotron、Tacotron2、Glow-TTS、SpeedySpeech）。
  • 发言人编码器，可高效计算发言人的嵌入向量。
  • 声码器模型（MelGAN、Multiband-MelGAN、GAN-TTS、ParallelWaveGAN、WaveGrad、WaveRNN）
• 快速高效的模型训练。
• 在终端和Tensorboard上提供详细的训练日志。
• 支持多说话人TTS。
• 高效、灵活、轻量但功能齐全的Trainer API。
• 已发布并可直接使用的模型。
• 提供工具来整理文本转语音数据集，位于dataset_analysis模块中。
• 提供工具来使用和测试您的模型。
• 模块化（但不过分）的代码库，便于实现新想法。

模型实现

声谱图模型

• Tacotron：论文
• Tacotron2：论文
• Glow-TTS：论文
• Speedy-Speech：论文
• Align-TTS：论文
• FastPitch：论文
• FastSpeech：论文
• FastSpeech2：论文
• SC-GlowTTS：论文
• Capacitron：论文
• OverFlow：论文
• Neural HMM TTS：论文
• Delightful TTS：论文

端到端模型

• ⓍTTS：博客
• VITS：论文
• 🐸 YourTTS：论文
• 🐢 Tortoise：原始仓库
• 🐶 Bark：原始仓库

注意力机制

• 引导式注意力：论文
• 前向后向解码：论文
• 格雷夫斯注意力：论文
• 双解码器一致性：博客
• 动态卷积注意力：论文
• 对齐网络：论文

发言人编码器

• GE2E：论文
• 角度损失：论文

语音合成器

• MelGAN：论文
• MultiBandMelGAN：论文
• ParallelWaveGAN：论文
• GAN-TTS 判别器：论文
• WaveRNN：源代码
• WaveGrad：论文
• HiFiGAN：论文
• UnivNet：论文

语音转换

• FreeVC：论文

您也可以帮助我们实现更多模型。

安装

🐸TTS 已在 Ubuntu 18.04 上测试，要求 Python >= 3.9, < 3.12。

如果您只对使用发布的 🐸TTS 模型进行 语音合成 感兴趣，那么从 PyPI 安装是最简单的方式。

pip install TTS

如果您计划编写代码或训练模型，请克隆 🐸TTS 并在本地安装。

git clone https://github.com/coqui-ai/TTS
pip install -e .[all,dev,notebooks]  # 选择相关的附加组件

如果您使用的是 Ubuntu (Debian)，也可以运行以下命令进行安装。

$ make system-deps  # 适用于 Ubuntu (Debian)。如果您使用其他操作系统，请告知我们。
$ make install

如果您使用的是 Windows，👑@GuyPaddock 编写了安装说明 在这里。

Docker 镜像

您也可以通过 Docker 镜像无需安装即可试用 TTS。只需运行以下命令，您就可以在不安装的情况下运行 TTS。

docker run --rm -it -p 5002:5002 --entrypoint /bin/bash ghcr.io/coqui-ai/tts-cpu
python3 TTS/server/server.py --list_models # 获取可用模型列表
python3 TTS/server/server.py --model_name tts_models/en/vctk/vits # 启动服务器

然后您可以在 这里 享受 TTS 服务。有关 Docker 镜像的更多详细信息（例如 GPU 支持）可以参见 这里。

使用 🐸TTS 进行语音合成

🐍 Python API

运行多说话者和多语言模型

import torch
from TTS.api import TTS

# 获取设备
device = "cuda" if torch.cuda.is_available() else "cpu"

# 列出可用的 🐸TTS 模型
print(TTS().list_models())

# 初始化 TTS
tts = TTS("tts_models/multilingual/multi-dataset/xtts_v2").to(device)

# 运行 TTS
# ❗ 由于此模型是多语言语音克隆模型，我们必须设置目标说话人音频文件和语言
# 输出为幅度值列表的文本转语音
wav = tts.tts(text="Hello world!", speaker_wav="my/cloning/audio.wav", language="en")
# 文本转语音并保存为文件
tts.tts_to_file(text="Hello world!", speaker_wav="my/cloning/audio.wav", language="en", file_path="output.wav")

运行单说话者模型

# 使用目标模型名称初始化 TTS
tts = TTS(model_name="tts_models/de/thorsten/tacotron2-DDC", progress_bar=False).to(device)

# 运行 TTS
tts.tts_to_file(text="Ich bin eine Testnachricht.", file_path=OUTPUT_PATH)

# 使用 YourTTS 进行英语、法语和葡萄牙语的语音克隆示例
tts = TTS(model_name="tts_models/multilingual/multi-dataset/your_tts", progress_bar=False).to(device)
tts.tts_to_file("This is voice cloning.", speaker_wav="my/cloning/audio.wav", language="en", file_path="output.wav")
tts.tts_to_file("C'est le clonage de la voix.", speaker_wav="my/cloning/audio.wav", language="fr-fr", file_path="output.wav")
tts.tts_to_file("Isso é clonagem de voz.", speaker_wav="my/cloning/audio.wav", language="pt-br", file_path="output.wav")

语音转换示例

将 source_wav 中的声音转换为 target_wav 的声音

tts = TTS(model_name="voice_conversion_models/multilingual/vctk/freevc24", progress_bar=False).to("cuda")
tts.voice_conversion_to_file(source_wav="my/source.wav", target_wav="my/target.wav", file_path="output.wav")

结合语音转换模型进行语音克隆示例。

这样，您可以使用 🐸TTS 中的任何模型来克隆语音。

tts = TTS("tts_models/de/thorsten/tacotron2-DDC")
tts.tts_with_vc_to_file(
    "Wie sage ich auf Italienisch, dass ich dich liebe?",
    speaker_wav="target/speaker.wav",
    file_path="output.wav"
)

使用 Fairseq 模型在 ~1100 种语言中 进行文本转语音的示例 🤯。

对于 Fairseq 模型，使用以下命名格式：tts_models/<lang-iso_code>/fairseq/vits。您可以在此处找到语言 ISO 代码 这里，并在此处了解 Fairseq 模型 这里。

# 具有即时语音转换功能的 TTS
api = TTS("tts_models/deu/fairseq/vits")
api.tts_with_vc_to_file(
    "Wie sage ich auf Italienisch, dass ich dich liebe?",
    speaker_wav="target/speaker.wav",
    file_path="output.wav"
)

命令行 tts

在命令行中合成语音。

您可以使用自己训练的模型，也可以从提供的列表中选择一个模型。

如果您未指定任何模型，则会使用基于 LJSpeech 的英语模型。

单说话人模型

• 列出提供的模型：

  $ tts --list_models
  

• 获取模型信息（适用于 tts_models 和 vocoder_models）：

  • 按类型/名称查询： model_info_by_name 使用 --list_models 中显示的名称。

    $ tts --model_info_by_name "<model_type>/<language>/<dataset>/<model_name>"
    

    例如：

    $ tts --model_info_by_name tts_models/tr/common-voice/glow-tts
    $ tts --model_info_by_name vocoder_models/en/ljspeech/hifigan_v2
    

  • 按类型/索引查询： model_query_idx 使用 --list_models 中对应的索引。

    $ tts --model_info_by_idx "<model_type>/<model_query_idx>"
    

    例如：

    $ tts --model_info_by_idx tts_models/3
    

  • 按完整名称查询模型信息：

    $ tts --model_info_by_name "<model_type>/<language>/<dataset>/<model_name>"
    

• 使用默认模型运行 TTS：

  $ tts --text "Text for TTS" --out_path output/path/speech.wav
  

• 运行 TTS 并将生成的 TTS 音频数据直接输出到管道：

  $ tts --text "Text for TTS" --pipe_out --out_path output/path/speech.wav | aplay
  

• 使用 TTS 模型及其默认声码器模型运行：

  $ tts --text "Text for TTS" --model_name "<model_type>/<language>/<dataset>/<model_name>" --out_path output/path/speech.wav
  

  例如：

  $ tts --text "Text for TTS" --model_name "tts_models/en/ljspeech/glow-tts" --out_path output/path/speech.wav
  

• 使用列表中的特定 TTS 和声码器模型运行：

  $ tts --text "Text for TTS" --model_name "<model_type>/<language>/<dataset>/<model_name>" --vocoder_name "<model_type>/<language>/<dataset>/<model_name>" --out_path output/path/speech.wav
  

  例如：

  $ tts --text "Text for TTS" --model_name "tts_models/en/ljspeech/glow-tts" --vocoder_name "vocoder_models/en/ljspeech/univnet" --out_path output/path/speech.wav
  

• 运用自己的 TTS 模型（使用 Griffin-Lim 声码器）：

  $ tts --text "Text for TTS" --model_path path/to/model.pth --config_path path/to/config.json --out_path output/path/speech.wav
  

• 运用自己的 TTS 和声码器模型：

  $ tts --text "Text for TTS" --model_path path/to/model.pth --config_path path/to/config.json --out_path output/path/speech.wav
      --vocoder_path path/to/vocoder.pth --vocoder_config_path path/to/vocoder_config.json
  

多说话人模型

• 列出可用的说话人并从中选择一个 ：

  $ tts --model_name "<language>/<dataset>/<model_name>"  --list_speaker_idxs
  

• 使用目标说话人 ID 运行多说话人 TTS 模型：

  $ tts --text "Text for TTS." --out_path output/path/speech.wav --model_name "<language>/<dataset>/<model_name>"  --speaker_idx <speaker_id>
  

• 运用自己的多说话人 TTS 模型：

  $ tts --text "Text for TTS" --out_path output/path/speech.wav --model_path path/to/model.pth --config_path path/to/config.json --speakers_file_path path/to/speaker.json --speaker_idx <speaker_id>
  

语音转换模型

$ tts --out_path output/path/speech.wav --model_name "<language>/<dataset>/<model_name>" --source_wav <path/to/speaker/wav> --target_wav <path/to/reference/wav>

目录结构

|- notebooks/       (用于模型评估、参数选择和数据分析的 Jupyter 笔记本。)
|- utils/           (通用工具。)
|- TTS
    |- bin/             (所有可执行文件的文件夹。)
      |- train*.py                  (训练您的目标模型。)
      |- ...
    |- tts/             (文本转语音模型)
        |- layers/          (模型层定义)
        |- models/          (模型定义)
        |- utils/           (模型专用工具。)
    |- speaker_encoder/ (说话人编码器模型。)
        |- (同上)
    |- vocoder/         (声码器模型。)
        |- (同上)

🐸 TTS 快速上手指南

🐸TTS 是一个用于高级文本转语音（Text-to-Speech）生成的开源库，支持超过 1100 种语言的预训练模型，并提供强大的声音克隆和多说话人合成功能。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: 推荐 Ubuntu 18.04+ 或 Debian（Windows 用户需参考特定配置，macOS 部分支持）。
• Python 版本: 3.9 <= Python < 3.12。
• 硬件加速 (可选): 如需 GPU 加速推理或训练，请确保已安装正确的 NVIDIA 驱动和 CUDA Toolkit。
• 依赖项: 建议更新 pip 和 setuptools 到最新版本。

国内开发者提示：如果遇到下载依赖包速度慢的问题，建议在安装命令中指定清华或阿里镜像源。

安装步骤

根据您的使用需求，选择以下一种安装方式：

方式一：仅用于语音合成（推荐）

如果您只需要使用官方发布的预训练模型进行推理，这是最快捷的方式。

# 使用默认源
pip install TTS

# 或使用国内镜像源加速（推荐）
pip install TTS -i https://pypi.tuna.tsinghua.edu.cn/simple

方式二：本地开发与训练

如果您计划修改代码、训练新模型或使用最新开发版功能，请克隆仓库并进行本地安装。

git clone https://github.com/coqui-ai/TTS
cd TTS

# 安装完整依赖（包含开发工具和 Notebook 支持）
pip install -e .[all,dev,notebooks]

# 或在 Ubuntu/Debian 上使用脚本自动安装系统级依赖
make system-deps
make install

方式三：Docker 免安装体验

如果您不想配置本地环境，可以直接使用 Docker 运行。

docker run --rm -it -p 5002:5002 --entrypoint /bin/bash ghcr.io/coqui-ai/tts-cpu

基本使用

安装完成后，您可以通过 Python API 快速开始语音合成。以下是最常用的两种场景。

1. 快速合成（单说话人模型）

适用于标准文本朗读，无需提供参考音频。

import torch
from TTS.api import TTS

# 检测设备，优先使用 CUDA
device = "cuda" if torch.cuda.is_available() else "cpu"

# 初始化模型 (以德语 Tacotron2 模型为例)
tts = TTS(model_name="tts_models/de/thorsten/tacotron2-DDC", progress_bar=False).to(device)

# 执行合成并保存为文件
tts.tts_to_file(text="Ich bin eine Testnachricht.", file_path="output.wav")

2. 声音克隆（多语言/多说话人）

使用 XTTS v2 模型，只需提供一段简短的参考音频，即可用该声音合成多种语言的文本。

import torch
from TTS.api import TTS

device = "cuda" if torch.cuda.is_available() else "cpu"

# 初始化 XTTS v2 模型
tts = TTS("tts_models/multilingual/multi-dataset/xtts_v2").to(device)

# 执行声音克隆
# speaker_wav: 参考音频路径 (用于提取音色)
# language: 目标语言代码 (如 "en", "zh-cn", "ja" 等)
tts.tts_to_file(
    text="Hello world! This is voice cloning.", 
    speaker_wav="my/cloning/audio.wav", 
    language="en", 
    file_path="cloned_output.wav"
)

3. 启动 Web 服务器

TTS 内置了一个简单的 Web 界面，方便直接在浏览器中测试模型。

# 列出可用模型
python3 -m TTS.server.server --list_models

# 启动服务器 (示例：启动英文 VITS 模型)
python3 -m TTS.server.server --model_name tts_models/en/vctk/vits

启动后，访问 http://localhost:5002 即可在浏览器中进行交互测试。