---

面向7000多种语言的文本转语音

IMS Toucan 是一套用于训练、使用和教学最先进文本转语音合成技术的工具包，由德国斯图加特大学自然语言处理研究所（IMS）开发，也是大规模多语言 ToucanTTS 系统的官方项目所在地。我们的系统速度快、可控性强，且无需大量计算资源。

如果您觉得这个仓库很有用，请考虑给它点个赞。⭐ 大数字让我很开心，也能给我很大的动力。如果您想进一步支持我，还可以考虑赞助这个工具包。我们只通过 GitHub Sponsors 接受赞助，其他平台上有很多冒充开发者的人在行骗，请不要上当。代码和模型都是完全免费的，并且得益于 Hugging Face🤗 的慷慨支持，我们甚至提供了一个基于 GPU 运行的模型实例，任何人都可以免费使用。

---

链接 🦚

交互式演示

请查看我们在 Hugging Face🤗 上提供的大规模多语言交互式演示

数据集

我们还在 Hugging Face🤗 上发布了一个大规模多语言 TTS 数据集

支持的语言

支持的语言列表请见这里

---

安装 🦉

基本要求

推荐使用 Python 3.10 版本。

要安装此工具包，请将其克隆到您打算使用的机器上（如果计划在该机器上训练模型，至少需要一块支持 CUDA 的 GPU；如果是进行推理，则不需要 GPU）。

如果您使用的是 Linux 系统，应确保已安装以下软件包，或者通过 apt-get 进行安装（大多数发行版默认已预装）：

libsndfile1
espeak-ng
ffmpeg
libasound-dev
libportaudio2
libsqlite3-dev

进入您克隆的目录。建议创建并激活一个虚拟环境，以便将基本依赖项安装到其中。以下命令总结了在 Linux 系统下需要执行的所有步骤。如果您使用的是 Windows 系统，则第二行需要修改，请参阅venv 文档。

python -m venv <虚拟环境路径>

source <虚拟环境路径>/bin/activate

pip install --no-cache-dir -r requirements.txt

每次重新使用该工具时，都需要运行第二条命令以再次激活虚拟环境，例如在您退出后重新登录时。要在 Linux 机器上利用 GPU，无需额外操作。而在 Windows 机器上，请参考PyTorch 官方网站获取启用 GPU 支持的安装命令。

存储配置

如果您不希望预训练模型、已训练模型以及数据预处理过程中生成的缓存文件存储在默认子文件夹中，可以通过编辑 Utility/storage_config.py 文件来全局设置相应的目录，以满足您的需求（路径可以是相对于仓库根目录的相对路径，也可以是绝对路径）。

预训练模型

您可以不使用预训练模型，但它们能极大地加快流程。借助 Hugging Face🤗 和尤其是 VB，这些模型会在需要时自动在线下载。

[可选] eSpeak-NG

eSpeak-NG 是一项可选依赖项，能够处理许多语言中的特殊情况，因此最好安装它。

在大多数 Linux 环境中，它通常已经预装；如果没有，且您拥有足够的权限，只需运行以下命令即可安装：

apt-get install espeak-ng

对于 Windows，他们在其 GitHub 发布页面上提供了便捷的 .msi 安装程序。在非 Linux 系统上安装完成后，还需要通过设置 PHONEMIZER_ESPEAK_LIBRARY 环境变量来告知 phonemizer 库 espeak 的安装位置，相关内容可在此问题讨论中找到。

对于 Mac 系统，情况则复杂得多。感谢 Sang Hyun Park 提供的 Mac 安装指南：对于 M1 Mac，最方便的安装方法是通过 MacPorts 中的 espeak-ng 软件包。MacPorts 可以从 MacPorts 官网安装，而安装 MacPorts 本身又需要 Apple 的 XCode。在 XCode 和 MacPorts 安装完成后，您可以通过以下命令安装 espeak-ng 软件包：

sudo port install espeak-ng

正如 Windows 安装说明中所述，espeak-ng 的安装路径需要作为变量设置到 phonemizer 库中。该环境变量为 PHONEMIZER_ESPEAK_LIBRARY，具体信息可在上述GitHub 讨论帖中找到。不过，在 Mac 系统上，您需要设置的 espeak-ng 库文件是一个 .dylib 文件，而不是 .dll 文件。要找到 espeak-ng 库文件，可以运行 port contents espeak-ng 命令，您需要查找的特定文件名为 libespeak-ng.dylib。

---

推理 🦢

你可以使用 InferenceInterfaces/ToucanTTSInterface.py 加载你训练好的模型，或者我们提供的预训练模型。只需通过正确的模型目录句柄创建一个对象，即可指定你要使用的模型。其余部分会在后台自动完成。你可能需要使用 set_language 和 set_speaker_embedding 函数来设置语言嵌入或说话人嵌入。大多数功能都相当直观易懂。

InferenceInterface 包含两个从文本生成音频的方法：read_to_file 和 read_aloud。

• read_to_file 接受一个字符串列表和一个文件名作为输入。它会将列表中的句子合成语音，在每句之间插入短暂的停顿，然后将结果写入你提供的文件路径。

• read_aloud 只接受一个字符串，将其转换为语音并立即通过系统的扬声器播放。如果你将可选参数 view 设置为 True, 会弹出一个可视化窗口，你需要关闭该窗口程序才会继续运行。

这两个方法的用法在 run_interactive_demo.py 和 run_text_to_file_reader.py 中有演示。

我们提供了一些简单的缩放参数，用于控制持续时间、音高曲线的方差以及能量曲线的方差。你可以在使用交互式演示或阅读器时直接修改代码中的这些参数，也可以在自己的代码中调用接口时直接传递这些参数。

要更改模型的语言并查看我们预训练模型支持的语言，请参阅此处链接的语言列表。

---

创建新的配方（训练流程）🐣

在名为 Utility 的目录中，有一个文件叫做 path_to_transcript_dicts.py。在这个文件中，你需要编写一个函数，返回一个字典，其中键是数据集中每个音频文件的绝对路径（以字符串形式表示），值则是对应音频的文本转录。

接下来，进入 TrainingInterfaces/Recipes 目录。如果你只想在一个数据集上进行微调，可以复制 finetuning_example_simple.py 文件；如果你想在多个数据集上进行微调，甚至可能是多语言的数据集，则复制 finetuning_example_multilingual.py。我们将以此副本作为参考，只做必要的修改以适应新的数据集。找到对 prepare_tts_corpus 函数的调用，将其中使用的 path_to_transcript_dict 替换为你刚刚创建的那个（或那些）。然后将对应的缓存目录名称改为更符合该数据集的名字。

此外，注意变量 save_dir，这是保存检查点的目录。这是一个默认值，你可以在稍后通过命令行参数覆盖它，以便从某个检查点继续微调，并将结果保存到不同的目录中。最后，将数据集创建和训练循环函数调用中的 lang 参数改为与你的数据相匹配的 ISO 639-3 语言代码。

微调示例中传给训练循环的参数适用于从预训练模型开始微调的情况。如果你想从头开始训练，可以查看其他包含 ToucanTTS 名称的流程，并参考其中使用的参数。

完成这些步骤后，我们就差不多准备好了。现在只需要让顶层的 run_training_pipeline.py 文件能够访问这个新配方。在该文件中，从你刚刚创建的流程中导入 run 函数，并为其取一个有意义的名字。然后在 pipeline_dict 中，将你导入的函数作为值添加进去，键则使用一个简明易懂的缩写。

---

训练模型 🦜

一旦你构建好了一个配方，训练就非常简单了：

python run_training_pipeline.py <流水线的缩写>

你可以提供以下任意参数，但并非必须（不过对于训练来说，至少应该指定一个 GPU ID）。

--gpu_id <你希望使用的 GPU 编号，可通过 nvidia-smi 查看，默认为 CPU。如果提供了多个 GPU 编号（用逗号分隔），则会启用分布式训练，但必须使用 torchrun 启动脚本。>

--resume_checkpoint <要加载的检查点路径>

--resume （如果存在此选项，将自动加载最新的可用检查点）

--finetune （如果存在此选项，将基于该流水线的数据对提供的检查点进行微调）

--model_save_dir <保存检查点的目录路径>

--wandb （如果存在此选项，日志将同步到你的 Weights & Biases 账户，前提是已在命令行登录）

--wandb_resume_id <要恢复的运行的 ID，如果你正在使用 Weights & Biases（可在运行的 URL 中找到该 ID）>

对于多 GPU 训练，你需要提供多个 GPU 编号（用逗号分隔），并使用 torchrun 启动脚本。同时还需要指定 GPU 的数量，这必须与你提供的 GPU 编号数量一致。请注意：torchrun 与 nohup 不兼容！请改用 tmux，以确保你在退出终端后脚本仍能继续运行。

torchrun --standalone --nproc_per_node=4 --nnodes=1 run_training_pipeline.py <流水线的缩写> --gpu_id "0,1,2,3"

每完成一个 epoch（或按照特定的步数），一些日志会被写入控制台和 Weights & Biases 网站（如果你已登录并设置了相应标志）。如果出现 CUDA 内存不足的错误，你需要在当前流水线的 training_loop 调用参数中降低批次大小。尝试逐步减小批次大小，直到不再出现 CUDA 内存不足的错误为止。

在你指定的保存目录中，将会出现检查点文件和频谱图可视化数据。由于检查点文件较大，系统只会保留最近的五个。训练步数高度依赖于你所使用的数据，以及你是从预训练检查点开始微调还是从零开始训练。数据越少，你应该采取的步数就越少，以避免模型过拟合或崩溃。如果你想提前停止训练，可以直接终止进程，因为所有子进程都是守护进程，主进程结束时它们也会自动退出。如果仍有残留的僵尸进程，可以使用以下命令查找并手动杀死它们：

fuser -v /dev/nvidia*

每当保存一个检查点时，还会生成一个可用于推理的压缩版本，文件名为 _best.py。

---

常见问题解答 🐓

以下是用户提出的一些问题：

• 我如何判断自己的数据是否存在异常值或其他类似问题？——有一个评分器可以检测并移除数据集中损失值异常高的样本，可以查看 run_scorer.py。
• 我的错误信息显示 GPU0，尽管我指定了不同的 GPU —— GPU 选择的工作方式是将指定的 GPU 设置为唯一可见的设备，以避免后端程序意外地在不同 GPU 上运行。因此，在程序内部，该设备会被命名为 GPU0，因为它就是程序唯一能看到的 GPU。实际上，程序是在你指定的 GPU 上运行的。
• read_to_file 会产生奇怪的输出 —— 请检查你是否向该方法传递的是列表还是字符串。由于字符串是可以被迭代的，可能不会抛出错误，但该方法期望的是字符串列表。
• UserWarning: 在 optimizer.step() 之前检测到 lr_scheduler.step() 的调用。 —— 我们使用了一个自定义的学习率调度器，而 PyTorch 错误地认为我们调用了调度器和优化器的顺序不对。请忽略这个警告，它完全没有意义。
• WARNING[XFORMERS]: xFormers 无法加载 C++/CUDA 扩展。[...] —— 这又是一个无意义的警告。我们实际上并没有使用 xFormers，它只是我们某个依赖项的依赖之一，但在任何地方都没有被使用。
• torchaudio 后端已切换到 'soundfile'。请注意，'sox_io' 在 Windows 上不受支持。[...] —— 这只会在 Windows 系统下出现，并不会对系统产生任何影响。
• WARNING:phonemizer:200.0% 的行存在词数不匹配（2/1）[...] —— 我们不清楚 espeak 为何会发出这个警告，不过它似乎并不会影响任何功能，因此可以安全地忽略。
• 损失变为 NaN —— 默认的学习率适用于干净的数据。如果你的数据不够干净，可以尝试使用评分器来查找有问题的样本，或者降低学习率。最常见的问题是语音中存在停顿，但文本中却没有相应的提示。这就是为什么通常会省略标点符号的 ASR 语料库很难用于 TTS 的原因。

---

致谢 🦆

FastSpeech 2 和 GST 的基础 PyTorch 模块来自 ESPnet，HiFi-GAN 的 PyTorch 模块则来自 ParallelWaveGAN 仓库。与 MatchaTTS 中描述的基于 Conditional Flow Matching 的 PostNet 相关的一些模块取自 MatchaTTS 官方代码库，另一些则来自 StableTTS 代码库。对于字素到音素的转换，我们依赖于前面提到的 eSpeak-NG 以及 transphone。我们使用 encodec，一种神经音频编解码器，作为训练数据缓存的中间表示形式，以节省存储空间。

引用 🐧

工具包介绍 [相关代码和模型]

@inproceedings{lux2021toucan,
  year         = 2021,
  title        = {{The IMS Toucan system for the Blizzard Challenge 2021}},
  author       = {Florian Lux and Julia Koch and Antje Schweitzer and Ngoc Thang Vu},
  booktitle    = {Blizzard Challenge Workshop},
  publisher    = {ISCA Speech Synthesis SIG}
}

添加发音特征和元学习预训练 [相关代码和模型]

@inproceedings{lux2022laml,
  year         = 2022,
  title        = {{Language-Agnostic Meta-Learning for Low-Resource Text-to-Speech with Articulatory Features}},
  author       = {Florian Lux and Ngoc Thang Vu},
  booktitle    = {ACL}
}

添加精确的韵律克隆能力 [相关代码和模型]

@inproceedings{lux2022cloning,
  year         = 2022,
  title        = {{Exact Prosody Cloning in Zero-Shot Multispeaker Text-to-Speech}},
  author       = {Lux, Florian and Koch, Julia and Vu, Ngoc Thang},
  booktitle    = {SLT},
  publisher    = {IEEE}
}

添加语言嵌入和词边界 [相关代码和模型]

@inproceedings{lux2022lrms,
  year         = 2022,
  title        = {{Low-Resource Multilingual and Zero-Shot Multispeaker TTS}},
  author       = {Florian Lux and Julia Koch and Ngoc Thang Vu},
  booktitle    = {AACL}
}

添加可控制的说话人嵌入生成 [相关代码和模型]

@inproceedings{lux2023controllable,
  year         = 2023,
  title        = {{Low-Resource Multilingual and Zero-Shot Multispeaker TTS}},
  author       = {Florian Lux and Pascal Tilli and Sarina Meyer and Ngoc Thang Vu},
  booktitle    = {Interspeech},
  publisher    = {ISCA}
}

我们对 2023 年 Blizzard Challenge 的贡献 [相关代码和模型]

@inproceedings{lux2023blizzard,
  year         = 2023,
  title        = {{The IMS Toucan System for the Blizzard Challenge 2023}},
  author       = {Florian Lux and Julia Koch and Sarina Meyer and Thomas Bott and Nadja Schauffler and Pavel Denisov and Antje Schweitzer and Ngoc Thang Vu},
  booktitle    = {Blizzard Challenge Workshop},
  publisher    = {ISCA Speech Synthesis SIG}
}

推出首个支持 7000 多种语言的 TTS 系统 [相关代码和模型]

@inproceedings{lux2024massive,
  year         = 2024,
  title        = {{Meta Learning Text-to-Speech Synthesis in over 7000 Languages}},
  author       = {Florian Lux and Sarina Meyer and Lyonel Behringer and Frank Zalkow and Phat Do and Matt Coler and Emanuël A. P. Habets and Ngoc Thang Vu},
  booktitle    = {Interspeech},
  publisher    = {ISCA}
}

将基于文本的上下文提示引入 NAR TTS [相关代码和模型]

@inproceedings{bott2024prompting,
  year         = 2024,
  title        = {{利用自然语言提示控制文本到语音中的情感}},
  author       = {托马斯·博特、弗洛里安·卢克斯、武玉堂},
  booktitle    = {Interspeech},
  publisher    = {ISCA}
}

探究随机韵律建模 [相关代码和模型]

@inproceedings{mayer2025stochastic,
  year         = 2025,
  title        = {{探究语音合成中用于韵律建模的随机方法}},
  author       = {保罗·迈耶、弗洛里安·卢克斯、亚历杭德罗·佩雷斯-冈萨雷斯-德-马尔托斯、安吉丽娜·埃利扎罗娃、林赛·范德林、迪尔克·瓦特、武玉堂},
  booktitle    = {Interspeech},
  publisher    = {ISCA}
}

IMS-Toucan 快速上手指南

IMS-Toucan 是由德国斯图加特大学自然语言处理研究所（IMS）开发的先进文本转语音（TTS）工具包。它支持超过 7000 种语言，具有速度快、可控性强且对计算资源要求相对较低的特点。

环境准备

系统要求

• 操作系统：推荐 Linux（Windows 和 macOS 也可用，但配置稍复杂）。
• Python 版本：推荐 Python 3.10。
• 硬件要求：
  • 训练：必须至少拥有一块支持 CUDA 的 GPU。
  • 推理：无需 GPU，CPU 即可运行。

前置依赖 (Linux)

在大多数 Linux 发行版中，以下包已预装。若未安装，请使用 apt-get 安装：

sudo apt-get update
sudo apt-get install libsndfile1 espeak-ng ffmpeg libasound-dev libportaudio2 libsqlite3-dev

注意：espeak-ng 是可选但强烈推荐的依赖，用于处理多种语言的特殊发音情况。Windows 和 macOS 用户需参考官方文档单独安装并配置环境变量 PHONEMIZER_ESPEAK_LIBRARY。

安装步骤

1. 克隆仓库 将项目克隆到本地机器：

   git clone https://github.com/DigitalPhonetics/IMS-Toucan.git
   cd IMS-Toucan
   

2. 创建虚拟环境 推荐使用 Python 虚拟环境以避免依赖冲突：

   python -m venv toucan_env
   source toucan_env/bin/activate
   

   (Windows 用户激活命令为：toucan_env\Scripts\activate)

3. 安装依赖 安装项目所需的核心库：

   pip install --no-cache-dir -r requirements.txt
   

   提示：国内用户若下载缓慢，可添加清华或阿里镜像源加速： pip install --no-cache-dir -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

4. GPU 支持 (仅限 Windows) Linux 用户通常无需额外操作即可使用 GPU。Windows 用户若需启用 GPU 加速，请前往 PyTorch 官网 获取对应的安装命令重新安装 torch。

5. 存储配置 (可选) 若需更改模型和缓存文件的默认存储路径，可编辑 Utility/storage_config.py 文件进行自定义设置。

基本使用

IMS-Toucan 会自动从 Hugging Face 下载预训练模型（首次运行时可能需要一点时间）。

1. 交互式推理示例

创建一个 Python 脚本（例如 demo.py），使用内置接口进行语音合成：

from InferenceInterfaces.ToucanTTSInterface import ToucanTTSInterface

# 初始化接口，自动加载默认预训练模型
tts = ToucanTTSInterface()

# 设置语言 (ISO 639-3 代码，例如 'eng' 代表英语，'cmn' 代表普通话)
# 可用语言列表见：Utility/language_list.md
tts.set_language("eng") 

# 方法一：生成音频文件
# 输入文本列表和输出文件名
tts.read_to_file(["Hello, this is a test of IMS Toucan."], "output.wav")

# 方法二：直接朗读并播放 (可选参数 view=True 可显示波形图)
# tts.read_aloud("Hello, welcome to the future of speech synthesis.", view=False)

运行脚本：

python demo.py

2. 运行官方交互演示

项目提供了现成的演示脚本，可直接体验功能：

python run_interactive_demo.py

在该脚本中，你可以动态调整语速、音高变化率和能量变化率等参数。

3. 将文本保存为文件

若只需批量将文本转换为音频文件：

python run_text_to_file_reader.py

提示：预训练模型支持的语言非常广泛，具体语言代码请查阅项目仓库中的 Utility/language_list.md 文件。