序列到序列的G2P工具包

该工具使用来自tensor2tensor工具包 [1] 的Transformer模型进行字素到音素（G2P）转换。在序列建模和转导问题中，许多方法都使用循环神经网络。然而，Transformer模型架构摒弃了递归，完全依赖于注意力机制来捕捉输入和输出之间的全局依赖关系 [2]。

此实现基于Python的TensorFlow，可以在CPU和GPU上高效地进行训练。

安装

该工具需要TensorFlow至少版本1.8.0以及Tensor2Tensor版本1.6.6或更高。请参阅TensorFlow安装指南以获取详细的安装信息，并参考Tensor2Tensor安装指南了解Tensor2Tensor的安装详情。

g2p-seq2seq软件包本身使用setuptools，因此您可以按照标准的安装流程进行：

sudo python setup.py install

您还可以运行测试：

python setup.py test

可执行脚本g2p-seq2seq默认安装在/usr/local/bin目录下（如有需要，可通过setup.py选项进行调整）。您需要确保该目录已包含在您的PATH环境变量中，以便可以从命令行运行此脚本。

运行G2P

一个预训练的3层Transformer模型，具有256个隐藏单元，可在cmusphinx网站下载。下载后解压模型。该模型是在CMU英语词典上训练的。

wget -O g2p-seq2seq-cmudict.tar.gz https://sourceforge.net/projects/cmusphinx/files/G2P%20Models/g2p-seq2seq-model-6.2-cmudict-nostress.tar.gz/download
tar xf g2p-seq2seq-cmudict.tar.gz

检查工具工作方式的最简单方法是进入交互模式并输入单词：

$ g2p-seq2seq --interactive --model_dir model_folder_path
...
> hello
...
发音：[HH EH L OW]
...
>

要使用训练好的模型为英文单词列表生成发音，请运行：

  g2p-seq2seq --decode your_wordlist --model_dir model_folder_path [--output decode_output_file_path]

单词列表是一个每行一个单词的文本文件。

如果您希望列出前N个解码变体，可以设置return_beams标志并指定束宽：

  g2p-seq2seq --decode your_wordlist --model_dir model_folder_path --return_beams --beam_size number_returned_beams [--output decode_output_file_path]

要评估训练模型的词错误率，请运行：

  g2p-seq2seq --evaluate your_test_dictionary --model_dir model_folder_path

测试词典应为标准格式的词典：

hello HH EH L OW
bye B AY

您也可以计算考虑所有前N个最佳解码结果的词错误率。在这种情况下，只有当所有解码的发音都不匹配单词的真实发音时，才将该单词的解码视为错误。

训练G2P系统

要训练G2P，您需要一个词典（每行一个单词及其对应的音素序列）。请参阅示例词典。

  g2p-seq2seq --train train_dictionary.dic --model_dir model_folder_path

您可以设置最大训练步数：

  "--max_epochs" - 最大训练轮数（默认：0）。
     如果为0，则训练直到不再有改进为止

建议尝试以下参数：

  "--size" - 每层模型的大小（默认：256）。

  "--num_layers" - 模型的层数（默认：3）。

  "--filter_size" - 卷积层中滤波器层的大小（默认：512）

  "--num_heads" - 多头注意力机制中应用的头数（默认：4）

您可以手动指定开发集和测试集：

  "--valid" - 开发词典（默认：由train_dictionary.dic创建）
  "--test" - 测试词典（默认：由train_dictionary.dic创建）

否则，程序会自行将您提供的数据集在训练模式下进行分割。在训练数据所在的目录中，您将找到三个带有以下扩展名的数据文件：“.train”、“.dev”和“.test”。

如果您拥有带重音的原始词典（例如CMU英语词典），则可以在启动训练模式时设置以下参数：

  "--cleanup" - 设置为True以清除词典中的重音和注释。

如果需要继续训练已保存的模型，只需指定现有模型的目录即可：

  g2p-seq2seq --train train_dictionary.dic --model_dir model_folder_path

如果您想从头开始训练：

  "--reinit" - 在model_folder_path中重新初始化模型

此外，在解决逆向问题时：

  "--p2g" - 以音素到字素转换模式运行程序。

长短单词之间的发音差异可能很大。因此，序列到序列模型采用分桶技术来处理此类问题。另一方面，如果将初始数据分成过多的桶，可能会导致最终效果变差，因为每个桶中的样本数量可能不足。为了获得更好的结果，您可以调整以下三个控制桶的数量和大小的参数：

  "--min_length_bucket" - 最小桶的长度（默认：6）
  "--max_length" - 单词的最大长度或发音中音素的最大数量（默认：30）
  "--length_bucket_step" - 控制数据中长度桶数量的倍数因子。桶的最大长度从min_bucket_length到max_length，按length_bucket_step的倍数递增（默认：1.5）

训练完模型后，您可以将其冻结：

  g2p-seq2seq --model_dir model_folder_path --freeze

执行上述命令后，“model_folder_path”目录下会出现“frozen_model.pb”文件。现在，如果您运行任何一种解码模式，程序将加载并使用这个冻结的图。

CMU词典数据集上的词错误率

系统	WER (CMUdict PRONASYL 2007), %	WER (CMUdict最新版*), %
基线WFST（Phonetisaurus）	24.4	33.89
Transformer num_layers=3, size=256	20.6	30.2
* 这些结果针对的是无重音词典。

参考文献

---

[1] 卢卡什·凯泽. “借助 Tensor2Tensor 库加速深度学习研究.” 载于 Google 研究博客, 2017 年.

[2] 阿希什·瓦斯瓦尼, 诺姆·沙泽尔, 尼基·帕尔马尔, 雅各布·乌斯科雷特, 利昂·琼斯, 艾丹·N·戈麦斯, 卢卡什·凯泽, 以及 伊利亚·波洛苏金. “注意力即一切.” arXiv 预印本 arXiv:1706.03762, 2017 年.

g2p-seq2seq 快速上手指南

g2p-seq2seq 是一个基于 Transformer 架构的图素转音素（Grapheme-to-Phoneme, G2P）工具包。它利用注意力机制处理输入输出间的全局依赖，支持在 CPU 和 GPU 上高效训练与推理，适用于英文单词发音生成任务。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux 或 macOS（Windows 需配置相应 Python 环境）
• Python 版本：推荐 Python 3.6+
• 核心依赖：
  • TensorFlow >= 1.8.0
  • Tensor2Tensor >= 1.6.6

注意：由于该工具依赖较旧版本的 TensorFlow (1.x)，建议在使用前创建独立的虚拟环境（如 venv 或 conda）以避免版本冲突。国内用户可通过清华源或阿里源加速安装依赖：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow==1.15.0 tensor2tensor==1.15.7

安装步骤

克隆项目或直接下载源码后，使用 setuptools 进行标准安装：

sudo python setup.py install

安装完成后，可运行测试验证安装是否成功：

python setup.py test

默认情况下，可执行脚本 g2p-seq2seq 会被安装到 /usr/local/bin 目录。请确保该目录已包含在您的环境变量 PATH 中，以便在终端直接调用。

基本使用

1. 下载预训练模型

最便捷的方式是使用官方提供的基于 CMU English Dictionary 训练的 3 层 Transformer 模型（256 隐藏单元）。

wget -O g2p-seq2seq-cmudict.tar.gz https://sourceforge.net/projects/cmusphinx/files/G2P%20Models/g2p-seq2seq-model-6.2-cmudict-nostress.tar.gz/download
tar xf g2p-seq2seq-cmudict.tar.gz

解压后将生成包含模型文件的文件夹（例如 model_folder_path）。

2. 交互式测试

运行交互模式，直接在命令行输入单词即可获取音标：

g2p-seq2seq --interactive --model_dir model_folder_path

示例输出：

...
> hello
...
Pronunciations: [HH EH L OW]
...
>

3. 批量转换

若需对单词列表文件（每行一个单词）进行批量转换，使用 --decode 参数：

g2p-seq2seq --decode your_wordlist --model_dir model_folder_path --output decode_output_file_path

如需获取每个单词的前 N 个最佳发音候选，可添加 --return_beams 和 --beam_size 参数：

g2p-seq2seq --decode your_wordlist --model_dir model_folder_path --return_beams --beam_size 5 --output decode_output_file_path