• 端到端前馈式TTS学习。
• 字符对齐是通过一个单独的对齐模块完成的。
• 对齐模块预测每个字符的长度。 - 根据前面所有字符的总长度确定当前字符的中心位置。 - 根据实际音频长度，用高斯窗口插值计算字符的位置。
  • 音频输出是在mu-law域中计算的。（对此我没有明确的理由）
  • 训练时仅使用2秒的音频窗口。
  • 使用GAN-TTS生成器来产生音频信号。
  • RWD被用作音频级别的判别器。
  • MelD：他们使用BigGAN-deep架构作为频谱级别的判别器，将问题视为图像重建。
  • 频谱损失
    • 仅靠对抗性反馈不足以学习字符对齐。因此，他们使用预测频谱与真实频谱之间的频谱损失。
    • 需要注意的是，模型预测的是音频信号，上述频谱是从生成的音频中计算出来的。
    • 使用动态时间规整来计算生成频谱与真实频谱之间的最小代价对齐。
    • 这涉及一种动态规划方法，以找到最小代价的对齐方式。
  • 对齐模块的长度损失用于惩罚对齐模块预测的长度与实际音频长度不符的情况。
  • 他们使用多说话人数据集训练模型，但报告结果时只针对表现最好的说话人。
  • 各组件的重要性排序：（长度损失和频谱损失） > RWD > MelD > 音素 > 多说话人数据集。
  • 我的看法：这是一个前馈模型，可以提供端到端的语音合成，而无需单独训练声码器模型。然而，它是一个非常复杂的模型，有许多超参数和实现细节。此外，最终结果也远未达到最先进水平。我认为我们需要找到专门用于学习字符对齐的算法，这样就可以减少对多种不同算法组合进行调优的需求。

• 使用由MFA生成的音素持续时间作为标签，来训练长度调节器。
• 他们还使用帧级F0和L2谱范数（方差信息）作为附加特征。
• 方差预测模块在推理时会预测这些方差信息。
• 消融实验结果显示改进效果：模型 < 模型 + L2范数 < 模型 + L2范数 + F0

• 使用单调对齐搜索来学习文本与频谱之间的对齐关系。
• 这种对齐关系用于训练持续时间预测器，以便在推理时使用。
• 编码器将每个字符映射到一个高斯分布。
• 解码器使用归一化流（Glow层）将每个频谱帧映射到潜在向量。
• 编码器和解码器的输出通过MAS进行对齐。
• 在每次迭代中，首先通过MAS找到最可能的对齐方式，然后利用该对齐方式更新模型参数。
• 训练一个持续时间预测器，用于预测每个字符对应的频谱帧数。
• 在推理时，不再使用MAS，而是直接使用持续时间预测器。
• 编码器采用了TTS变压器的架构，并进行了两次改进。
• 他们没有使用绝对位置编码，而是使用相对位置编码。
• 编码器的Prenet部分也加入了残差连接。
• 解码器的架构与Glow模型相同。
• 他们同时训练单说话人和多说话人模型。
• 实验表明，与原始Tacotron2相比，Glow-TTS在处理长句子时更加稳健。
• 推理速度比Tacotron2快15倍。
• 我的看法：他们的样本听起来不如Tacotron自然。我认为传统的注意力模型仍然能够生成更自然的语音，因为注意力机制可以直接学习将字符映射到模型输出。不过，对于一些困难的数据集来说，Glow-TTS可能是一个不错的替代方案。
• 样本：https://github.com/jaywalnut310/glow-tts
• 仓库：https://github.com/jaywalnut310/glow-tts

• 一种使用非因果卷积层的Deep Voice 3模型变体。
  • 教师-学生范式，利用来自自回归教师模型的多个注意力块来训练非自回归的学生模型。
  • 教师模型用于生成文本到频谱图的对齐信息，供学生模型使用。
  • 模型采用两种损失函数进行训练：一种用于注意力对齐，另一种用于频谱图生成。
  • 多个注意力块逐层细化注意力对齐。
  • 学生模型使用点积注意力机制，包含查询、键和值向量。查询仅由位置编码向量构成，而键和值则来自编码器的输出。
  • 提出的模型与位置编码紧密相关，且依赖于不同的常数值。

• 该模型采用类似Tacotron的架构，但配备了两个解码器和一个后网络。
• DDC使用两个同步的解码器，分别采用不同的下采样率。
• 由于解码器的下采样率不同，它们以不同的粒度计算输出，并学习输入数据的不同方面。
• 模型利用这两个解码器之间的一致性来提高所学文本到频谱图对齐的鲁棒性。
• 模型还通过多次迭代应用后网络对最终解码器的输出进行精炼。
• DDC在预网络模块中使用批归一化，并去掉了Dropout层。
• DDC采用渐进式训练方法，以缩短总训练时间。
• 我们使用多频段MelGAN生成器作为声码器，并采用多个随机窗口判别器进行训练，这与原始工作有所不同。
• 我们仅用一台GPU在两天内就完成了DDC模型的训练，最终模型能够在CPU上以超实时速度生成语音。 演示页面：https://erogol.github.io/ddc-samples/ 代码：https://github.com/mozilla/TTS

• 不需要外部持续时间信息。
• 通过Soft-DTW损失解决真实频谱图与地面真值频谱图之间的对齐问题。
• 预测的持续时间通过一个学习得到的转换函数而非长度调节器转化为对齐关系，以解决四舍五入问题。
• 模型基于从预测持续时间计算出的“标记边界网格”学习注意力图。
• 解码器由6个“轻量级卷积”块组成。
• 使用VAE将输入频谱图投影到潜在特征，并与字符嵌入合并作为网络的输入。
• Soft-DTW计算量较大，因为它需要计算所有频谱帧之间的两两差异。为降低开销，他们限制在一个特定的对角线窗口内进行计算。
• 最终的优化目标是持续时间损失、VAE损失和频谱图损失的总和。
• 他们仅使用专有数据集进行实验 😦。
• 在MOS评分上与Tacotron2模型持平，并优于ParallelTacotron。
• 演示页面：https://google.github.io/tacotron/publications/parallel_tacotron_2/index.html
• 代码：目前尚无公开代码

• 它直接从音素序列计算原始波形。
• 使用类似Tacotron2的编码器模型从音素中计算隐藏表示。
• 类似无注意力Tacotron的软持续时间预测器，用于将隐藏表示与输出对齐。
• 他们根据预测的持续时间扩展隐藏表示，并采样一定窗口将其转换为波形。
• 他们探索了不同窗口大小，范围从64到256帧，对应0.8至3.2秒的语音。结果表明，窗口越大效果越好。
• 演示页面：暂无
• 代码：暂无

• 仅使用一小时的配对数据（文本到语音对齐）以及更多的非配对数据（仅有语音）来训练多说话人TTS模型。
• 模型学习一个代码本，每个代码词对应一个音素。
• 通过配对数据和CTC算法将代码本与音素对齐。
• 这个代码本充当代理，隐式估计非配对数据中的音素序列。
• 他们在前面部分的基础上叠加Tacotron2模型，利用代码词嵌入执行TTS。
• 在仅有一小时配对数据的情况下，他们的表现超过了基准方法。
• 他们没有报告完整配对数据下的结果。
• 缺乏充分的消融实验，无法清晰了解模型各部分对性能的贡献。
• 他们使用Griffin-Lim作为声码器，因此仍有改进空间。

演示页面：https://ttaoretw.github.io/multispkr-semi-tts/demo.html
代码：https://github.com/ttaoREtw/semi-tts

• 使用两个编码器来学习说话人相关的特征。
• 粗粒度编码器根据提供的参考声谱图学习全局说话人嵌入向量。
• 细粒度编码器与注意力模块协同工作，学习保留时间维度的可变长度嵌入。
• 注意力机制会选择重要的参考声谱帧来合成目标语音。
• 首先使用单说话人数据集对模型进行预训练（LJSpeech，3万次迭代）。
• 然后使用多说话人数据集对模型进行微调。（VCTK，7万次迭代）。
• 与使用说话人分类模型中的x-vector以及基于VAE的参考音频编码器相比，该方法在指标上略胜一筹。

演示页面：https://hyperconnect.github.io/Attentron/

• 一种用于多语言序列到序列文本到语音合成的框架。
• 该模型是在一个非常庞大且高度不平衡的数据集上训练的。
• 在初始训练之后，该模型仅需6分钟的新语言数据和20秒的新说话人数据即可学会新的语言或说话人。
• 模型架构是一个基于Transformer的编码器-解码器网络，包含说话人网络和语言网络，用于说话人和语言条件的调节。这些网络的输出会与编码器的输出拼接在一起。
• 条件网络接收表示说话人或语言ID的独热向量，并将其映射为条件表示。
• 它们使用WaveNet声码器将预测的梅尔频谱图转换为波形输出。
• 他们采用语言依赖的音素输入，不同语言之间不共享音素。
• 他们在每个批次中根据数据集中各语言出现频率的倒数进行采样，从而确保每个训练批次在语言分布上是均匀的，以缓解训练数据集中语言不平衡的问题。
• 对于新说话人或新语言的学习，他们只对编码器-解码器模型及其条件网络进行微调，而不重新训练WaveNet模型。
• 他们使用来自50种语言的1250小时专业录音作为训练数据。
• 所有音频样本均采用16kHz采样率，并裁剪掉每个片段开头和结尾的静音部分。
• 他们使用4块V100显卡进行训练，但并未提及训练持续了多长时间。
• 实验结果表明，在MOS评分方面，单说话人模型的表现优于所提出的方案。
• 此外，对于数据集中资源较少的语言来说，使用条件网络非常重要，因为它们可以提升这些语言的MOS评分，但却会降低高资源语言的表现。
• 当添加新说话人时，他们发现使用超过5分钟的录音反而会降低模型性能。他们认为，由于这些录音的质量不如原始录音，因此使用更多这样的数据会影响模型的整体表现。
• 多语言模型只需6分钟的新数据即可训练出新的说话人或语言，而单说话人模型则需要3个小时的训练，且即使如此也无法达到与6分钟多语言模型相同的MOS值。

• 他们提出了一种能够适应用户不同输入声学特性的系统，并且仅使用最少数量的参数即可实现这一功能。
• 主要架构基于FastSpeech2模型，该模型利用音高和方差预测器来学习输入语音的更细微特征。
• 他们额外使用了3个条件网络。
• 句子级网络：以参考语音的梅尔频谱图为输入。
• 音素级网络：以音素级别的梅尔频谱图为输入，计算音素级别的条件向量。音素级别的梅尔频谱图是通过取每个音素持续时间内平均的频谱帧来计算的。
• 音素级2：以音素编码器的输出为输入。这与上述网络的不同之处在于，它仅使用音素信息，而不查看频谱图。
• 所有这些条件网络以及基础的FastSpeech2模型都使用层归一化层。
• 条件层归一化：他们提出，当模型针对新说话人进行微调时，只需微调每一层归一化的尺度和偏置参数。他们为每个层归一化层训练了一个说话人条件模块，该模块会输出尺度和偏置值。（他们为每个Transformer块使用一个说话人条件模块。）
• 这意味着，对于每个新说话人，你只需要存储对应的说话人条件模块，并在推理时预测尺度和偏置值，而模型的其余部分保持不变。
• 在实验中，他们首先在LibriTTS数据集上对模型进行预训练，然后用VCTK和LJSpeech数据集对其进行微调。
• 结果显示，使用条件层归一化的方法优于他们的两个基线方法，即仅使用说话人嵌入和微调解码器网络的方法。
• 消融实验表明，模型中最重要的部分依次是“音素级”网络、条件层归一化以及“句子级”网络。
• 该论文的一个重要缺点是几乎没有与现有文献的比较，这使得结果难以客观评估。

演示页面：https://speechresearch.github.io/adaspeech/

• 它基于概率扩散和朗之万动力学
• 核心思想是逐步学习一个函数，将已知分布映射到目标数据分布。
• 他们报告在GPU上实现了0.2倍实时速度，但未提及CPU性能。
• 在下面的示例代码中，作者报告该模型在单个GPU上训练两天后即可收敛。
• 论文中的MOS评分不够全面，但显示出与WaveRNN和WaveNet等知名模型相当的性能。

代码：https://github.com/ivanvovk/WaveGrad