NATSpeech：一种非自回归文语转换框架

本仓库包含以下项目的官方 PyTorch 实现：

• PortaSpeech：便携且高质量的生成式文语转换（NeurIPS 2021）
  演示页面 | HuggingFace 🤗 演示
• DiffSinger：基于浅层扩散机制的歌声合成（DiffSpeech）（AAAI 2022）
  演示页面 | 项目页面 | HuggingFace 🤗 演示

核心特性

我们在该框架中实现了以下功能：

• 使用 Montreal Forced Aligner 进行非自回归文语转换的数据处理。
• 方便且可扩展的训练与推理框架。
• 简单但高效的随机访问数据集实现。

安装依赖

## 我们在 Linux/Ubuntu 18.04 上进行了测试。  
## 请先安装 Python 3.6 及以上版本（推荐使用 Anaconda）。

export PYTHONPATH=.
# 建立虚拟环境（推荐）。
python -m venv venv
source venv/bin/activate
# 安装所需依赖。
pip install -U pip
pip install Cython numpy==1.19.1
pip install torch==1.9.0 # 推荐使用 torch >= 1.9.0
pip install -r requirements.txt
sudo apt install -y sox libsox-fmt-mp3
bash mfa_usr/install_mfa.sh # 安装强制对齐工具

文档

• 关于框架
• 运行 PortaSpeech
• 运行 DiffSpeech

引用

如果您觉得本项目对您的研究有所帮助，请引用以下论文：

• PortaSpeech

@article{ren2021portaspeech,
  title={PortaSpeech: Portable and High-Quality Generative Text-to-Speech},
  author={Ren, Yi and Liu, Jinglin and Zhao, Zhou},
  journal={Advances in Neural Information Processing Systems},
  volume={34},
  year={2021}
}

• DiffSpeech

@article{liu2021diffsinger,
  title={Diffsinger: Singing voice synthesis via shallow diffusion mechanism},
  author={Liu, Jinglin and Li, Chengxi and Ren, Yi and Chen, Feiyang and Liu, Peng and Zhao, Zhou},
  journal={arXiv preprint arXiv:2105.02446},
  volume={2},
  year={2021}
 }

致谢

我们的代码受到以下项目的启发：

• PyTorch Lightning
• ParallelWaveGAN
• Hifi-GAN
• espnet
• Glow-TTS
• DiffSpeech

许可与协议

任何组织或个人均不得在未经当事人同意的情况下，利用本文中提及的技术生成其语音，包括但不限于政府领导人、政治人物及名人。若违反此规定，可能构成侵犯著作权的行为。

NATSpeech 快速上手指南

NATSpeech 是一个非自回归（Non-Autoregressive）文本转语音（TTS）框架，支持 PortaSpeech（高质量通用 TTS）和 DiffSinger（歌声合成）等先进模型。本指南将帮助您快速在 Linux 环境下完成部署并运行基础示例。

1. 环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：推荐 Linux / Ubuntu 18.04 及以上版本。
• Python 版本：Python 3.6+（推荐使用 Anaconda 管理环境）。
• 硬件依赖：建议配备 NVIDIA GPU 以加速训练和推理（CPU 仅可用于测试，速度较慢）。
• 系统工具：需要安装 sox 音频处理工具。

2. 安装步骤

请依次执行以下命令来配置虚拟环境、安装依赖及对齐工具。

2.1 创建并激活虚拟环境

# 设置环境变量
export PYTHONPATH=.

# 创建虚拟环境（推荐）
python -m venv venv
source venv/bin/activate

# 升级 pip
pip install -U pip

2.2 安装核心依赖

为了保证兼容性，建议按顺序安装特定版本的底层库，再安装其他需求。

提示：国内用户可使用清华源或阿里源加速下载（例如添加 -i https://pypi.tuna.tsinghua.edu.cn/simple）。

# 安装基础构建工具
pip install Cython numpy==1.19.1

# 安装 PyTorch (版本需 >= 1.9.0)
pip install torch==1.9.0

# 安装项目其余依赖
pip install -r requirements.txt

2.3 安装系统级音频工具与对齐器

# 安装 sox 及其 mp3 支持库 (Ubuntu/Debian)
sudo apt install -y sox libsox-fmt-mp3

# 安装 Montreal Forced Aligner (MFA) 强制对齐工具
bash mfa_usr/install_mfa.sh

3. 基本使用

安装完成后，您可以参考官方文档运行具体的模型。以下是基于 PortaSpeech 的最简使用流程概念。

3.1 数据预处理

NATSpeech 使用 MFA 进行音素对齐。您需要准备包含音频文件和对应文本标注的数据集，并运行预处理脚本（具体参数请参考 docs/portaspeech.md）：

# 示例：运行数据预处理脚本 (需根据实际数据集路径修改参数)
python scripts/preprocess.py --config configs/portaspeech.yaml --data-dir ./your_dataset

3.2 模型训练

使用配置文件启动训练。框架支持多卡训练，默认使用 PyTorch Lightning 后端。

# 示例：启动 PortaSpeech 训练
python tasks/tts/fs_train.py --config configs/portaspeech.yaml

3.3 语音合成（推理）

训练完成后（或直接加载预训练模型），使用以下命令进行推理生成音频：

# 示例：运行推理脚本
python tasks/tts/fs_infer.py --config configs/portaspeech.yaml --input "你好，这是 NATSpeech 生成的语音。" --output ./results

注意：

• 详细的配置文件说明、超参数调整及 DiffSinger 歌声合成的具体用法，请参阅项目根目录下的 docs/ 文件夹。
• 法律免责声明：严禁未经授权使用本技术生成任何自然人（包括政府领导人、政治人物及名人）的语音，违者可能触犯版权法。