DiffSinger：基于浅层扩散机制的歌声合成

本仓库是我们AAAI-2022 论文 的官方 PyTorch 实现，在该论文中我们提出了 DiffSinger（用于歌声合成）和 DiffSpeech（用于文本到语音合成）。

:tada: :tada: :tada: 更新：

• 2022年9月11日：:electric_plug: DiffSinger-PN。添加了我们实验室在 ICLR 2022 上提出的插件 PNDM，以免费加速 DiffSinger。
• 2022年7月27日：更新了 SVS 的文档。新增了简易推理方式 A 和 B；并在 HuggingFace🤗 SVS 上提供了交互式 SVS 运行环境。
• 2022年3月2日：MIDI-B版本。
• 2022年3月1日：用于美化歌声的 NeuralSVB 已发布。
• 2022年2月13日：改进后的代码框架 NATSpeech，其中包含了 DiffSpeech 以及我们在 NeurIPS-2021 上的工作 PortaSpeech 的实现，已发布。
• 2022年1月29日：支持 MIDI-A 版本的 SVS。
• 2022年1月13日：支持 SVS，并发布了 PopCS 数据集。
• 2021年12月19日：支持 TTS。HuggingFace🤗 TTS

:rocket: 新闻：

• 2022年2月24日：我们的新工作 NeuralSVB 被 ACL-2022 接受 。演示页面。
• 2021年12月1日：DiffSinger 被 AAAI-2022 接受。
• 2021年9月29日：我们最近的工作 PortaSpeech：便携式高质量生成式文本到语音合成 被 NeurIPS-2021 接受 。
• 2021年5月6日：我们向 Arxiv 提交了 DiffSinger 。

环境配置

1. 如果您想使用 Anaconda 环境：

   conda create -n your_env_name python=3.8
   source activate your_env_name 
   pip install -r requirements_2080.txt   (GPU 2080Ti, CUDA 10.2)
   或者 pip install -r requirements_3090.txt   (GPU 3090，CUDA 11.4)
   

2. 或者，如果您想使用 Python 的虚拟环境：

   ## 首先安装 Python 3.8。 
   python -m venv venv
   source venv/bin/activate
   # 安装依赖。
   pip install -U pip
   pip install Cython numpy==1.19.1
   pip install torch==1.9.0
   pip install -r requirements.txt
   

文档

• 运行 DiffSpeech（TTS 版本）。
• 运行 DiffSinger（SVS 版本）。

概览

音频处理流程	数据集	音高输入	F0 预测	加速方法	声码器
DiffSpeech（文本->F0，文本+F0->Mel，Mel->Wav）	Ljspeech	无	显式	简单扩散	HiFiGAN
DiffSinger（歌词+F0->Mel，Mel->Wav）	PopCS	真实 F0	无	简单扩散	NSF-HiFiGAN
DiffSinger（歌词+MIDI->F0，歌词+F0->Mel，Mel->Wav）	OpenCpop	MIDI	显式	简单扩散	NSF-HiFiGAN
FFT-Singer（歌词+MIDI->F0，歌词+F0->Mel，Mel->Wav）	OpenCpop	MIDI	显式	无效	NSF-HiFiGAN
DiffSinger（歌词+MIDI->Mel，Mel->Wav）	OpenCpop	MIDI	隐式	无	音高提取器 + NSF-HiFiGAN
DiffSinger+PNDM（歌词+MIDI->Mel，Mel->Wav）	OpenCpop	MIDI	隐式	PLMS	音高提取器 + NSF-HiFiGAN
DiffSpeech+PNDM（文本->Mel，Mel->Wav）	Ljspeech	无	隐式	PLMS	HiFiGAN

TensorBoard

tensorboard --logdir_spec exp_name

引用

@article{liu2021diffsinger,
  title={Diffsinger：基于浅层扩散机制的歌声合成},
  author={刘景林、李成熙、任毅、陈飞扬、刘鹏、赵周},
  journal={arXiv 预印本 arXiv:2105.02446},
  volume={2},
  year={2021}}

致谢

• lucidrains 的 denoising-diffusion-pytorch
• 官方 PyTorch Lightning
• kan-bayashi 的 ParallelWaveGAN
• jik876 的 HifiGAN
• 官方 espnet
• lmnt-com 的 DiffWave
• keonlee9420 的 实现。

特别感谢：

• Team Openvpi 的维护：DiffSinger。
• 您的重新创建与分享。

DiffSinger 快速上手指南

DiffSinger 是一个基于浅层扩散机制（Shallow Diffusion Mechanism）的歌声合成（SVS）和语音合成（TTS）开源项目。本指南将帮助你快速搭建环境并运行基础功能。

1. 环境准备

在开始之前，请确保你的系统满足以下要求：

• 操作系统: Linux (推荐) 或 Windows (需配置相应 CUDA 环境)
• Python 版本: 3.8
• GPU: NVIDIA 显卡 (支持 CUDA)，推荐 RTX 2080Ti 或 RTX 3090 及以上
• CUDA 版本:
  • RTX 2080Ti 推荐 CUDA 10.2
  • RTX 3090 推荐 CUDA 11.4

前置依赖:

• Anaconda (推荐) 或原生 Python 虚拟环境
• Git

2. 安装步骤

你可以选择使用 Conda 或 Python 虚拟环境进行安装。

方案 A：使用 Conda (推荐)

# 创建名为 diffsinger 的虚拟环境
conda create -n diffsinger python=3.8
source activate diffsinger 

# 根据显卡型号安装依赖
# 如果是 RTX 2080Ti (CUDA 10.2)
pip install -r requirements_2080.txt

# 如果是 RTX 3090 (CUDA 11.4)
pip install -r requirements_3090.txt

国内加速提示: 如果下载速度慢，建议在 pip 命令后添加清华源： pip install -r requirements_xxx.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

方案 B：使用 Python 虚拟环境

# 确保已安装 Python 3.8
python -m venv venv
source venv/bin/activate  # Windows 用户请使用: venv\Scripts\activate

# 升级 pip 并安装基础包
pip install -U pip
pip install Cython numpy==1.19.1
pip install torch==1.9.0

# 安装项目依赖
pip install -r requirements.txt

3. 基本使用

DiffSinger 主要包含两个核心任务：TTS (语音合成) 和 SVS (歌声合成)。以下是基于官方文档的最简启动流程。

3.1 训练与推理概览

项目提供了针对不同数据集（如 Ljspeech, PopCS, OpenCpop）的预设配置文件。通常流程分为：数据预处理 -> 训练模型 -> 推理合成。

场景一：运行 TTS (语音合成)

参考文档：Run DiffSpeech

1. 准备数据: 下载 LJSpeech 数据集并按目录结构放置。
2. 预处理:

   python tasks/tts/fs.py --config configs/tts/ljspeech/base.yaml
   

3. 训练:

   python tasks/tts/train.py --config configs/tts/ljspeech/base.yaml --exp_name my_tts_exp
   

4. 推理:

   python tasks/tts/infer.py --config configs/tts/ljspeech/base.yaml --exp_name my_tts_exp --input "你好，这是测试文本"
   

场景二：运行 SVS (歌声合成)

参考文档：Run DiffSinger

目前支持多种模式，最常用的是基于 MIDI 的端到端合成（OpenCpop 数据集）。

1. 准备数据: 下载 OpenCpop 数据集。
2. 预处理:

   python tasks/svs/fs.py --config configs/svs/opencpop/base.yaml
   

3. 训练:

   python tasks/svs/train.py --config configs/svs/opencpop/base.yaml --exp_name my_svs_exp
   

4. 推理: 你需要准备一个包含歌词和音符信息的 `.ds" 或 MIDI 文件。

   python tasks/svs/infer.py --config configs/svs/opencpop/base.yaml --exp_name my_svs_exp --input tests/test_case.mid
   

3.2 监控训练过程

使用 TensorBoard 实时查看损失曲线和生成样本：

tensorboard --logdir_spec exp_name

注：将 exp_name 替换为你实际训练时指定的实验名称。

3.3 在线体验

如果你暂时不想本地部署，可以尝试 Hugging Face 上的演示空间：

• TTS 演示: NATSpeech/DiffSpeech
• SVS 演示: Silentlin/DiffSinger