DiffWave

我们正在招聘！ 如果你喜欢我们在这里构建的东西，欢迎加入 LMNT。

DiffWave 是一款快速、高质量的神经声码器和波形合成器。它从高斯噪声开始，通过迭代优化将其转换为语音。可以通过提供条件信号（例如对数尺度的梅尔谱图）来控制生成的语音。该模型及其架构细节在论文 DiffWave: A Versatile Diffusion Model for Audio Synthesis 中有详细描述。

最新动态 (2021-11-09)

• 无条件波形合成（感谢 Andrechang！）

最新动态 (2021-04-01)

• 基于 DiffWave 论文 v3 版本的快速采样算法

最新动态 (2020-10-14)

• 新训练的预训练模型，训练步数达 100 万步
• 更新了使用新模型生成的音频样本

当前状态 (2021-11-09)

• 快速推理流程
• 稳定的训练
• 高质量的合成效果
• 混合精度训练
• 多 GPU 训练
• 命令行推理工具
• 编程式推理 API
• PyPI 包
• 音频样本
• 预训练模型
• 无条件波形合成

特别感谢 Zhifeng Kong（DiffWave 的第一作者）提供的指导和错误修复。

音频样本

22.05 kHz 音频样本

预训练模型

22.05 kHz 预训练模型（31 MB，SHA256：d415d2117bb0bba3999afabdd67ed11d9e43400af26193a451d112e2560821a8）

该预训练模型能够以 0.87 的实时因子合成语音（数值越小速度越快）。

预训练模型详情

• 在 4 张 1080Ti 显卡上训练
• 使用默认参数
• 单精度浮点数（FP32）
• 训练数据集为 LJSpeech，排除 LJ001* 和 LJ002*
• 训练步数为 1000578 步（1273 个 epoch）

安装

使用 pip 安装：

pip install diffwave

或从 GitHub 克隆：

git clone https://github.com/lmnt-com/diffwave.git
cd diffwave
pip install .

训练

在开始训练之前，你需要准备一个训练数据集。数据集的目录结构可以任意，只要其中包含 16 位单声道 .wav 文件即可（例如 LJSpeech 或 VCTK）。默认情况下，此实现假设采样率为 22.05 kHz。如果需要更改此值，请编辑 params.py。

python -m diffwave.preprocess /path/to/dir/containing/wavs
python -m diffwave /path/to/model/dir /path/to/dir/containing/wavs

# 在另一个终端窗口中监控训练进度：
tensorboard --logdir /path/to/model/dir --bind_all

预计在约 8000 步（在 2080 Ti 上大约 1.5 小时）后，你将听到可理解但带有噪声的语音。

多 GPU 训练

默认情况下，此实现会并行使用 torch.cuda.device_count() 返回的全部可用 GPU。你可以通过设置环境变量 CUDA_DEVICES_AVAILABLE 来指定要使用的 GPU，在运行训练模块之前进行设置。

推理 API

基本用法：

from diffwave.inference import predict as diffwave_predict

model_dir = '/path/to/model/dir'
spectrogram = # 获取 [N,C,W] 格式的频谱图
audio, sample_rate = diffwave_predict(spectrogram, model_dir, fast_sampling=True)

# audio 是一个 [N,T] 格式的 GPU 张量。

推理命令行工具

python -m diffwave.inference --fast /path/to/model /path/to/spectrogram -o output.wav

参考文献

• DiffWave: A Versatile Diffusion Model for Audio Synthesis
• Denoising Diffusion Probabilistic Models
• Denoising Diffusion Probabilistic Models 的代码

DiffWave 快速上手指南

DiffWave 是一个快速、高质量的神经声码器和波形合成器。它基于扩散模型，通过迭代优化将高斯噪声转换为语音，支持由梅尔频谱图等条件信号控制生成过程。

环境准备

• 操作系统: Linux (推荐) 或 macOS
• Python: 3.7+
• 深度学习框架: PyTorch (需支持 CUDA 以启用 GPU 加速)
• 硬件要求:
  • 训练: 建议多张 NVIDIA GPU (如 1080Ti, 2080Ti 等)，支持混合精度训练。
  • 推理: 单张 NVIDIA GPU 即可获得实时因子约为 0.87 的生成速度。
• 依赖库: 安装时会自动处理 torch, torchaudio, tensorboard 等依赖。

注意: 默认采样率为 22.05 kHz。如需修改，请编辑源码中的 params.py 文件。

安装步骤

你可以选择通过 PyPI 直接安装，或从 GitHub 源码安装。国内用户建议使用清华源或阿里源加速下载。

方式一：通过 PyPI 安装（推荐）

pip install diffwave -i https://pypi.tuna.tsinghua.edu.cn/simple

方式二：从 GitHub 源码安装

git clone https://github.com/lmnt-com/diffwave.git
cd diffwave
pip install . -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

1. 模型推理 (Inference)

DiffWave 提供了 Python API 和命令行工具两种方式进行语音合成。你需要准备一个形状为 [N, C, W] 的梅尔频谱图作为输入。

使用 Python API

这是最灵活的调用方式，适合集成到你的项目中。

from diffwave.inference import predict as diffwave_predict

# 指定预训练模型目录
model_dir = '/path/to/model/dir'

# 准备你的频谱图数据 (格式: [N, C, W])
# spectrogram = ... 

# 执行预测，开启 fast_sampling 可显著加速
audio, sample_rate = diffwave_predict(spectrogram, model_dir, fast_sampling=True)

# 输出 audio 为 GPU 上的张量，格式为 [N, T]

使用命令行 (CLI)

如果你已有保存好的频谱图文件，可以直接通过命令行生成音频。

python -m diffwave.inference --fast /path/to/model /path/to/spectrogram -o output.wav

2. 模型训练 (Training)

若需从头训练，请准备包含 16-bit 单声道 .wav 文件的目录（例如 LJSpeech 数据集）。

步骤 1: 数据预处理

python -m diffwave.preprocess /path/to/dir/containing/wavs

步骤 2: 开始训练

python -m diffwave /path/to/model/dir /path/to/dir/containing/wavs

步骤 3: 监控训练进度 在另一个终端窗口运行 TensorBoard：

tensorboard --logdir /path/to/model/dir --bind_all

提示: 在单张 2080 Ti 上，约 1.5 小时（8000 step）后可听到清晰但带有噪声的语音。

多 GPU 训练: 默认情况下，程序会自动使用所有可用的 GPU。若要指定特定显卡，请在运行前设置环境变量：

export CUDA_VISIBLE_DEVICES=0,1
python -m diffwave /path/to/model/dir /path/to/dir/containing/wavs