BigVGAN：基于大规模训练的通用神经声码器

李尚吉、魏平、鲍里斯·金斯堡、布莱恩·卡坦扎罗、尹成浩

[论文] - [代码] - [展示] - [项目页面] - [权重] - [演示]

新闻

• 2024年9月（v2.4）：

  • 我们更新了经过500万步训练的预训练检查点。这是BigVGAN-v2检查点的最终版本。

• 2024年7月（v2.3）：

  • 进行了全面重构和代码改进，以提高可读性。
  • 实现了抗混叠激活（上采样 + 激活 + 下采样）的完全融合CUDA核，并进行了推理速度基准测试。

• 2024年7月（v2.2）： 该仓库现在包含一个使用Gradio的交互式本地演示。

• 2024年7月（v2.1）： BigVGAN现已集成到Hugging Face Hub中，用户可以轻松访问预训练检查点进行推理。我们还在Hugging Face Spaces上提供了一个交互式演示。

• 2024年7月（v2）： 我们发布了BigVGAN-v2及其预训练检查点。以下是主要亮点：

  • 自定义CUDA推理核：我们提供了一个用CUDA编写的融合上采样与激活核，以加速推理速度。测试显示，在单个A100 GPU上，速度提升了1.5至3倍。
  • 改进的判别器和损失函数：BigVGAN-v2使用了多尺度子带CQT判别器和多尺度梅尔谱损失进行训练。
  • 更大的训练数据集：BigVGAN-v2使用包含多种音频类型的大型数据集进行训练，其中包括多语言语音、环境音效和乐器音等。
  • 我们提供了适用于不同音频配置的BigVGAN-v2预训练检查点，支持最高44 kHz采样率和512倍上采样比。

安装

该代码库已在Python 3.10 和 PyTorch 2.3.1 的conda环境中测试通过，使用的CUDA版本为pytorch-cuda=12.1或pytorch-cuda=11.8。以下是一个创建conda环境的示例命令：

conda create -n bigvgan python=3.10 pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia
conda activate bigvgan

克隆仓库并安装依赖项：

git clone https://github.com/NVIDIA/BigVGAN
cd BigVGAN
pip install -r requirements.txt

使用Hugging Face Hub快速进行推理

以下示例展示了如何使用BigVGAN：从Hugging Face Hub加载预训练的BigVGAN生成器，从输入波形计算梅尔频谱图，并将梅尔频谱图作为模型输入生成合成波形。

device = 'cuda'

import torch
import bigvgan
import librosa
from meldataset import get_mel_spectrogram

# 实例化模型。您可以选择设置use_cuda_kernel=True以获得更快的推理速度。
model = bigvgan.BigVGAN.from_pretrained('nvidia/bigvgan_v2_24khz_100band_256x', use_cuda_kernel=False)

# 移除模型中的权重归一化，并将其设置为评估模式
model.remove_weight_norm()
model = model.eval().to(device)

# 加载wav文件并计算梅尔频谱图
wav_path = '/path/to/your/audio.wav'
wav, sr = librosa.load(wav_path, sr=model.h.sampling_rate, mono=True) # wav是形状为[T_time]、值在[-1, 1]之间的np.ndarray
wav = torch.FloatTensor(wav).unsqueeze(0) # wav是形状为[B(1), T_time]的FloatTensor

# 从真实音频中计算梅尔频谱图
mel = get_mel_spectrogram(wav, model.h).to(device) # mel是形状为[B(1), C_mel, T_frame]的FloatTensor

# 从梅尔频谱图生成波形
with torch.inference_mode():
    wav_gen = model(mel) # wav_gen是形状为[B(1), 1, T_time]、值在[-1, 1]之间的FloatTensor
wav_gen_float = wav_gen.squeeze(0).cpu() # wav_gen是形状为[1, T_time]的FloatTensor

# 您可以将生成的波形转换为16位线性PCM
wav_gen_int16 = (wav_gen_float * 32767.0).numpy().astype('int16') # wav_gen现在是形状为[1, T_time]、数据类型为int16的np.ndarray

本地Gradio演示

您可以通过以下命令运行本地Gradio演示：

pip install -r demo/requirements.txt
python demo/app.py

训练

为数据集根目录创建符号链接。代码库使用相对于数据集路径的文件列表。以下是LibriTTS数据集的示例命令：

cd filelists/LibriTTS && \
ln -s /path/to/your/LibriTTS/train-clean-100 train-clean-100 && \
ln -s /path/to/your/LibriTTS/train-clean-360 train-clean-360 && \
ln -s /path/to/your/LibriTTS/train-other-500 train-other-500 && \
ln -s /path/to/your/LibriTTS/dev-clean dev-clean && \
ln -s /path/to/your/LibriTTS/dev-other dev-other && \
ln -s /path/to/your/LibriTTS/test-clean test-clean && \
ln -s /path/to/your/LibriTTS/test-other test-other && \
cd ../..

训练BigVGAN模型。以下是使用LibriTTS数据集在24kHz下训练BigVGAN-v2的示例命令，输入为完整的100频带梅尔频谱图：

python train.py \
--config configs/bigvgan_v2_24khz_100band_256x.json \
--input_wavs_dir filelists/LibriTTS \
--input_training_file filelists/LibriTTS/train-full.txt \
--input_validation_file filelists/LibriTTS/val-full.txt \
--list_input_unseen_wavs_dir filelists/LibriTTS filelists/LibriTTS \
--list_input_unseen_validation_file filelists/LibriTTS/dev-clean.txt filelists/LibriTTS/dev-other.txt \
--checkpoint_path exp/bigvgan_v2_24khz_100band_256x

合成

使用 BigVGAN 模型进行合成。以下是使用该模型生成音频的示例命令。 它会从 --input_wavs_dir 中的 WAV 文件计算梅尔谱，并将生成的音频保存到 --output_dir。

python inference.py \
--checkpoint_file /path/to/your/bigvgan_v2_24khz_100band_256x/bigvgan_generator.pt \
--input_wavs_dir /path/to/your/input_wav \
--output_dir /path/to/your/output_wav

inference_e2e.py 支持直接从以 .npy 格式保存的梅尔谱进行合成，其形状为 [1, channel, frame] 或 [channel, frame]。 它会从 --input_mels_dir 加载梅尔谱，并将生成的音频保存到 --output_dir。

请确保用于生成梅尔谱的 STFT 超参数与模型一致，这些超参数在对应模型的 config.json 文件中定义。

python inference_e2e.py \
--checkpoint_file /path/to/your/bigvgan_v2_24khz_100band_256x/bigvgan_generator.pt \
--input_mels_dir /path/to/your/input_mel \
--output_dir /path/to/your/output_wav

使用自定义 CUDA 内核进行合成

您可以在实例化 BigVGAN 时通过参数 use_cuda_kernel 来应用快速的 CUDA 推理内核：

generator = BigVGAN(h, use_cuda_kernel=True)

您也可以在 inference.py 和 inference_e2e.py 中传递 --use_cuda_kernel 来启用此功能。

首次应用时，它会使用 nvcc 和 ninja 构建内核。如果构建成功，内核会被保存到 alias_free_activation/cuda/build 目录下，模型会自动加载该内核。该代码库已在 CUDA 12.1 上进行了测试。

请确保您的系统中已安装这两者，并且系统中的 nvcc 版本与您 PyTorch 的构建版本一致。

我们建议先运行 test_cuda_vs_torch_model.py 来构建并检查 CUDA 内核的正确性。以下是示例命令及其输出，其中返回了 [Success] test CUDA fused vs. plain torch BigVGAN inference：

python tests/test_cuda_vs_torch_model.py \
--checkpoint_file /path/to/your/bigvgan_generator.pt

loading plain Pytorch BigVGAN
...
loading CUDA kernel BigVGAN with auto-build
Detected CUDA files, patching ldflags
Emitting ninja build file /path/to/your/BigVGAN/alias_free_activation/cuda/build/build.ninja..
Building extension module anti_alias_activation_cuda...
...
Loading extension module anti_alias_activation_cuda...
...
Loading '/path/to/your/bigvgan_generator.pt'
...
[Success] test CUDA fused vs. plain torch BigVGAN inference
 > mean_difference=0.0007238413265440613
...

如果您看到 [Fail] test CUDA fused vs. plain torch BigVGAN inference，则表示 CUDA 内核推理不正确。请检查您系统中安装的 nvcc 是否与您的 PyTorch 版本兼容。

预训练模型

我们在 Hugging Face Collections 上提供了预训练模型：https://huggingface.co/collections/nvidia/bigvgan-66959df3d97fd7d98d97dc9a。 用户可以从列出的模型仓库中下载生成器权重（名为 bigvgan_generator.pt）以及判别器和优化器的状态（名为 bigvgan_discriminator_optimizer.pt）。

模型名称	采样率	梅尔带数	fmax	上采样倍数	参数量	数据集	步数	微调
bigvgan_v2_44khz_128band_512x	44 kHz	128	22050	512	122M	大规模语料库	5M	否
bigvgan_v2_44khz_128band_256x	44 kHz	128	22050	256	112M	大规模语料库	5M	否
bigvgan_v2_24khz_100band_256x	24 kHz	100	12000	256	112M	大规模语料库	5M	否
bigvgan_v2_22khz_80band_256x	22 kHz	80	11025	256	112M	大规模语料库	5M	否
bigvgan_v2_22khz_80band_fmax8k_256x	22 kHz	80	8000	256	112M	大规模语料库	5M	否
bigvgan_24khz_100band	24 kHz	100	12000	256	112M	LibriTTS	5M	否
bigvgan_base_24khz_100band	24 kHz	100	12000	256	14M	LibriTTS	5M	否
bigvgan_22khz_80band	22 kHz	80	8000	256	112M	LibriTTS + VCTK + LJSpeech	5M	否
bigvgan_base_22khz_80band	22 kHz	80	8000	256	14M	LibriTTS + VCTK + LJSpeech	5M	否

论文中的结果基于原始的 24kHz BigVGAN 模型（bigvgan_24khz_100band 和 bigvgan_base_24khz_100band），这些模型是在 LibriTTS 数据集上训练的。 我们还提供了 22kHz 的 BigVGAN 模型，采用带限设置（即 fmax=8000），适用于 TTS 应用。 请注意，这些检查点使用带有对数尺度参数化的 snakebeta 激活函数，这种激活函数具有最佳的整体质量。

您可以通过以下步骤对模型进行微调：

1. 下载检查点（包括生成器权重及其判别器/优化器状态）
2. 使用您的音频数据集继续训练，在启动 train.py 时指定包含检查点的 --checkpoint_path 参数

BigVGAN-v2 训练细节

与原始的 BigVGAN 相比，BigVGAN-v2 的预训练检查点使用了 batch_size=32 和更长的 segment_size=65536，并在 8 张 A100 GPU 上进行训练。

需要注意的是，./configs 中的 BigVGAN-v2 json 配置文件默认使用 batch_size=4，以便在单张 A100 GPU 上进行训练。您可以根据自己的 GPU 资源调整 batch_size 来微调模型。

当使用较小的批量大小从头开始训练 BigVGAN-v2 时，可能会遇到论文中提到的早期发散问题。在这种情况下，我们建议在训练的早期阶段（例如前 20000 步）降低 clip_grad_norm 值（例如设置为 100），然后将其恢复到默认值 500。

BigVGAN-v2 评估结果

以下是基于 LibriTTS dev 数据集得到的 24kHz 模型 (bigvgan_v2_24khz_100band_256x) 的客观评估结果。BigVGAN-v2 在各项指标上均有显著提升。此外，该模型还减少了听感上的伪影，尤其是在非语音音频方面表现更为突出。

模型	数据集	步数	PESQ(↑)	M-STFT(↓)	MCD(↓)	Periodicity(↓)	V/UV F1(↑)
BigVGAN	LibriTTS	1M	4.027	0.7997	0.3745	0.1018	0.9598
BigVGAN	LibriTTS	5M	4.256	0.7409	0.2988	0.0809	0.9698
BigVGAN-v2	Large-scale Compilation	3M	4.359	0.7134	0.3060	0.0621	0.9777
BigVGAN-v2	Large-scale Compilation	5M	4.362	0.7026	0.2903	0.0593	0.9793

速度基准测试

以下是来自 tests/test_cuda_vs_torch_model.py 的 BigVGAN 速度和显存占用基准测试结果，以 bigvgan_v2_24khz_100band_256x 作为参考模型。

GPU	num_mel_frame	use_cuda_kernel	速度 (kHz)	实时因子	显存 (GB)
NVIDIA A100	256	False	1672.1	69.7x	1.3
		True	3916.5	163.2x	1.3
	2048	False	1899.6	79.2x	1.7
		True	5330.1	222.1x	1.7
	16384	False	1973.8	82.2x	5.0
		True	5761.7	240.1x	4.4
NVIDIA GeForce RTX 3080	256	False	841.1	35.0x	1.3
		True	1598.1	66.6x	1.3
	2048	False	929.9	38.7x	1.7
		True	1971.3	82.1x	1.6
	16384	False	943.4	39.3x	5.0
		True	2026.5	84.4x	3.9
NVIDIA GeForce RTX 2080 Ti	256	False	515.6	21.5x	1.3
		True	811.3	33.8x	1.3
	2048	False	576.5	24.0x	1.7
		True	1023.0	42.6x	1.5
	16384	False	589.4	24.6x	5.0
		True	1068.1	44.5x	3.2

致谢

我们感谢 Vijay Anand Korthikanti 和 Kevin J. Shih 在实现推理用 CUDA 核心方面的慷慨支持。

参考文献

• HiFi-GAN（用于生成器和多周期判别器）
• Snake（用于周期性激活）
• Alias-free-torch（用于抗混叠处理）
• Julius（用于低通滤波器）
• UnivNet（用于多分辨率判别器）
• descript-audio-codec 和 vocos（用于多频段多尺度 STFT 判别器和多尺度梅尔谱损失）
• Amphion（用于多尺度子带 CQT 判别器）

BigVGAN 快速上手指南

BigVGAN 是一款通用的神经声码器，通过大规模训练实现了高质量的语音合成。本指南将帮助你快速在本地环境中部署并使用预训练模型进行推理。

环境准备

在开始之前，请确保你的系统满足以下要求：

• 操作系统: Linux (推荐) 或 Windows (需配置 CUDA 环境)
• Python: 3.10
• PyTorch: 2.3.1
• CUDA: 11.8 或 12.1 (需与 PyTorch 版本匹配)
• 硬件: 推荐使用 NVIDIA GPU (如 A100, V100, RTX 系列) 以加速推理，特别是使用自定义 CUDA 内核时。

安装步骤

1. 创建 Conda 环境

建议使用 conda 创建隔离环境。以下命令基于 PyTorch 官方源和 NVIDIA 源安装依赖（国内用户可替换为清华或中科大镜像源加速）：

# 使用国内镜像源加速安装 (可选)
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/

# 创建环境 (根据实际 CUDA 版本选择 pytorch-cuda=12.1 或 11.8)
conda create -n bigvgan python=3.10 pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia
conda activate bigvgan

2. 克隆代码并安装依赖

git clone https://github.com/NVIDIA/BigVGAN
cd BigVGAN
pip install -r requirements.txt

基本使用

以下是使用 Hugging Face Hub 加载预训练模型并进行音频生成的最简示例。该流程包括：加载模型、读取音频、提取梅尔频谱图、生成波形。

device = 'cuda'

import torch
import bigvgan
import librosa
from meldataset import get_mel_spectrogram

# 1. 实例化模型
# 从 Hugging Face 加载预训练权重
# use_cuda_kernel=True 可启用自定义 CUDA 内核加速推理 (首次运行会自动编译)
model = bigvgan.BigVGAN.from_pretrained('nvidia/bigvgan_v2_24khz_100band_256x', use_cuda_kernel=False)

# 移除权重归一化并设置为评估模式
model.remove_weight_norm()
model = model.eval().to(device)

# 2. 加载音频文件并计算梅尔频谱图
wav_path = '/path/to/your/audio.wav'  # 替换为你的音频路径
# 加载音频，采样率需与模型一致
wav, sr = librosa.load(wav_path, sr=model.h.sampling_rate, mono=True) 
wav = torch.FloatTensor(wav).unsqueeze(0) # 形状: [B(1), T_time]

# 从原始音频计算梅尔频谱图作为模型输入
mel = get_mel_spectrogram(wav, model.h).to(device) # 形状: [B(1), C_mel, T_frame]

# 3. 生成波形
with torch.inference_mode():
    wav_gen = model(mel) # 输出形状: [B(1), 1, T_time], 值域 [-1, 1]

# 4. 后处理与保存
wav_gen_float = wav_gen.squeeze(0).cpu()

# 转换为 16-bit PCM 格式以便保存或播放
wav_gen_int16 = (wav_gen_float * 32767.0).numpy().astype('int16')

# (可选) 使用 soundfile 保存结果
# import soundfile as sf
# sf.write('output.wav', wav_gen_int16, model.h.sampling_rate)

进阶提示：启用 CUDA 加速

若需获得 1.5 - 3 倍的推理速度提升，可在实例化模型时设置 use_cuda_kernel=True。 注意：首次运行时系统会自动调用 nvcc 和 ninja 编译 CUDA 内核，请确保已安装且版本与 PyTorch 兼容。

# 启用加速内核
model = bigvgan.BigVGAN.from_pretrained('nvidia/bigvgan_v2_24khz_100band_256x', use_cuda_kernel=True)