StarGANv2-VC：一个多样化、无监督、非并行的自然语音转换框架

如需 Hifi-GAN 和 BIGVGAN 支持，请查看此分支。

Yinghao Aaron Li, Ali Zare, Nima Mesgarani

我们提出了一种使用生成对抗网络（GAN）的无监督非并行多对多语音转换（VC）方法，称为 StarGAN v2。通过结合对抗性源分类器损失和感知损失，我们的模型显著优于以往的 VC 模型。尽管我们的模型仅使用 20 位英语说话者进行训练，但它能泛化到各种语音转换任务，例如任意对多、跨语言和歌唱转换。通过使用风格编码器，我们的框架还可以将普通朗读语音转换为风格化语音，例如情感语音和假声音乐。在非并行多对多语音转换任务上的主观和客观评估实验表明，我们的模型能产生听起来自然的语音，其音质接近基于文本到语音（TTS）的最先进语音转换方法，且无需文本标签。此外，我们的模型完全基于卷积神经网络，结合比实时更快的声码器（如 Parallel WaveGAN）可以实现实时语音转换。

论文：https://arxiv.org/abs/2107.10394

音频样本：https://starganv2-vc.github.io/

*我们的工作荣获 INTERSPEECH 2021 最佳论文奖

先决条件

1. Python >= 3.7
2. 克隆此仓库：

git clone https://github.com/yl4579/StarGANv2-VC.git
cd StarGANv2-VC

3. 安装 Python 依赖：

pip install SoundFile torchaudio munch parallel_wavegan torch pydub pyyaml click librosa

4. 下载并解压 VCTK 数据集，然后使用 VCTK.ipynb 准备数据（如下采样至 24 kHz 等）。你也可以下载我们准备好的数据集并解压到 Data 文件夹，使用提供的 config.yml 来复现我们的模型。

训练

python train.py --config_path ./Configs/config.yml

请在 config.yml 文件中指定训练和验证数据。将 num_domains 更改为数据集中的说话者数量。数据列表格式需为 filename.wav|speaker_number，参见 train_list.txt 作为示例。

检查点和 Tensorboard 日志将保存在 log_dir 中。为了加速训练，你可能希望将 batch_size 设置为 GPU RAM 所能承受的最大值。但请注意，batch_size = 5 将占用约 10G GPU RAM。

推理

详情请参考 inference.ipynb。

在 VCTK 语料库上预训练的 StarGANv2 和 ParallelWaveGAN 可从以下链接下载：StarGANv2 链接 和 ParallelWaveGAN 链接。请分别解压到 Models 和 Vocoder 文件夹，并运行笔记本中的每个单元格。

ASR 和 F0 模型

预训练的 F0 和 ASR 模型在 Utils 文件夹下提供。F0 和 ASR 模型均使用 meldataset.py 预处理的梅尔频谱图进行训练，且两个模型都仅使用语音数据训练。

ASR 模型是在英语语料库上训练的，但在训练其他语言（如日语）的 StarGANv2 模型时似乎也能工作。F0 模型在处理歌唱数据时也表现良好。然而，为了获得最佳性能，鼓励为非英语和非语音数据训练你自己的 ASR 和 F0 模型。

你可以使用自己的梅尔频谱图预处理方式编辑 meldataset.py，但提供的预训练模型将不再适用。你将需要使用新的预处理方式训练自己的 ASR 和 F0 模型。

训练新 ASR 模型的代码可在此处获取，训练新 F0 模型的代码可在此处获取。

参考文献

• clovaai/stargan-v2
• kan-bayashi/ParallelWaveGAN
• tosaka-m/japanese_realtime_tts
• keums/melodyExtraction_JDC

致谢

作者感谢 @tosaka-m 提供的优秀仓库和有价值的讨论。

StarGANv2-VC 快速上手指南

StarGANv2-VC 是一个基于生成对抗网络（GAN）的非并行、无监督语音转换框架，支持多对多、跨语言和歌唱语音转换。

环境准备

系统要求

• Python >= 3.7
• 支持 CUDA 的 GPU（推荐用于训练）

前置依赖

1. 克隆仓库：

git clone https://github.com/yl4579/StarGANv2-VC.git
cd StarGANv2-VC

2. 安装 Python 依赖：

pip install SoundFile torchaudio munch parallel_wavegan torch pydub pyyaml click librosa

安装步骤

数据准备

1. 下载 VCTK 数据集
2. 使用 Data/VCTK.ipynb 脚本预处理数据（降采样至 24 kHz 等）
3. 或直接下载已预处理的数据集，解压到 Data 文件夹

配置调整

编辑 Configs/config.yml 文件：

• 指定训练和验证数据路径
• 设置 num_domains 为数据集中说话人数量
• 数据列表格式应为：filename.wav|speaker_number

基本使用

训练模型

python train.py --config_path ./Configs/config.yml

• 检查点和 Tensorboard 日志将保存在 log_dir
• 建议根据 GPU 显存调整 batch_size（batch_size=5 约需 10G 显存）

推理转换

1. 下载预训练模型：

   • StarGANv2 模型
   • ParallelWaveGAN 声码器

2. 分别解压到 Models 和 Vocoder 文件夹

3. 运行 Demo/inference.ipynb 笔记本进行语音转换

辅助模型

• ASR 和 F0 预训练模型位于 Utils 文件夹
• 对于非英语数据，建议重新训练 ASR 和 F0 模型
• ASR 模型训练代码：AuxiliaryASR
• F0 模型训练代码：PitchExtractor

注意事项

• 修改 meldataset.py 中的梅尔频谱预处理后，需重新训练 ASR 和 F0 模型
• 框架支持实时语音转换（配合 Parallel WaveGAN 声码器）
• 可应用于情感语音、假声等风格化语音转换任务