语言：英语 简体中文

DDSP-SVC

0. 引言

DDSP-SVC 是一个开源的歌声转换项目，致力于开发可在个人电脑上普及使用的免费 AI 变声软件。

与著名的 SO-VITS-SVC 相比，它的训练和合成对计算机硬件的要求要低得多，训练时间可以缩短几个数量级，接近 RVC 的训练速度。

此外，在进行实时变声时，该项目的硬件资源消耗明显低于 SO-VITS-SVC，但可能略高于最新版本的 RVC。

尽管 DDSP 的原始合成质量并不理想（在训练过程中可以通过 TensorBoard 听到原始输出），但在使用预训练的声码器增强器（旧版）或浅层扩散模型（新版）提升音质后，对于某些数据集而言，其合成质量可以达到不亚于 SOVITS-SVC 和 RVC 的水平。

免责声明：请确保仅使用 合法获取的授权数据 来训练 DDSP-SVC 模型，并且不得将这些模型及其生成的任何音频用于非法目的。本仓库的作者不对因使用这些模型检查点及音频而引起的任何侵权、欺诈或其他违法行为承担责任。

更新日志：我懒得翻译了，请查看中文版 README。

1. 安装依赖

我们建议先从 官方网站 安装 PyTorch，然后运行：

pip install -r requirements.txt

Python 3.11（Windows）+ CUDA 13.0 + PyTorch 2.9.1 + TorchAudio 2.9.1 可以正常工作。

2. 配置预训练模型

• 特征编码器（仅选择一个）：

(1) 下载预训练的 ContentVec 编码器，并将其放入 pretrain/contentvec 文件夹中。

(2) 下载预训练的 HubertSoft 编码器，并将其放入 pretrain/hubert 文件夹中，同时修改配置文件。

• 声码器：

下载并解压预训练的 NSF-HiFiGAN 声码器，

或者使用 https://github.com/openvpi/SingingVocoders 项目对声码器进行微调以获得更高的音质。

然后重命名检查点文件，并将其放置在配置文件中 ‘vocoder.ckpt’ 参数指定的位置。默认值为 pretrain/nsf_hifigan/model。声码器的 ‘config.json’ 文件需要位于同一目录下，例如 pretrain/nsf_hifigan/config.json。

• 基频提取器：

下载预训练的 RMVPE 提取器，并将其解压到 pretrain/ 文件夹中。

3. 数据预处理

将所有训练数据集（.wav 格式的音频片段）放入以下目录：data/train/audio。将所有验证数据集（.wav 格式的音频片段）放入以下目录：data/val/audio。你也可以运行

python draw.py

来帮助你选择验证数据（你可以调整 draw.py 中的参数来修改提取文件的数量及其他参数）。

然后运行预处理器：

python preprocess.py -c configs/reflow.yaml -j <进程数>

注意 1：默认配置适用于 RTX-4060 显卡。

注意 2：请确保所有音频片段的采样率与 yaml 配置文件中的采样率一致！如果不一致，程序仍可安全执行，但训练过程中的重采样会非常缓慢。

注意 3：建议训练数据集中的音频片段总数约为 1000 个，尤其是较长的音频可以切割成较短的片段，这样可以加快训练速度，但每个音频片段的时长不应少于 2 秒。如果音频片段过多，则需要较大的内存，或者在配置文件中将 ‘cache_all_data’ 选项设置为 false。

注意 4：建议验证数据集中的音频片段总数约为 10 个，不要放太多，否则验证过程会非常缓慢。

注意 5：如果你的数据集质量不是很高，可以在配置文件中将 ‘f0_extractor’ 设置为 ‘rmvpe’。

注意 6：目前支持多说话人训练。配置文件中的 ‘n_spk’ 参数控制是否为多说话人模型。如果你想训练一个 多说话人 模型，音频文件夹需要以 不大于 ‘n_spk’ 的正整数 命名，用来表示说话人 ID，目录结构如下：

# 训练数据集
# 第 1 位说话人
data/train/audio/1/aaa.wav
data/train/audio/1/bbb.wav
...
# 第 2 位说话人
data/train/audio/2/ccc.wav
data/train/audio/2/ddd.wav
...

# 验证数据集
# 第 1 位说话人
data/val/audio/1/eee.wav
data/val/audio/1/fff.wav
...
# 第 2 位说话人
data/val/audio/2/ggg.wav
data/val/audio/2/hhh.wav
...

如果 ‘n_spk’ = 1，则仍然支持 单说话人 模型的目录结构，如下所示：

# 训练数据集
data/train/audio/aaa.wav
data/train/audio/bbb.wav
...
# 验证数据集
data/val/audio/ccc.wav
data/val/audio/ddd.wav
...

4. 训练

python train_reflow.py -c configs/reflow.yaml

训练开始后，每经过 ‘interval_val’ 步骤会临时保存一次权重，每经过 ‘interval_force_save’ 步骤则会永久保存一次权重。这两个配置项可以根据实际情况进行调整。

你可以安全地中断训练，之后再次运行相同的命令行即可恢复训练。

你也可以在中断训练后对模型进行微调：重新预处理新数据集或更改训练参数（batchsize、lr 等），然后再运行相同的命令行。

5. 可视化

# 使用 TensorBoard 查看训练状态
tensorboard --logdir=exp

首次验证完成后，TensorBoard 中将显示测试音频样本。

6. 非实时 VC

python main_reflow.py -i <input.wav> -m <model_ckpt.pt> -o <output.wav> -k <音高变化（半音）> -id <说话人ID> -step <infer_step> -method <method> -ts <t_start>

‘infer_step’ 是修正流 ODE 的采样步数，‘method’ 可以是 ‘euler’ 或 ‘rk4’，‘t_start’ 是 ODE 的起始时间点，必须大于或等于配置文件中的 t_start，默认值为 0.0，建议保持一致。

你可以使用 “-mix” 选项来自定义自己的声音音色，示例如下：

# 将第1和第2个声码器的音色以0.5:0.5的比例混合
python main_reflow.py -i <input.wav> -m <model_file.pt> -o <output.wav> -k <音高变化（半音）> -mix "{1:0.5, 2:0.5}" -eak 0

有关f0提取器和响应阈值的其他选项，请参阅：

python main_reflow.py -h

7. 实时语音转换

使用以下命令启动一个简单的GUI界面：

python gui_reflow.py

前端采用了滑动窗口、交叉淡入淡出、基于SOLA的拼接以及上下文语义参考等技术，能够在低延迟和较低资源占用的情况下，实现接近于非实时合成的音质。

8. 致谢

• ddsp

• pc-ddsp

• soft-vc

• ContentVec

• DiffSinger（OpenVPI版本）

• Diff-SVC

• Diffusion-SVC

• SO-VITS-SVC

DDSP-SVC 快速上手指南

DDSP-SVC 是一个开源的歌声变声项目，旨在提供可在个人电脑上普及的免费 AI 变声软件。相比 SO-VITS-SVC，它对硬件要求更低，训练速度提升数个数量级（接近 RVC），且在实时变声时资源消耗显著降低。通过预训练声码器增强或浅层扩散模型，其合成质量可媲美主流方案。

免责声明：请确保仅使用合法获得授权的数据训练模型，严禁将模型及其合成音频用于非法用途。作者不对任何侵权行为负责。

1. 环境准备

系统要求

• 操作系统：Windows / Linux
• Python 版本：推荐 3.11 (Windows)
• CUDA 版本：推荐 13.0 (需与 PyTorch 版本匹配)
• 显卡建议：默认配置适合 RTX 4060 及以上显卡
• 内存建议：若数据集较大，需大内存或在配置中关闭 cache_all_data

前置依赖

建议先从 PyTorch 官网 安装对应版本的 PyTorch，然后安装其他依赖。

2. 安装步骤

2.1 安装 Python 依赖

pip install -r requirements.txt

注：测试通过的组合为 python 3.11 + cuda 13.0 + torch 2.9.1 + torchaudio 2.9.1

2.2 配置预训练模型

需手动下载以下文件并放置到指定目录：

1. 特征编码器 (二选一)

   • ContentVec (推荐): 下载 pytorch_model.bin 至 pretrain/contentvec 文件夹。
   • HubertSoft: 下载模型至 pretrain/hubert 文件夹，并修改配置文件。

2. 声码器 (Vocoder)

   • 下载并解压 NSF-HiFiGAN。
   • 重命名检查点文件，路径需在配置文件的 vocoder.ckpt 参数中指定（默认 pretrain/nsf_hifigan/model）。
   • 确保 config.json 与模型文件在同一目录（如 pretrain/nsf_hifigan/config.json）。

3. 音高提取器

   • 下载 RMVPE 并解压至 pretrain/ 文件夹。

3. 数据预处理

3.1 准备数据集

将训练集和验证集的 .wav 音频片段放入以下目录：

• 训练集：data/train/audio
• 验证集：data/val/audio

多说话人支持： 若训练多说话人模型，需在配置文件中设置 n_spk，并将音频按说话人 ID（正整数）放入子文件夹，结构如下：

data/train/audio/1/speaker1_audio.wav
data/train/audio/2/speaker2_audio.wav

若 n_spk = 1，可直接将文件平铺在 audio 目录下。

注意：

1. 所有音频采样率必须与 yaml 配置文件中的设置一致，否则训练时会因重采样导致极慢。
2. 建议训练集约 1000 条，验证集约 10 条。
3. 单条音频时长不应少于 2 秒，长音频可切割以加速训练。
4. 若数据质量一般，请在配置文件中将 f0_extractor 设为 rmvpe。

3.2 运行预处理

python preprocess.py -c configs/reflow.yaml -j <进程数>

可选：运行 python draw.py 辅助选择验证数据。

4. 模型训练

启动训练命令：

python train_reflow.py -c configs/reflow.yaml

• 断点续训：安全中断后，再次运行相同命令即可自动恢复。
• 微调：中断训练 -> 重新预处理新数据或调整参数（如 batchsize, lr）-> 运行相同命令。
• 监控：使用 TensorBoard 查看训练状态和试听样本。

  tensorboard --logdir=exp
  

5. 基本使用

5.1 非实时变声 (离线推理)

将输入音频转换为指定说话人的声音：

python main_reflow.py -i <input.wav> -m <model_ckpt.pt> -o <output.wav> -k <变调半音数> -id <说话人 ID> -step <采样步数> -method <euler 或 rk4> -ts <t_start>

音色混合示例 (混合 1 号和 2 号说话人，比例各 0.5)：

python main_reflow.py -i <input.wav> -m <model_file.pt> -o <output.wav> -k <变调半音数> -mix "{1:0.5, 2:0.5}" -eak 0

5.2 实时变声

启动简易图形界面进行实时变声：

python gui_reflow.py

该界面采用了滑动窗口、交叉淡入淡出及基于 SOLA 的拼接技术，能在低延迟和低资源占用下实现接近离线合成的音质。