NNSVS

基于神经网络的歌声合成库，用于研究用途。

文档可在 https://nnsvs.github.io 上找到。

引用

@article{yamamoto2022nnsvs,
  title={NNSVS：基于神经网络的歌声合成工具包},
  author={山本隆一、米山玲央、户田智树},
  journal={arXiv 预印本 arXiv:2210.15987},
  year={2022}
}

致谢

• uSFGAN 的推理实现改编自 chomeyama/HN-UnifiedSourceFilterGAN。
• 扩散模型的相关代码改编自 DiffSinger。

NNSVS 快速上手指南

NNSVS 是一个基于神经网络的歌声合成研究工具库，支持多种先进的声学模型与声码器（如 uSFGAN、Diffusion 模型等）。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux (推荐), macOS, Windows
• Python 版本：3.8 或更高版本
• 硬件要求：推荐使用 NVIDIA GPU 进行模型训练和推理（需安装 CUDA 驱动）
• 前置依赖：
  • pip (包管理工具)
  • git (代码克隆)
  • ffmpeg (用于音频处理)

提示：国内用户建议在安装 Python 依赖时使用清华或阿里镜像源以加速下载。

安装步骤

1. 克隆仓库

首先从 GitHub 获取源代码：

git clone https://github.com/nnsvs/nnsvs.git
cd nnsvs

2. 安装依赖

推荐使用虚拟环境（如 venv 或 conda）隔离依赖。

使用 pip 安装（推荐国内镜像）：

# 使用清华大学镜像源加速安装
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple

可选：安装开发依赖 如果您需要运行测试或构建文档：

pip install -r requirements.dev.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

NNSVS 的核心功能通常通过命令行脚本或 Python API 调用。以下是最简单的流程示例，展示如何检查安装并查看可用命令。

验证安装

确认 nnsvs 相关命令已正确注册：

python -c "import nnsvs; print(nnsvs.__version__)"

典型工作流示例

NNSVS 的标准使用流程包含数据预处理、模型训练和推理合成。以下是一个概念性的最小化操作示例（具体参数需根据数据集调整）：

1. 数据预处理 将乐谱和音频数据转换为模型可输入的格式：

nnsvs-bin-preprocess \
  --input-dir ./data/raw \
  --output-dir ./data/processed \
  --config conf/your_config.yaml

2. 模型训练 启动神经网络训练（需 GPU 支持）：

nnsvs-bin-train \
  --config conf/your_config.yaml \
  --output-dir ./exp/your_experiment

3. 歌声合成（推理） 使用训练好的模型生成歌声：

nnsvs-bin-synthesize \
  --config conf/your_config.yaml \
  --checkpoint ./exp/your_experiment/checkpoint_best.pth \
  --input-score ./data/test_score.txt \
  --output-wav ./result/output.wav

注意：上述命令中的配置文件 (yaml) 和输入数据路径需要根据实际项目结构进行修改。详细参数说明请参阅 官方文档。