Wave-U-Net

用于音频源分离的 Wave-U-Net 实现。

对于改进后的 PyTorch 版本，请点击这里。

对于第三方基于 TensorFlow 2/Keras 的实现（非本人），请点击这里。

听音示例

收听人声分离结果此处，多乐器分离结果此处。

什么是 Wave-U-Net？

Wave-U-Net 是一种适用于音频源分离任务的卷积神经网络，它直接作用于原始音频波形，相关介绍见这篇论文。

Wave-U-Net 是将 U-Net 架构适配到一维时域上，以实现端到端的音频源分离。通过一系列下采样和上采样模块，结合一维卷积与上下采样操作，模型能够在多个尺度、抽象层次和时间分辨率上提取特征，并将其融合以做出预测。

下图展示了该网络架构的概要。

参与 SiSec 分离竞赛

Wave-U-Net 还以提交编号 STL1 和 STL2 的身份参加了 SiSec 分离竞赛，并取得了不错的成绩，尤其是在与其他许多参赛作品相比，我们所使用的数据集相对有限的情况下——尽管我们的方法属于更依赖数据的端到端方案，还需要从数据中学习频率分解的前端处理部分。

安装

需求

强烈建议使用 GPU，以避免训练时间过长。

该项目基于 Python 3.6.8，需要安装 libsndfile 和 CUDA 9。

此外，还需安装以下 Python 包：

numpy==1.15.4
sacred==0.7.3
tensorflow-gpu==1.8.0
librosa==0.6.2
soundfile==0.10.2
lxml==4.2.1
musdb==0.2.3
museval==0.2.0
google==2.0.1
protobuf==3.4.0

如果没有 GPU，也可以使用 CPU 版本的 TensorFlow (tensorflow) 代替 tensorflow-gpu。

上述所有包也已保存在本仓库的 requirements.txt 文件中，因此您可以先克隆仓库，然后在下载的仓库路径下执行以下命令，一次性安装所有所需包：

pip install -r requirements.txt

若要复现论文中的图表，可使用 Plot.py 中的函数。此时还需安装 matplotlib<3.0 包。

下载数据集

如果您想直接使用我们提供的预训练模型来分离自己的歌曲，请跳至最后一节，因为在这种情况下无需下载数据集。

若要复现论文中的实验（即训练所有模型），则需要下载以下数据集。当然，您也可以使用自己的数据集进行训练，但那样就需要手动修改代码，本文不对此进行讨论。

MUSDB18

请下载完整的 MUSDB18 数据集，并将其解压到您选择的文件夹中。该数据集应包含两个子文件夹：“test”和“train”，以及一个 README.md 文件。

CCMixter（仅人声分离实验需要）

如果您不仅想复现多乐器分离实验，还想复现人声分离实验，则还需要从 https://members.loria.fr/ALiutkus/kam/ 下载 CCMixter 人声分离数据库。请将该数据集解压到您选择的文件夹中，其主文件夹内应为每首歌曲单独创建一个子文件夹。

设置文件路径

现在需要为数据集以及保存源估计结果的目录设置正确的文件路径。

打开 Config.py 文件，将 model_config 字典中的 musdb_path 条目设置为 MUSDB18 数据集主文件夹的路径。 同时，将同一 model_config 字典中的 estimates_path 条目设置为您希望保存模型最终源估计结果的空文件夹路径。

如果使用 CCMixter 数据集，请打开主仓库文件夹中的 CCMixter.xml 文件，将其中标记为 databaseFolderPath 的文件路径替换为您 CCMixter 主文件夹的实际路径。

训练模型 / 模型概述

由于论文研究了 Wave-U-Net 的多种模型变体，并且还训练了作为对比的、曾达到最先进性能的用于人声分离的 U-Net，我们列出了需要训练的模型变体及其对应的训练命令：

模型名称（来自论文）	描述	分离人声还是多乐器？	训练命令
M1	基线 Wave-U-Net 模型	人声	python Training.py
M2	M1 + 差值输出层	人声	python Training.py with cfg.baseline_diff
M3	M2 + 合适的输入上下文	人声	python Training.py with cfg.baseline_context
M4	性能最佳：M3 + 立体声 I/O	人声	python Training.py with cfg.baseline_stereo
M5	M4 + 学习型上采样层	人声	python Training.py with cfg.full
M6	将 M4 应用于多乐器分离	多乐器	python Training.py with cfg.full_multi_instrument
M7	用于与 SotA 模型 U7、U7a 对比的 Wave-U-Net 模型	人声	python Training.py with cfg.baseline_comparison
U7	前人工作的 U-Net 复现，基于音频的 MSE 损失	人声	python Training.py with cfg.unet_spectrogram
U7a	类似于 U7，但使用 L1 幅度损失	人声	python Training.py with cfg.unet_spectrogram_l1

新增：

我们还包含了以下未在论文中提及的模型（同样提供预训练权重下载！）：

模型名称（不在论文中）	描述	分离人声还是多乐器？	训练命令
M5-HighSR	M5，采样率为 44.1 KHz	人声	python Training.py with cfg.full_44KHz

M5-HighSR 是我们目前最好的人声分离器，其人声/伴奏 SDR 的中位数（均值）分别为 4.95（1.01）和 11.16（12.87）。

在歌曲上测试训练好的模型！

我们提供了 M4、M6 和 M5-HighSR 的预训练版本，方便您立即对任何歌曲进行分离。

下载我们的预训练模型

请在此处下载我们的预训练模型 链接。将压缩包解压到本仓库的 checkpoints 子文件夹中，确保每个模型都有一个独立的子文件夹（例如 REPO/checkpoints/baseline_stereo）。

运行预训练模型

要快速演示使用我们预训练的最佳人声分离模型（M5-HighSR）处理示例歌曲，只需执行以下命令：

python Predict.py with cfg.full_44KHz

即可将本仓库 audio_examples 子文件夹中的歌曲“Mallory”分离为人声和伴奏。输出文件将保存在输入文件旁边。

若要将我们的预训练模型应用于您自己的任意歌曲，只需通过 input_path 参数指定音频文件路径：

python Predict.py with cfg.full_44KHz input_path="/mnt/medien/Daniel/Music/Dark Passion Play/Nightwish - Bye Bye Beautiful.mp3"

如果您希望将预测结果保存到自定义文件夹而非输入歌曲所在的位置，只需添加 output_path 参数：

python Predict.py with cfg.full_44KHz input_path="/mnt/medien/Daniel/Music/Dark Passion Play/Nightwish - Bye Bye Beautiful.mp3" output_path="/home/daniel"

若想使用我们提供的其他预训练模型（如多乐器分离器）或您自己的模型，请通过 model_path 参数指向 TensorFlow 检查点文件的位置，并确保模型配置（此处为 full_multi_instrument）与检查点中保存的模型一致。以我们打包好的多乐器模型为例：

python Predict.py with cfg.full_multi_instrument model_path="checkpoints/full_multi_instrument/full_multi_instrument-134067" input_path="/mnt/medien/Daniel/Music/Dark Passion Play/Nightwish - Bye Bye Beautiful.mp3" output_path="/home/daniel"

已知问题 / 故障排除

MacOS：如果导入 matplotlib 时出现错误，请参阅 此问题 和 此问题 获取解决方案。

在准备 MUSDB 数据集的过程中，有时会因 ffmpeg 进程卡死而导致转换为 WAV 文件的操作中断。该进程由 musdb Python 包内部使用，用于识别数据集中的 mp4 音频流。这似乎是 stempeg 库深层使用的 subprocess.Popen() 函数引发的随机性错误，目前尚无明确的解决方法。建议遇到此类问题时重新生成数据集。

Wave-U-Net 快速上手指南

Wave-U-Net 是一个基于原始音频波形进行端到端音源分离的卷积神经网络。本指南将帮助你快速配置环境并运行预训练模型，实现人声与伴奏的分离。

环境准备

在开始之前，请确保你的系统满足以下要求：

• 操作系统: Linux 或 Windows (macOS 可能遇到绘图库兼容性问题)
• Python 版本: 3.6.8 (推荐严格匹配此版本以避免依赖冲突)
• 硬件加速: 强烈建议使用 GPU 以缩短训练和推理时间。
  • 需安装 CUDA 9。
  • 若无 GPU，可使用 CPU 版 TensorFlow，但速度会显著变慢。
• 系统依赖:
  • libsndfile：用于音频文件读写。
  • ffmpeg：用于处理音频流（MUSDB 数据集预处理需要）。

安装步骤

1. 克隆项目

首先从 GitHub 克隆代码仓库：

git clone https://github.com/f90/Wave-U-Net.git
cd Wave-U-Net

2. 安装 Python 依赖

项目所需的所有 Python 包已列在 requirements.txt 中。为了加快下载速度，国内用户建议使用清华或阿里镜像源进行安装：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

注意：如果未安装 GPU 驱动，请将 tensorflow-gpu==1.8.0 替换为 tensorflow==1.8.0（可在 requirements.txt 中手动修改后执行上述命令）。

3. 下载预训练模型

若仅需使用模型进行音源分离（无需重新训练），请下载作者提供的预训练权重：

1. 下载地址：models.zip
   • 提示：若 Dropbox 下载缓慢，可尝试使用多线程下载工具或寻找国内镜像备份。
2. 解压文件，确保目录结构如下：

   Wave-U-Net/
   └── checkpoints/
       ├── baseline_stereo/
       ├── full_multi_instrument/
       └── ...
   

基本使用

以下示例展示如何使用性能最佳的人声分离模型 (M5-HighSR) 对音频进行处理。

示例 1：运行内置测试音频

项目自带了一个名为 "Mallory" 的测试音频。运行以下命令即可将其分离为人声和伴奏，输出文件将保存在原音频同级目录下：

python Predict.py with cfg.full_44KHz

示例 2：分离自定义音频

指定你的音频文件路径进行分离：

python Predict.py with cfg.full_44KHz input_path="/path/to/your/song.mp3"

示例 3：指定输出目录

若希望将分离后的结果保存到特定文件夹：

python Predict.py with cfg.full_44KHz input_path="/path/to/your/song.mp3" output_path="/path/to/output/folder"

示例 4：使用多乐器分离模型

如果你需要分离多种乐器（而不仅仅是人声），请使用多乐器模型配置：

python Predict.py with cfg.full_multi_instrument model_path="checkpoints/full_multi_instrument/full_multi_instrument-134067" input_path="/path/to/your/song.mp3" output_path="/path/to/output/folder"

运行完成后，检查输出目录，你将获得分离后的音轨文件（如 vocals.wav, accompaniment.wav 等）。