VoiceFilter

来自 Seung-won 的说明（2020年10月25日）

大家好！我是来自 MINDs Lab, Inc. 的 Seung-won。 距离我发布这个开源项目已经过去很久了，我也从未想过这个仓库会持续受到如此多的关注。 在此感谢各位的关注，同时也感谢 Quan Wang 先生（VoiceFilter 论文的第一作者）在他的论文中引用了本项目。

实际上，这个项目是我刚开始学习深度学习和语音分离仅三个月时完成的，当时并没有相关领域的导师指导。 那时我对功率律压缩以及模型验证和测试的正确方法都一无所知。 如今，经过这段时间在深度学习和语音处理领域的深入研究（我还撰写了一篇发表于 Interspeech 2020 的论文 😊），我能够清楚地看到自己当初犯下的几个明显错误。 这些问题是 GitHub 用户们善意指出的；请参阅 Issues 和 Pull Requests 以了解详情。 话虽如此，这个仓库的内容可能并不十分可靠， 因此我提醒大家使用此代码需自行承担风险（如 LICENSE 文件中所述）。

遗憾的是，我目前无法抽出额外时间来修订该项目或审阅 Issues 和 Pull Requests。 相反，我想为大家推荐一些更新、更可靠的资源：

• VoiceFilter-Lite： 这是在 Interspeech 2020 上提出的 VoiceFilter 新版本，同样由 Quan Wang 先生及其谷歌同事共同完成。 我强烈建议大家阅读这篇论文，因为它聚焦于更贴近实际应用场景的语音分离需求。
• GitHub 上可用的 VoiceFilter 实现列表： 2019年3月，这个仓库曾是 VoiceFilter 唯一可用的开源实现。 然而，此后 GitHub 上出现了许多更优秀、更值得关注的实现。 请大家查看并选择适合自身需求的实现。
• PyTorch Lightning： 2019 年时，我找不到一个理想的深度学习项目模板， 于是我和同事们便将该项目用作其他新项目的模板。 对于正在寻找此类项目模板的人士，我强烈推荐 PyTorch Lightning。 尽管我在 2019 年期间投入大量精力开发了自己的模板（ VoiceFilter -> RandWireNN -> MelNet -> MelGAN）， 但我发现 PyTorch Lightning 远胜于我的自定义模板。

感谢您的阅读，并祝愿大家在全球疫情之下身体健康。

此致敬礼，Seung-won Park

---

Google AI 的非官方 PyTorch 实现： VoiceFilter：基于说话人条件谱图掩码的目标语音分离。

结果

• 在 AWS p3.2xlarge（NVIDIA V100）上训练耗时约 20 小时。

音频示例

• 请在网页上收听音频示例：http://swpark.me/voicefilter/

指标

中位数 SDR	论文	我们
应用 VoiceFilter 前	2.5	1.9
应用 VoiceFilter 后	12.6	10.2

• SDR 收敛值为 10，略低于论文中的结果。

依赖项

1. Python 及相关包

   本代码已在 Python 3.6 和 PyTorch 1.0.1 环境下测试通过。 其他依赖包可通过以下命令安装：

   pip install -r requirements.txt
   

2. 其他工具

   ffmpeg-normalize 用于重采样和归一化 WAV 文件。 安装方法请参考 ffmpeg-normalize 的 README 文件。

数据准备

1. 下载 LibriSpeech 数据集

   为复现 VoiceFilter 论文，需从 http://www.openslr.org/12/ 获取 LibriSpeech 数据集。 train-clear-100.tar.gz（6.3G）包含 252 名说话人的语音，而 train-clear-360.tar.gz（23G）则包含 922 名说话人。 两者均可使用，但数据集中说话人越多，VoiceFilter 的效果通常越好。

2. 重采样与归一化 WAV 文件

   首先，将 .tar.gz 文件解压到目标文件夹：

   tar -xvzf train-clear-360.tar.gz
   

   接着，将 utils/normalize-resample.sh 复制到解压后的数据文件夹根目录。然后执行：

   vim normalize-resample.sh # 将 "N" 设置为你 CPU 的核心数。
   chmod a+x normalize-resample.sh
   ./normalize-resample.sh # 这可能需要较长时间
   

3. 编辑 config.yaml

   cd config
   cp default.yaml config.yaml
   vim config.yaml
   

4. 预处理 WAV 文件

   为了加快训练速度，可在训练前对每个文件进行 STFT 处理：

   python generator.py -c [config yaml] -d [数据目录] -o [输出目录] -p [进程数]
   

   这将生成 10 万个训练样本和 1 千个测试样本。（约 160G）

训练 VoiceFilter

1. 获取预训练的说话人识别模型

   VoiceFilter 使用说话人识别系统（d-vector 嵌入）。 在这里，我们提供了一个用于获取 d-vector 嵌入的预训练模型。

   该模型是在 VoxCeleb2 数据集上训练的， 其中语音片段被随机截取为 [70, 90] 帧长度。 测试采用窗口大小 80、步长 40，结果显示等错误率约为 1%。 测试数据选自 VoxCeleb1 测试数据集的前 8 名说话人，每位说话人随机选取 10 段语音。

   更新：对 VoxCeleb1 选定配对的评估显示 EER 为 7.4%。

   该模型可从 此 GDrive 链接 下载。

2. 运行

   在 config.yaml 中指定 train_dir 和 test_dir 后，运行：

   python trainer.py -c [config yaml] -e [嵌入器 PT 文件路径] -m [名称]
   

   这将在基础目录（-b 选项，默认为 .）下生成 chkpt/name 和 logs/name 目录。

3. 查看 tensorboardX

   tensorboard --logdir ./logs
   

   

4. 从检查点恢复训练

   python trainer.py -c [config yaml] --checkpoint_path [chkpt/name/chkpt_{step}.pt] -e [嵌入器 PT 文件路径] -m 名称
   

评估

python inference.py -c [配置文件 yaml] -e [嵌入模型 pt 文件路径] --checkpoint_path [检查点 pt 文件路径] -m [混合音频文件路径] -r [参考音频文件路径] -o [输出目录]

可能的改进

• 尝试使用幂律压缩的重构误差作为损失函数，而不是均方误差。（参见 #14）

作者

朴承元 于 MINDsLab（yyyyy@snu.ac.kr, swpark@mindslab.ai）

许可证

Apache 2.0 许可证

本仓库包含从以下项目改编或复制的代码：

• 来自 https://github.com/Luolc/AdaBound 的 utils/adabound.py（Apache 2.0 许可证）
• 来自 https://github.com/keithito/tacotron 的 utils/audio.py（MIT 许可证）
• 来自 https://github.com/HarryVolek/PyTorch_Speaker_Verification 的 utils/hparams.py（未指定许可证）
• 来自 https://unix.stackexchange.com/a/216475 的 utils/normalize-resample.sh

VoiceFilter 快速上手指南

VoiceFilter 是 Google AI 提出的“基于说话人条件的语谱图掩蔽目标语音分离”技术的非官方 PyTorch 实现。该工具可用于从混合音频中提取特定说话人的声音。

⚠️ 重要提示：本仓库为早期实验性项目，作者已指出其中存在已知缺陷且不再维护。生产环境建议参考更新的 VoiceFilter-Lite 或其他更成熟的实现。以下指南仅用于学习和复现研究。

1. 环境准备

系统要求

• 操作系统: Linux (推荐) 或 macOS
• Python: 3.6 (代码基于此版本测试)
• GPU: 推荐使用 NVIDIA GPU (训练需较大显存，原作者使用 V100)

前置依赖

在开始之前，请确保系统已安装以下基础工具：

• FFmpeg: 用于音频处理
• ffmpeg-normalize: 用于音频重采样和标准化

安装 ffmpeg-normalize:

pip install ffmpeg-normalize
# 注意：仍需确保系统层面安装了 ffmpeg (例如 Ubuntu: sudo apt-get install ffmpeg)

2. 安装步骤

2.1 克隆项目与安装 Python 依赖

git clone https://github.com/mindslab-ai/voicefilter.git
cd voicefilter
pip install -r requirements.txt
# 国内用户建议使用清华源加速安装：
# pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

2.2 下载预训练说话人识别模型

VoiceFilter 需要预先训练好的说话人嵌入模型（d-vector embeddings）来识别目标说话人。

1. 手动下载模型文件：Google Drive 链接
2. 将下载的文件（例如 embedder.pt）放置在项目根目录或指定路径。

2.3 数据集准备 (可选，如需重新训练)

若仅需使用已有模型进行推理，可跳过此步。若需复现训练过程：

1. 下载 LibriSpeech 数据集: 访问 http://www.openslr.org/12/ 下载 train-clear-360.tar.gz (推荐) 或 train-clear-100.tar.gz。

2. 解压与标准化:

   tar -xvzf train-clear-360.tar.gz
   cp utils/normalize-resample.sh <解压后的数据根目录>/
   cd <解压后的数据根目录>/
   
   # 编辑脚本，将 "N" 修改为你的 CPU 核心数
   vim normalize-resample.sh 
   
   chmod a+x normalize-resample.sh
   ./normalize-resample.sh
   

3. 生成频谱特征 (加速训练):

   # 修改 config/default.yaml 为 config/config.yaml 并配置数据路径
   cd config
   cp default.yaml config.yaml
   vim config.yaml 
   
   # 返回根目录执行预处理 (替换实际路径)
   python generator.py -c config/config.yaml -d <数据目录> -o <输出目录> -p <进程数>
   

3. 基本使用

以下是使用预训练模型进行语音分离的最简流程。

3.1 配置文件设置

复制并编辑配置文件，确保 train_dir 和 test_dir 指向正确的数据路径（如果只做推理，主要检查音频加载相关配置是否默认即可，通常无需大幅修改）。

cp config/default.yaml config/config.yaml
vim config/config.yaml

3.2 执行语音分离 (Inference)

准备两个音频文件：

• 混合音频 (mixed.wav): 包含多人说话的录音。
• 参考音频 (reference.wav): 仅包含你想提取的那位说话人的声音（用于提取声纹特征）。

运行以下命令进行分离：

python inference.py \
  -c config/config.yaml \
  -e <path_to_embedder.pt> \
  --checkpoint_path <path_to_your_checkpoint.pt> \
  -m <path_to_mixed.wav> \
  -r <path_to_reference.wav> \
  -o ./output

参数说明：

• -e: 下载的预训练说话人识别模型路径 (.pt 文件)。
• --checkpoint_path: VoiceFilter 主模型的检查点路径。
  • 注: 如果你没有自己训练的模型，原作者未直接提供主模型权重下载，通常需要先按“训练”步骤跑通或直接使用社区提供的权重。若仅测试代码流程，需确保此路径存在有效文件。
• -m: 输入的混合音频路径。
• -r: 参考音频路径（目标说话人）。
• -o: 输出目录。

3.3 查看结果

处理完成后，分离出的目标人声将保存在 -o 指定的输出目录中。你可以使用任何播放器试听效果。

---

本指南基于开源项目 README 整理，具体性能表现受数据集质量和超参数影响较大。