PyTorch_说话人验证

这是对论文中描述的语音嵌入网络及损失函数的 PyTorch 实现：https://arxiv.org/pdf/1710.10467.pdf。

此外，还包含用于生成与 https://github.com/google/uis-rnn 中说话人日区分割模型输入兼容的嵌入代码。

模型使用 TIMIT 语音语料库进行训练，该语料库可从以下链接获取：https://catalog.ldc.upenn.edu/LDC93S1 或 https://github.com/philipperemy/timit。

依赖项

• PyTorch 0.4.1
• Python 3.5+
• NumPy 1.15.4
• Librosa 0.6.1

要运行 dvector_create.py 脚本，需要使用位于 https://github.com/wiseman/py-webrtcvad 的 WebRTC VAD Python 库；但训练神经网络时则不需要。

预处理

将 config.yaml 文件中的以下键值修改为一个正则表达式，该表达式应匹配您下载的 TIMIT 数据集中所有的 .WAV 文件。TIMIT 的 .WAV 文件必须转换为标准的 RIFF 格式，以便 dvector_create.py 脚本能正常运行，但在训练神经网络时则无需进行此转换。

unprocessed_data: './TIMIT/*/*/*/*.wav'

然后运行预处理脚本：

./data_preprocess.py 

预处理完成后，将生成两个文件夹：train_tisv 和 test_tisv，其中包含 .npy 文件，这些文件内存储着以 90%/10% 训练/测试比例划分的说话人语音片段的 NumPy 数组。

训练

要训练说话人验证模型，请运行：

./train_speech_embedder.py 

并确保 config.yaml 文件中的以下键值设置为 true：

training: !!bool "true"

若需进行测试，则将该键值设置为：

training: !!bool "false"

日志文件和检查点保存路径由以下配置控制：

log_file: './speech_id_checkpoint/Stats'
checkpoint_dir: './speech_id_checkpoint'

目前仅实现了 TI-SV 模型。

性能

10 个 epoch 内的 EER：0.0377

D 向量嵌入生成

在完成模型的训练和测试后，运行 dvector_create.py 脚本，以生成 train_sequence.npy、train_cluster_ids.npy、test_sequence.npy 和 test_cluster_ids.npy 四个 NumPy 文件。

这些文件可以被加载并用于训练位于 https://github.com/google/uis-rnn 的 uis-rnn 模型。

PyTorch_Speaker_Verification 快速上手指南

本指南帮助中国开发者快速部署和使用基于 PyTorch 的说话人验证（Speaker Verification）工具，用于生成语音嵌入向量（d-vectors），并可对接 Google 的 UIS-RNN 说话人日记模型。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux / macOS / Windows
• Python 版本：3.5 或更高
• 核心依赖：
  • PyTorch 0.4.1
  • NumPy 1.15.4
  • Librosa 0.6.1
• 可选依赖（仅用于生成 d-vector 嵌入，训练网络不需要）：
  • py-webrtcvad (WebRTC VAD)

国内加速建议：安装 Python 依赖时，推荐使用清华或阿里镜像源以提升下载速度。 例如：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch==0.4.1 numpy==1.15.4 librosa==0.6.1

安装步骤

1. 克隆项目代码

   git clone https://github.com/HarryVolek/PyTorch_Speaker_Verification.git
   cd PyTorch_Speaker_Verification
   

2. 安装 Python 依赖 建议使用虚拟环境，并安装指定版本的依赖库：

   pip install torch==0.4.1 numpy==1.15.4 librosa==0.6.1
   

   如果需要运行 dvector_create.py 生成嵌入文件，还需安装 VAD 工具：

   pip install webrtcvad
   

3. 准备数据集 本项目使用 TIMIT 语音语料库进行训练。

   • 下载地址 1 (官方): https://catalog.ldc.upenn.edu/LDC93S1
   • 下载地址 2 (GitHub 镜像): https://github.com/philipperemy/timit

   下载后，请将数据解压至项目目录或指定路径。注意：用于 dvector_create.py 脚本时，.WAV 文件需转换为标准 RIFF 格式；仅训练神经网络则无此强制要求。

基本使用

1. 数据预处理

首先配置 config.yaml 文件，将 unprocessed_data 键值修改为您本地 TIMIT 数据集的正则路径：

unprocessed_data: './TIMIT/*/*/*/*.wav'

运行预处理脚本，它将自动划分 90% 训练集和 10% 测试集，并生成 .npy 文件：

./data_preprocess.py 

执行成功后，将生成 train_tisv 和 test_tisv 两个文件夹。

2. 模型训练

编辑 config.yaml，设置训练标志位为 true，并确认日志与检查点保存路径：

training: !!bool "true"
log_file: './speech_id_checkpoint/Stats'
checkpoint_dir: './speech_id_checkpoint'

运行训练脚本：

./train_speech_embedder.py 

注：当前版本仅实现了 TI-SV (Text-Independent Speaker Verification)。

若需进行测试评估，将 training 设置为 !!bool "false" 后再次运行上述命令即可。

3. 生成 D-Vector 嵌入

训练完成后，运行以下脚本生成可用于 Google UIS-RNN 模型的序列文件：

./dvector_create.py

该脚本将生成以下四个文件：

• train_sequence.npy
• train_cluster_ids.npy
• test_sequence.npy
• test_cluster_ids.npy

这些文件可直接加载并用于训练 google/uis-rnn 说话人日记模型。