SincNet

SincNet 是一种用于处理 原始音频样本 的神经网络架构。它是一种新颖的卷积神经网络（CNN），旨在促使第一层卷积层发现更具 语义意义的滤波器。SincNet 基于参数化的 sinc 函数，这些函数实现了带通滤波器。

与标准 CNN 不同，标准 CNN 会学习每个滤波器的所有参数，而所提出的 SincNet 方法仅直接从数据中学习低频和高频截止频率。这种方法提供了一种非常紧凑且高效的方式来构建一个专门为特定应用量身定制的 自定义滤波器组。

本项目发布了一系列代码和工具，用于使用 SincNet 进行说话人识别。我们提供了一个基于 TIMIT 数据集的说话人识别示例。如果您对 SincNet 在语音识别中的应用感兴趣，可以查看 PyTorch-Kaldi GitHub 仓库（https://github.com/mravanelli/pytorch-kaldi）。

观看我们的 SincNet 介绍视频

引用我们

如果您使用了此代码或其中的一部分，请引用我们！

Mirco Ravanelli, Yoshua Bengio, “Speaker Recognition from raw waveform with SincNet” Arxiv

先决条件

• Linux
• Python 3.6/2.7
• PyTorch 1.0
• PySoundFile（ conda install -c conda-forge pysoundfile）
• 我们还建议使用 Anaconda 环境。

SpeechBrain

SincNet 也在 SpeechBrain（https://speechbrain.github.io/）项目中实现。我们也鼓励您了解一下！SpeechBrain 是一个基于 PyTorch 的一体化语音处理工具包，目前支持语音识别、说话人识别、任务型语言理解（SLU）、语音增强、语音分离以及多麦克风信号处理等功能。该工具包设计灵活、易于使用、模块化且文档完善。立即查看。

更新

2019年2月16日：

• 我们已将旧的“sinc_conv”替换为“SincConv_fast”。后者速度提升了50%。
• 在不久的将来，我们计划在 PyTorch-Kaldi 项目 中支持基于 SincNet 的说话人识别功能（当前版本的项目仅支持 SincNet 用于语音识别实验）。这将使用户能够在更快速、更灵活的环境中进行说话人识别实验。不过，当前的代码库仍将继续作为示例展示。

如何运行 TIMIT 实验

尽管代码可以轻松适配任何语音数据集，但在文档的下一部分，我们提供了一个基于流行 TIMIT 数据集的示例。

1. 运行 TIMIT 数据准备。

此步骤是必要的，用于存储一个去除了起始和结束静音并归一化了每个语音片段幅度的 TIMIT 版本。为此，请运行以下代码：

python TIMIT_preparation.py $TIMIT_FOLDER $OUTPUT_FOLDER data_lists/TIMIT_all.scp

其中：

• $TIMIT_FOLDER 是原始 TIMIT 语料库的文件夹
• $OUTPUT_FOLDER 是将存储归一化 TIMIT 的文件夹
• data_lists/TIMIT_all.scp 是用于训练/测试说话人识别系统的 TIMIT 文件列表。

2. 运行说话人识别实验。

• 根据您的路径修改 cfg/SincNet_TIMIT.cfg 文件中的 [data] 部分。特别是，将 data_folder 修改为在 TIMIT 准备过程中指定的 $OUTPUT_FOLDER。配置文件的其他参数属于以下部分：

  1. [windowing]，定义如何将每句话分割成更小的块。
  2. [cnn]，指定 CNN 架构的特征。
  3. [dnn]，指定 CNN 层之后的全连接 DNN 架构的特征。
  4. [class]，指定 softmax 分类部分。
  5. [optimization]，报告用于训练架构的主要超参数。

• 配置好 cfg 文件后，您可以使用以下命令运行说话人识别实验：

python speaker_id.py --cfg=cfg/SincNet_TIMIT.cfg

网络可能需要几个小时才能收敛（取决于您的 GPU 卡的速度）。在我们的例子中，使用 nvidia TITAN X 显卡，整个训练大约花费了 24 小时。如果您在集群中使用该代码，务必将归一化的数据集复制到本地节点上，因为当前版本的代码需要频繁访问存储的 wav 文件。请注意，有几个可能的优化措施可以提高代码速度，但在此版本中并未实现，因为它们超出了本工作的范围。

3. 结果。

结果会保存到 cfg 文件中指定的 output_folder 中。在这个文件夹中，您可以找到一个文件 (res.res)，总结了训练和测试的错误率。模型 model_raw.pkl 是在最后一次迭代后保存的 SincNet 模型。 使用上述配置文件，我们得到了以下结果：

epoch 0, loss_tr=5.542032 err_tr=0.984189 loss_te=4.996982 err_te=0.969038 err_te_snt=0.919913
epoch 8, loss_tr=1.693487 err_tr=0.434424 loss_te=2.735717 err_te=0.612260 err_te_snt=0.069264
epoch 16, loss_tr=0.861834 err_tr=0.229424 loss_te=2.465258 err_te=0.520276 err_te_snt=0.038240
epoch 24, loss_tr=0.528619 err_tr=0.144375 loss_te=2.948707 err_te=0.534053 err_te_snt=0.062049
epoch 32, loss_tr=0.362914 err_tr=0.100518 loss_te=2.530276 err_te=0.469060 err_te_snt=0.015152
epoch 40, loss_tr=0.267921 err_tr=0.076445 loss_te=2.761606 err_te=0.464799 err_te_snt=0.023088
epoch 48, loss_tr=0.215479 err_tr=0.061406 loss_te=2.737486 err_te=0.453493 err_te_snt=0.010823
epoch 56, loss_tr=0.173690 err_tr=0.050732 loss_te=2.812427 err_te=0.443322 err_te_snt=0.011544
epoch 64, loss_tr=0.145256 err_tr=0.043594 loss_te=2.917569 err_te=0.438507 err_te_snt=0.009380
epoch 72, loss_tr=0.128894 err_tr=0.038486 loss_te=3.009008 err_te=0.438005 err_te_snt=0.019481
....
epoch 320, loss_tr=0.033052 err_tr=0.009639 loss_te=4.076542 err_te=0.416710 err_te_snt=0.006494
epoch 328, loss_tr=0.033344 err_tr=0.010117 loss_te=3.928874 err_te=0.415024 err_te_snt=0.007215
epoch 336, loss_tr=0.033228 err_tr=0.010166 loss_te=4.030224 err_te=0.410034 err_te_snt=0.005051
epoch 344, loss_tr=0.033313 err_tr=0.010166 loss_te=4.402949 err_te=0.428691 err_te_snt=0.009380
epoch 352, loss_tr=0.031828 err_tr=0.009238 loss_te=4.080747 err_te=0.414066 err_te_snt=0.006494
epoch 360, loss_tr=0.033095 err_tr=0.009600 loss_te=4.254683 err_te=0.419954 err_te_snt=0.005772

收敛最初非常迅速（见前 30 个 epoch）。此后，性能提升逐渐减缓，并且句子级错误率出现了波动。尽管存在这些波动，后续的各个 epoch 仍呈现出平均性能提升的趋势。在本次实验中，我们于第 360 个 epoch 停止了训练。 res.res 文件中的字段含义如下：

• loss_tr：是在每一帧上计算的平均训练损失（即交叉熵函数）。
• err_tr：是训练数据的分类错误率（以帧为单位测量）。请注意，我们将语音信号分割成 200 毫秒的块，重叠 10 毫秒。错误率是对训练数据集中所有块的平均值。
• loss_te：是在每一帧上计算的平均测试损失（即交叉熵函数）。
• err_te：是测试数据的分类错误率（以帧为单位测量）。
• err_te_snt：是测试数据的分类错误率（以句子为单位测量）。请注意，我们将语音信号分割成 200 毫秒的块，重叠 10 毫秒。对于每个块，我们的 SincNet 模型都会对一组说话人进行预测。为了计算这个错误率，我们对所有预测进行了平均，并根据每个句子中最高平均概率的说话人进行投票。

您可以在这里找到我们为 TIMIT 训练的模型。

SincNet 在哪里实现？

要查看 SincNet 的实现，您应该打开 dnn_models.py 文件，并阅读 SincNet、sinc_conv 类以及 sinc 函数。

如何将 SincNet 应用到其他数据集？

在本仓库中，我们使用 TIMIT 数据集作为教程，展示 SincNet 的工作原理。 借助当前版本的代码，您可以轻松地使用其他语料库。为此，您需要提供特定于该语料库的输入文件（WAV 格式）以及您自己的标签。因此，您需要修改 data_lists 文件夹中的 .scp 文件中的路径。

为了为每句话分配正确的标签，您还需要修改名为 TIMIT_labels.npy 的字典文件。 标签以 Python 字典的形式指定，其中句子 ID 作为键（例如 si1027），说话人 ID 作为值。每个说话人 ID 是一个整数，范围从 0 到 N_spks-1。在 TIMIT 数据集中，您可以很容易地从文件路径中提取说话人 ID（例如，train/dr1/fcjf0/si1027.wav 表示由说话人 fcjf0 发音的句子 ID 为 si1027）。对于其他数据集，您也应能以类似方式构建包含说话人和句子 ID 对应关系的字典。

接下来，您需要根据新的路径修改配置文件 (cfg/SincNet_TIMIT.cfg)。同时，请务必根据您数据集中说话人的数量 N_spks 修改 class_lay=462 这一字段。

论文中使用的 Librispeech 数据集版本可按需提供。在我们的研究中，我们仅为每个说话人使用了 12–15 秒的训练材料，并对原始的 Librispeech 句子进行了处理以进行幅度归一化。此外，我们还使用了一个基于能量的简单 VAD 检测器，以去除每句话开头和结尾的静音，并将包含较长静音的句子拆分为多个片段。

参考文献

[1] Mirco Ravanelli, Yoshua Bengio, “Speaker Recognition from raw waveform with SincNet” Arxiv

SincNet 快速上手指南

SincNet 是一种专为处理原始音频样本设计的神经架构。它基于参数化的 sinc 函数实现带通滤波器，仅需学习截止频率即可生成定制滤波器组，特别适用于说话人识别任务。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux
• Python 版本: 3.6 或 2.7 (推荐 Python 3.6+)
• 深度学习框架: PyTorch 1.0
• 音频处理库: pysoundfile
• 推荐环境: 建议使用 Anaconda 管理依赖环境

安装步骤

建议使用 Conda 创建独立环境并安装依赖。

1. 创建并激活 Conda 环境（如果尚未安装）：

   conda create -n sincnet python=3.6
   conda activate sincnet
   

2. 安装 PyTorch： 注：国内用户可使用清华源加速安装，以下为通用命令，具体版本请根据显卡驱动调整。

   # 使用清华镜像源安装 PyTorch 1.0 (示例)
   pip install torch==1.0.0 torchvision==0.2.1 -i https://pypi.tuna.tsinghua.edu.cn/simple
   

3. 安装音频依赖库：

   conda install -c conda-forge pysoundfile
   

4. 获取代码： 克隆本仓库到本地：

   git clone https://github.com/mravanelli/SincNet.git
   cd SincNet
   

基本使用

以下以经典的 TIMIT 数据集为例，演示如何运行说话人识别实验。

1. 数据预处理

此步骤将移除静音片段并归一化音频幅度。请替换 $TIMIT_FOLDER 和 $OUTPUT_FOLDER 为您的实际路径。

python TIMIT_preparation.py $TIMIT_FOLDER $OUTPUT_FOLDER data_lists/TIMIT_all.scp

• $TIMIT_FOLDER: 原始 TIMIT 数据集路径
• $OUTPUT_FOLDER: 预处理后数据的存储路径
• data_lists/TIMIT_all.scp: 训练/测试文件列表

2. 配置实验参数

编辑配置文件 cfg/SincNet_TIMIT.cfg：

• 修改 [data] 部分中的 data_folder 为上一步生成的 $OUTPUT_FOLDER 路径。
• 如需调整网络结构（CNN/DNN）、窗口大小或优化器超参数，可分别修改 [windowing], [cnn], [dnn], [optimization] 等章节。
• 注意：若使用自定义数据集，需同步修改 class_lay 参数以匹配说话人数量。

3. 运行训练

执行以下命令启动说话人识别训练：

python speaker_id.py --cfg=cfg/SincNet_TIMIT.cfg

• 耗时提示：模型收敛可能需要数小时（取决于 GPU 性能，如在 NVIDIA TITAN X 上约需 24 小时）。
• 集群建议：若在集群运行，建议将归一化后的数据集复制到本地节点，以减少频繁读取 wav 文件的 I/O 延迟。

4. 查看结果

训练完成后，结果将保存在配置文件中指定的 output_folder 目录下：

• res.res: 包含训练和测试的损失值及错误率总结。
• model_raw.pkl: 最后一次迭代保存的 SincNet 模型文件。

结果字段说明：

• loss_tr / loss_te: 帧级别的平均训练/测试损失（交叉熵）。
• err_tr / err_te: 帧级别的分类错误率。
• err_te_snt: 句子级别的分类错误率（通过对句子内所有片段的预测概率取平均并投票得出）。

提示：若需将 SincNet 应用于语音识别或其他更复杂的场景，推荐参考 PyTorch-Kaldi 项目或全功能工具包 SpeechBrain。