========================================================================================================================= 用于说话人验证的三维卷积神经网络 TensorFlow 实现 - 官方项目页面_ - PyTorch 实现_

.. image:: https://codecov.io/gh/astorfi/3D-convolutional-speaker-recognition/branch/master/graph/badge.svg :target: https://codecov.io/gh/astorfi/3D-convolutional-speaker-recognition .. image:: https://img.shields.io/badge/contributions-welcome-brightgreen.svg?style=flat :target: https://github.com/astorfi/3D-convolutional-speaker-recognition/pulls .. image:: https://badges.frapsoft.com/os/v2/open-source.svg?v=102 :target: https://github.com/ellerbrock/open-source-badge/ .. image:: https://zenodo.org/badge/94718341.svg :target: https://zenodo.org/badge/latestdoi/94718341 .. image:: https://img.shields.io/twitter/follow/amirsinatorfi.svg?label=Follow&style=social :target: https://twitter.com/amirsinatorfi

本仓库包含了我们题为《使用三维卷积神经网络进行文本无关的说话人验证》论文的代码发布。论文链接_ 也一并提供。

.. _Official Project Page: https://codeocean.com/2017/08/01/3d-convolutional-neural-networks-for-speaker-recognition/code .. _Pytorch Implementation: https://github.com/astorfi/3D-convolutional-speaker-recognition-pytorch

.. _paper: https://arxiv.org/abs/1705.09422 .. _TensorFlow: https://www.tensorflow.org/

代码采用 TensorFlow_ 开发，输入管道需由用户自行准备。该代码旨在按照说话人验证协议，利用三维卷积神经网络实现说话人验证（SR）。

.. image:: readme_images/conv_gif.gif :target: https://github.com/astorfi/3D-convolutional-speaker-recognition/blob/master/_images/conv_gif.gif

---

引用

如果您使用了此代码，请考虑引用以下论文：

.. code:: shell

@article{torfi2017text,
  title={Text-independent speaker verification using 3d convolutional neural networks},
  author={Torfi, Amirsina and Nasrabadi, Nasser M and Dawson, Jeremy},
  journal={arXiv preprint arXiv:1705.09422},
  year={2017}
}

---

演示

要运行演示，在 fork 仓库后，执行以下脚本：

.. code:: shell

./run.sh

|speakerrecognition|

.. |speakerrecognition| image:: readme_images/speakerrecognition.png :target: https://asciinema.org/a/yfy6FryUAWWMl1vgylrRagMdw

---

总体概述

我们利用三维卷积架构来构建说话人模型，以便同时捕捉来自说话者语音的声学特征和时间信息。

说话人验证协议 (SVP)

在本工作中，我们采用三维卷积神经网络 (3D-CNN) 架构，分三个阶段进行文本无关的说话人验证。

 1. 在 **开发阶段**，训练一个 CNN 来对单个语音片段进行说话人分类。

 2. 在 **注册阶段**，利用训练好的网络直接根据提取的特征为每个说话人创建说话人模型。

 3. 最后，在 **评估阶段**，将测试语音中提取的特征与存储的说话人模型进行比较，以验证声称的身份。

上述三个阶段通常被视为说话人验证协议。其中的主要挑战之一是说话人模型的创建。先前报道的方法基于对说话者语音中提取特征的平均值来创建说话人模型，这种方法被称为 d-vector 系统。

如何利用三维卷积神经网络？

在我们的论文中，我们提出了一种直接创建说话人模型的 3D-CNN 实现方法：在开发和注册阶段，向网络输入相同数量的说话人语音，以此表示语音内容并创建说话人模型。这使得我们可以同时捕捉说话人的相关信息，并构建一个更鲁棒的系统来应对同一说话人内部的变化。我们证明了所提出的方法显著优于 d-vector 验证系统。

---

代码实现

输入管道需由用户自行提供。请参阅 code/0-input/input_feature.py 以了解输入管道的工作方式。

本工作的输入管道

.. image:: readme_images/Speech_GIF.gif :target: https://github.com/astorfi/3D-convolutional-speaker-recognition/blob/master/_images/Speech_GIF.gif

MFCC 特征可以用作语音帧级别的数据表示。然而，其缺点在于由于生成 MFCC 的最后一道 DCT 1 操作导致的非局部特性。这一操作破坏了局部性，与卷积操作的局部特性相悖。本工作采用的方法是使用对数能量，我们称之为 MFEC。MFEC 的提取过程类似于 MFCC，只是去掉了 DCT 操作。时间特征是以 10ms 步长重叠的 20ms 窗口，用于生成频谱特征。从一段 0.8 秒的音频样本中，可以得到 80 组时间特征（每组包含 40 个 MFEC 特征），这些特征共同构成输入的语音特征图。每个输入特征图的维度为 ζ × 80 × 40，由 80 个输入帧及其对应的频谱特征组成，其中 ζ 表示在开发和注册阶段用于建模说话人的语音数量。

语音特征是使用 [SpeechPy]_ 包提取的。

三维卷积操作的实现

.. _Slim: https://github.com/tensorflow/tensorflow/tree/master/tensorflow/contrib/slim

Slim_ 高级 API 使我们的工作变得非常容易。我们采用了以下脚本来实现：

.. code:: python

    net = slim.conv2d(inputs, 16, [3, 1, 5], stride=[1, 1, 1], scope='conv11')
    net = PReLU(net, 'conv11_activation')
    net = slim.conv2d(net, 16, [3, 9, 1], stride=[1, 2, 1], scope='conv12')
    net = PReLU(net, 'conv12_activation')
    net = tf.nn.max_pool3d(net, strides=[1, 1, 1, 2, 1], ksize=[1, 1, 1, 2, 1], padding='VALID', name='pool1')

############ 卷积-2 ############### ############ 卷积-1 ############### net = slim.conv2d(net, 32, [3, 1, 4], stride=[1, 1, 1], scope='conv21') net = PReLU(net, 'conv21_activation') net = slim.conv2d(net, 32, [3, 8, 1], stride=[1, 2, 1], scope='conv22') net = PReLU(net, 'conv22_activation') net = tf.nn.max_pool3d(net, strides=[1, 1, 1, 2, 1], ksize=[1, 1, 1, 2, 1], padding='VALID', name='pool2')

    ############ 卷积-3 ###############
    ############ 卷积-1 ###############
    net = slim.conv2d(net, 64, [3, 1, 3], stride=[1, 1, 1], scope='conv31')
    net = PReLU(net, 'conv31_activation')
    net = slim.conv2d(net, 64, [3, 7, 1], stride=[1, 1, 1], scope='conv32')
    net = PReLU(net, 'conv32_activation')
    # net = slim.max_pool2d(net, [1, 1], stride=[4, 1], scope='pool1')

    ############ 卷积-4 ###############
    net = slim.conv2d(net, 128, [3, 1, 3], stride=[1, 1, 1], scope='conv41')
    net = PReLU(net, 'conv41_activation')
    net = slim.conv2d(net, 128, [3, 7, 1], stride=[1, 1, 1], scope='conv42')
    net = PReLU(net, 'conv42_activation')
    # net = slim.max_pool2d(net, [1, 1], stride=[4, 1], scope='pool1')

    ############ 卷积-5 ###############
    net = slim.conv2d(net, 128, [4, 3, 3], stride=[1, 1, 1], normalizer_fn=None, scope='conv51')
    net = PReLU(net, 'conv51_activation'

    # net = slim.conv2d(net, 256, [1, 1], stride=[1, 1], scope='conv52')
    # net = PReLU(net, 'conv52_activation'

    # 最后一层是用于分类的logits
    logits = tf.contrib.layers.conv2d(net, num_classes, [1, 1, 1], activation_fn=None, scope='fc')

从代码中可以看出，使用了slim.conv2d。然而，只需将卷积核设置为三维形式[k_x, k_y, k_z]以及步幅stride=[a, b, c]，即可将其转换为三维卷积操作。slim.conv2d的基础是tf.contrib.layers.conv2d。更多详细信息请参阅官方文档_。

.. _Documentation: https://www.tensorflow.org/api_docs/python/tf/contrib/layers

---

免责声明

.. _link: https://github.com/tensorflow/models/tree/master/slim

代码架构部分深受Slim_及其图像分类库的启发。更多详情请参阅此链接_。

---

引用

如果您使用了本代码，请务必引用以下论文：

.. code:: shell

@article{torfi2017text, title={Text-Independent Speaker Verification Using 3D Convolutional Neural Networks}, author={Torfi, Amirsina and Nasrabadi, Nasser M and Dawson, Jeremy}, journal={arXiv preprint arXiv:1705.09422}, year={2017} }

---

许可

许可如下：

.. code:: shell

附录：如何将Apache许可证应用于您的作品。

  要将Apache许可证应用于您的作品，请附加以下标准声明，并将方括号中的内容“{}”替换为您自己的身份信息。（不要包含方括号！）文本应使用相应文件格式的注释语法进行包裹。我们还建议在与版权通知同一页上注明文件或类名及用途说明，以便于第三方存档中的识别。

版权所有 {2017} {Amirsina Torfi}

根据Apache许可证第2.0版（“许可证”）授权； 除非遵守该许可证，否则不得使用本文件。 您可以从以下地址获取许可证副本：

   http://www.apache.org/licenses/LICENSE-2.0

除非适用法律要求或书面同意，否则根据“AS IS”的基础分发软件， 不提供任何形式的保证或条件。 许可证的具体语言、权限和限制条款请参阅许可证本身。

更多细节请参阅LICENSE_文件。

.. _LICENSE: https://github.com/astorfi/3D-convolutional-speaker-recognition/blob/master/LICENSE

---

贡献

我们期待您的宝贵反馈。请帮助我们改进代码，使我们的工作更加完善。如需贡献，请创建拉取请求，我们将尽快审核。再次感谢您的反馈和代码审查。

.. rubric:: 参考文献

.. [SpeechPy] Amirsina Torfi. 2017. astorfi/speech_feature_extraction: SpeechPy. Zenodo. doi:10.5281/zenodo.810392.

3D-convolutional-speaker-recognition 快速上手指南

本项目是基于 TensorFlow 实现的文本无关说话人验证（Text-Independent Speaker Verification）系统，核心采用 3D 卷积神经网络（3D-CNN）架构，能够同时捕捉语音的频谱特征与时序信息。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux 或 macOS (Windows 需通过 WSL 运行)
• Python: 建议 Python 3.6+
• 深度学习框架: TensorFlow (注意：代码使用了 tf.contrib.slim，建议使用 TensorFlow 1.x 版本，如 1.12-1.15)
• 依赖库:
  • SpeechPy: 用于提取语音特征 (MFECs)
  • numpy, scipy 等基础科学计算库

前置依赖安装命令：

pip install tensorflow==1.15.0
pip install speechpy
pip install numpy scipy

提示：由于原项目基于 TensorFlow 1.x 构建，若使用 TensorFlow 2.x，可能需要手动兼容 tf.contrib 模块或使用迁移工具。

安装步骤

1. 克隆仓库 将项目代码下载到本地：

   git clone https://github.com/astorfi/3D-convolutional-speaker-recognition.git
   cd 3D-convolutional-speaker-recognition
   

2. 准备输入数据管道 本项目不包含原始数据集，用户需自行准备输入数据管道。

   • 特征提取：项目推荐使用 MFECs (Log-energies) 而非传统的 MFCCs，以保留局部特性。
   • 参考实现：请查看 code/0-input/input_feature.py 了解如何构建输入特征映射。
   • 输入维度：生成的特征图维度应为 $\zeta \times 80 \times 40$，其中 $\zeta$ 为用于建模的语音片段数量，80 为时间帧数，40 为频谱特征数。

基本使用

项目提供了一个简单的演示脚本，用于展示完整的运行流程（包括模型加载与推理演示）。

运行演示：

在项目根目录下执行以下脚本：

./run.sh

如果脚本没有执行权限，请先赋予权限：

chmod +x run.sh
./run.sh

核心流程说明： 该演示遵循标准的说话人验证协议（SVP），包含三个阶段：

1. **开发阶段 **(Development): 训练 CNN 在语句级别对说话人进行分类。
2. **注册阶段 **(Enrollment): 利用训练好的网络，基于提取的特征直接为每个说话人生成模型。
3. **评估阶段 **(Evaluation): 将测试语句的特征与存储的说话人模型进行比对，验证身份。

自定义训练/推理： 若需修改网络结构或进行特定训练，请参考 code/ 目录下的具体实现。核心 3D 卷积层通过 slim.conv2d 配合 3D 核（如 [3, 1, 5]）实现，示例如下：

net = slim.conv2d(inputs, 16, [3, 1, 5], stride=[1, 1, 1], scope='conv11')
net = PReLU(net, 'conv11_activation')
# ... 后续层定义见源码

---

注：如果您在研究中使用了此代码，请引用原文论文：Torfi, Amirsina, et al. "Text-independent speaker verification using 3d convolutional neural networks." arXiv preprint arXiv:1705.09422 (2017).