Deep Speaker：一个端到端的神经说话人嵌入系统。

非官方的 Tensorflow/Keras 实现 Deep Speaker | 论文 | 预训练模型

已在 Tensorflow 2.3、2.4、2.5 和 2.6 上测试。

示例结果

模型在干净语音数据上训练。需要注意的是，在噪声数据上的性能会有所下降。建议在计算嵌入（embedding）之前去除静音和背景噪声（例如使用 Sox 工具）。相关讨论请见：静音/背景噪声相似度。

模型名称	测试数据集	说话人数量	F	TPR	ACC	EER	训练日志	下载模型
ResCNN Softmax 训练	LibriSpeech all(*)	2484	0.789	0.733	0.996	0.043	点击	点击
ResCNN Softmax+Triplet 训练	LibriSpeech all(*)	2484	0.843	0.825	0.997	0.025	点击	点击

(*) all 包括：dev-clean、dev-other、test-clean、test-other、train-clean-100、train-clean-360、train-other-500。

Softmax+Triplet 检查点也可在微云上获取。

概述

Deep Speaker 是一个神经说话人嵌入系统，它将语音 utterances（语音片段）映射到一个超球面（hypersphere），在该空间中说话人相似度通过余弦相似度（cosine similarity）来衡量。Deep Speaker 生成的嵌入可以用于多种任务，包括说话人识别、验证和聚类。

入门指南

安装依赖

环境要求

• tensorflow>=2.0
• keras>=2.3.1
• python>=3.6

pip install -r requirements.txt

如果遇到此错误：libsndfile not found，请运行：sudo apt-get install libsndfile-dev。

训练

训练代码已包含在本仓库中。使用 GTX1070 训练模型大约需要不到一周的时间。

完整训练的系统要求：

• 至少 300GB 的可用磁盘空间在高速 SSD 上（仅解压和处理后的数据就需要 250GB）
• 32GB 内存和至少 32GB 交换空间（可以使用 SSD 空间创建交换分区）
• NVIDIA GPU，例如 1080Ti

pip uninstall -y tensorflow && pip install tensorflow-gpu
./deep-speaker download_librispeech    # 如果下载太慢，可以考虑在 download_librispeech.sh 中将 [wget] 替换为 [axel -n 10 -a]。
./deep-speaker build_mfcc              # 将为 Softmax 预训练和 Triplet 训练构建 MFCC。
./deep-speaker build_model_inputs      # 将为 Softmax 预训练构建输入。
./deep-speaker train_softmax           # 大约需要 3 天。
./deep-speaker train_triplet           # 大约需要 3 天。

注意：如果您想使用自己的数据集，请确保遵循 librispeech 的目录结构。音频文件必须是 .flac 格式。如果您有 .wav 文件，可以使用 ffmpeg 进行转换。两种格式都是无损的（FLAC 是压缩的 WAV）。

使用预训练模型进行测试

• 下载训练好的模型

模型名称	训练使用的数据集	说话人数量	模型链接
ResCNN Softmax 训练	LibriSpeech train-clean-360	921	点击
ResCNN Softmax+Triplet 训练	LibriSpeech all	2484	点击

注意：预训练是在我们所有说话人的一个子集上进行的。这是为了遵循论文的思路，即先用 Softmax 训练模型，然后在整个数据集上（比本仓库更大！）用 Triplet 进行训练。

• 使用预训练模型运行

import random

import numpy as np

from deep_speaker.audio import read_mfcc
from deep_speaker.batcher import sample_from_mfcc
from deep_speaker.constants import SAMPLE_RATE, NUM_FRAMES
from deep_speaker.conv_models import DeepSpeakerModel
from deep_speaker.test import batch_cosine_similarity

# 可复现的结果。
np.random.seed(123)
random.seed(123)

# 在此处定义模型。
model = DeepSpeakerModel()

# 加载检查点。https://drive.google.com/file/d/1F9NvdrarWZNktdX9KlRYWWHDwRkip_aP
# 也可在此处获取：https://share.weiyun.com/V2suEUVh（中国用户）。
model.m.load_weights('ResCNN_triplet_training_checkpoint_265.h5', by_name=True)

# 为同一说话人的 WAV/FLAC 文件采样一些输入。
# 为了每次调用此函数时都能获得可复现的结果，请在每次调用前设置随机种子。
# np.random.seed(123)
# random.seed(123)
mfcc_001 = sample_from_mfcc(read_mfcc('samples/PhilippeRemy/PhilippeRemy_001.wav', SAMPLE_RATE), NUM_FRAMES)
mfcc_002 = sample_from_mfcc(read_mfcc('samples/PhilippeRemy/PhilippeRemy_002.wav', SAMPLE_RATE), NUM_FRAMES)

# 调用模型获取每个文件的形状为 (1, 512) 的嵌入。
predict_001 = model.m.predict(np.expand_dims(mfcc_001, axis=0))
predict_002 = model.m.predict(np.expand_dims(mfcc_002, axis=0))

# 对另一个不同说话人重复此操作。
mfcc_003 = sample_from_mfcc(read_mfcc('samples/1255-90413-0001.flac', SAMPLE_RATE), NUM_FRAMES)
predict_003 = model.m.predict(np.expand_dims(mfcc_003, axis=0))

# 计算余弦相似度。
similarity_same = batch_cosine_similarity(predict_001, predict_002)
similarity_diff = batch_cosine_similarity(predict_001, predict_003)

print('相同说话人的相似度:', similarity_same)
print('不同说话人的相似度:', similarity_diff)

计算余弦相似度并验证相同说话人的相似度更高

print('SAME SPEAKER', batch_cosine_similarity(predict_001, predict_002)) # SAME SPEAKER [0.81564593] print('DIFF SPEAKER', batch_cosine_similarity(predict_001, predict_003)) # DIFF SPEAKER [0.1419204]

* 训练后复现测试结果的命令

**注意**：由于某些原因，`test-model` 在 tensorflow>2.3 版本下无法运行。如果你想运行下面两条命令，请确保执行 `pip install tensorflow==2.3`。

```bash
$ export CUDA_VISIBLE_DEVICES=0; python cli.py test-model --working_dir ~/.deep-speaker-wd/triplet-training/ --
checkpoint_file checkpoints-softmax/ResCNN_checkpoint_102.h5
f-measure = 0.789, true positive rate = 0.733, accuracy = 0.996, equal error rate = 0.043

$ export CUDA_VISIBLE_DEVICES=0; python cli.py test-model --working_dir ~/.deep-speaker-wd/triplet-training/ --checkpoint_file checkpoints-triplets/ResCNN_checkpoint_265.h5
f-measure = 0.849, true positive rate = 0.798, accuracy = 0.997, equal error rate = 0.025

当三元组损失（triplet loss，一种用于度量学习的损失函数）选择困难样本时，训练损失并不会真正下降。因为困难样本始终是困难的，意味着它们平均高于阈值 alpha。然而，测试集的性能应该会下降。

后续工作

• LSTM 模型：https://github.com/philipperemy/deep-speaker/pull/53
• 融合分数：https://github.com/philipperemy/deep-speaker/pull/76

贡献者

Deep Speaker 快速上手指南

Deep Speaker 是一个端到端神经说话人嵌入系统，将语音映射到超球面上，通过余弦相似度衡量说话人相似度。可用于说话人识别、验证和聚类等任务。

环境准备

系统要求

• Python >= 3.6
• TensorFlow >= 2.0
• Keras >= 2.3.1
• NVIDIA GPU（如 1080Ti，推荐用于训练）

如需完整训练，还需：

• 至少 300GB 空闲 SSD 空间
• 32GB 内存 + 32GB 交换空间

系统依赖

# Debian/Ubuntu
sudo apt-get install libsndfile-dev

安装步骤

# 克隆仓库
git clone https://github.com/philipperemy/deep-speaker.git
cd deep-speaker

# 安装 Python 依赖（推荐使用国内镜像源）
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

1. 下载预训练模型

模型	训练数据	下载链接
ResCNN Softmax	LibriSpeech train-clean-360	Google Drive
ResCNN Softmax+Triplet	LibriSpeech all	Google Drive

国内用户可从微云下载：https://share.weiyun.com/V2suEUVh

2. 使用预训练模型进行推理

将下载的模型权重文件重命名为 ResCNN_triplet_training_checkpoint_265.h5，然后运行以下代码：

import random
import numpy as np

from deep_speaker.audio import read_mfcc
from deep_speaker.batcher import sample_from_mfcc
from deep_speaker.constants import SAMPLE_RATE, NUM_FRAMES
from deep_speaker.conv_models import DeepSpeakerModel
from deep_speaker.test import batch_cosine_similarity

# 可复现结果
np.random.seed(123)
random.seed(123)

# 加载模型
model = DeepSpeakerModel()
model.m.load_weights('ResCNN_triplet_training_checkpoint_265.h5', by_name=True)

# 读取同一说话人的两个音频
mfcc_001 = sample_from_mfcc(read_mfcc('samples/PhilippeRemy/PhilippeRemy_001.wav', SAMPLE_RATE), NUM_FRAMES)
mfcc_002 = sample_from_mfcc(read_mfcc('samples/PhilippeRemy/PhilippeRemy_002.wav', SAMPLE_RATE), NUM_FRAMES)

# 获取嵌入向量
predict_001 = model.m.predict(np.expand_dims(mfcc_001, axis=0))
predict_002 = model.m.predict(np.expand_dims(mfcc_002, axis=0))

# 读取另一说话人的音频
mfcc_003 = sample_from_mfcc(read_mfcc('samples/1255-90413-0001.flac', SAMPLE_RATE), NUM_FRAMES)
predict_003 = model.m.predict(np.expand_dims(mfcc_003, axis=0))

# 计算余弦相似度
print('SAME SPEAKER:', batch_cosine_similarity(predict_001, predict_002))
print('DIFF SPEAKER:', batch_cosine_similarity(predict_001, predict_003))

预期输出：

• 同一说话人相似度：~0.82
• 不同说话人相似度：~0.14

3. 使用自己的数据

音频文件需为 .flac 格式（推荐）或 .wav 格式。如需格式转换：

ffmpeg -i input.wav -acodec flac output.flac

训练自己的模型（如需）

# 下载 LibriSpeech 数据集
./deep-speaker download_librispeech

# 构建 MFCC 特征
./deep-speaker build_mfcc
./deep-speaker build_model_inputs

# 训练 Softmax 模型（约3天）
./deep-speaker train_softmax

# 训练 Triplet 模型（约3天）
./deep-speaker train_triplet

注意：完整训练需要约一周时间，使用 GTX1070 GPU。