Speech-to-Text-WaveNet：使用 DeepMind 的 WaveNet 进行端到端句子级英语语音识别

基于 DeepMind 的 WaveNet：原始音频生成模型 的 TensorFlow 语音识别实现。（以下简称“论文”）

虽然 ibab 和 tomlepaine 已经使用 TensorFlow 实现了 WaveNet，但他们没有实现语音识别。这就是为什么我们决定自己实现它。

DeepMind 的一些近期论文难以复现。该论文也省略了关于实现的具体细节，我们必须以自己的方式填补这些空白。

以下是一些重要说明。

首先，虽然论文使用了 TIMIT 数据集进行语音识别实验，但我们使用了免费的 VCTK 数据集。

其次，论文在膨胀卷积层（dilated convolution layer）后添加了一个平均池化层（mean-pooling layer）用于下采样。我们从 wav 文件中提取了 MFCC（梅尔频率倒谱系数），并移除了最终的平均池化层，因为原始设置在我们的 TitanX GPU 上无法运行。

第三，由于 TIMIT 数据集具有音素标签，论文使用两个损失项训练模型：音素分类和下一个音素预测。相反，我们使用了单一的 CTC 损失（Connectionist Temporal Classification Loss），因为 VCTK 提供句子级标签。因此，我们仅使用了膨胀卷积 1D 层，而没有使用任何池化层。

最后，由于时间限制，我们没有进行诸如 BLEU 分数（BLEU Score）之类的定量分析，也没有结合语言模型进行后处理。

最终架构如下图所示。

（部分图片裁剪自 [WaveNet：原始音频生成模型](https://arxiv.org/abs/1609.03499) 和 [线性时间的神经机器翻译](https://arxiv.org/abs/1610.10099)）

版本

当前版本：0.0.0.2

依赖项（版本号必须完全匹配！）

1. tensorflow == 1.0.0
2. sugartensor == 1.0.0.2
3. pandas >= 0.19.2
4. librosa == 0.5.0
5. scikits.audiolab==0.11.0

如果您在使用 librosa 库时遇到问题，请尝试通过以下命令安装 ffmpeg。（Ubuntu 14.04）

sudo add-apt-repository ppa:mc3man/trusty-media
sudo apt-get update
sudo apt-get dist-upgrade -y
sudo apt-get -y install ffmpeg

数据集

我们使用了 VCTK、LibriSpeech 和 TEDLIUM release 2 语料库。 由上述三个语料库组成的训练集中的句子总数为 240,612。 验证集和测试集仅使用 LibriSpeech 和 TEDLIUM 语料库构建，因为 VCTK 语料库没有验证集和测试集。 下载每个语料库后，将它们解压到 'asset/data/VCTK-Corpus'、'asset/data/LibriSpeech' 和 'asset/data/TEDLIUM_release2' 目录中。

音频增强方案参考了 Tom Ko 等人 的论文。 (感谢 @migvel 提供的信息)

数据集预处理

TEDLIUM release 2 数据集提供的是 SPH 格式的音频数据，因此我们需要将其转换为 librosa 库可以处理的格式。在 'asset/data' 目录下运行以下命令将 SPH 转换为 WAV 格式。

find -type f -name '*.sph' | awk '{printf "sox -t sph %s -b 16 -t wav %s\n", $0, $0".wav" }' | bash

如果您尚未安装 sox，请先安装它。

sudo apt-get install sox

我们发现训练时的主要瓶颈是磁盘读取时间，因此我们决定将整个音频数据预处理为小得多的 MFCC 特征文件。我们强烈建议使用 SSD 而不是机械硬盘。
在控制台运行以下命令以预处理整个数据集。

python preprocess.py

训练网络

执行以下命令来训练网络。

python train.py ( <== 使用所有可用的 GPU )
or
CUDA_VISIBLE_DEVICES=0,1 python train.py ( <== 仅使用 GPU 0, 1 )

您可以在 'asset/train' 目录中看到结果 ckpt 文件和日志文件。 启动 tensorboard --logdir asset/train/log 以监控训练过程。

我们在 3 块 Nvidia 1080 Pascal GPU 上训练此模型，耗时 40 小时，达到 50 个 epoch，并选择了验证损失最小的那个 epoch。在我们的案例中，它是第 40 个 epoch。如果遇到内存不足错误，请将 train.py 文件中的 batch_size 从 16 减少到 4。

每个 epoch 的 CTC 损失如下表所示：

epoch	train set	valid set	test set
20	79.541500	73.645237	83.607269
30	72.884180	69.738348	80.145867
40	69.948266	66.834316	77.316114
50	69.127240	67.639895	77.866674

测试网络

训练完成后，您可以通过以下命令检查验证集或测试集的 CTC 损失。

python test.py --set train|valid|test --frac 1.0(0.01~1.0)

如果您只想测试数据集的一部分以进行快速评估，frac 选项将很有用。

将语音波形文件转换为英文文本

执行

python recognize.py --file 

将语音波形文件转换为英文句子。结果将打印在控制台上。

例如，尝试以下命令。

python recognize.py --file asset/data/LibriSpeech/test-clean/1089/134686/1089-134686-0000.flac
python recognize.py --file asset/data/LibriSpeech/test-clean/1089/134686/1089-134686-0001.flac
python recognize.py --file asset/data/LibriSpeech/test-clean/1089/134686/1089-134686-0002.flac
python recognize.py --file asset/data/LibriSpeech/test-clean/1089/134686/1089-134686-0003.flac
python recognize.py --file asset/data/LibriSpeech/test-clean/1089/134686/1089-134686-0004.flac

结果如下：

he hoped there would be stoo for dinner turnips and charrats and bruzed patatos and fat mutton pieces to be ladled out in th thick peppered flower fatan sauce
stuffid into you his belly counsiled him
after early night fall the yetl lampse woich light hop here and there on the squalled quarter of the browfles
o berty and he god in your mind
numbrt tan fresh nalli is waiting on nou cold nit husband

真实标签 (Ground Truth) 如下：

HE HOPED THERE WOULD BE STEW FOR DINNER TURNIPS AND CARROTS AND BRUISED POTATOES AND FAT MUTTON PIECES TO BE LADLED OUT IN THICK PEPPERED FLOUR FATTENED SAUCE
STUFF IT INTO YOU HIS BELLY COUNSELLED HIM
AFTER EARLY NIGHTFALL THE YELLOW LAMPS WOULD LIGHT UP HERE AND THERE THE SQUALID QUARTER OF THE BROTHELS
HELLO BERTIE ANY GOOD IN YOUR MIND
NUMBER TEN FRESH NELLY IS WAITING ON YOU GOOD NIGHT HUSBAND

如前所述，没有语言模型 (Language Model)，因此存在大写字母、标点和单词拼写错误的情况。

预训练模型 (Pre-trained Models)

您可以使用 VCTK 语料库 (Corpus) 上的预训练模型将语音波形文件转换为英文文本。 提取 以下 zip 文件 到 'asset/train/' 目录中。

Docker 支持

请查看 docker README.md。

未来工作

1. 语言模型 (Language Model)
2. 多语言（多语种）模型 (Polyglot/Multi-lingual Model)

我们认为应该用实用的语言模型替换 CTC 束解码器 (CTC Beam Decoder)，而多语言语音识别模型将是未来工作的良好候选方案。

其他资源

1. ibab 的 WaveNet(语音合成) TensorFlow 实现
2. tomlepaine 的快速 WaveNet(语音合成) TensorFlow 实现

Namju 的其他仓库

1. SugarTensor
2. EBGAN TensorFlow 实现
3. 时间序列 GAN TensorFlow 实现
4. 监督 InfoGAN TensorFlow 实现
5. AC-GAN TensorFlow 实现
6. SRGAN TensorFlow 实现
7. ByteNet-快速神经机器翻译

引用

如果您发现此代码有用，请在您的工作中引用我们：

Kim and Park. Speech-to-Text-WaveNet. 2016. GitHub repository. https://github.com/buriburisuri/.

作者

Namju Kim (namju.kim@kakaocorp.com) at KakaoBrain Corp.

Kyubyong Park (kbpark@jamonglab.com) at KakaoBrain Corp.

Speech-to-Text-WaveNet 快速上手指南

Speech-to-Text-WaveNet 是一个基于 DeepMind WaveNet 架构的端到端英语语音识别开源项目（TensorFlow 实现）。本项目旨在复现原始论文，并针对实际硬件环境进行了调整。

注意：该项目依赖较旧的 TensorFlow 版本 (1.0.0)，建议在兼容的旧版系统或 Docker 环境中运行。

环境准备

系统要求

• 操作系统：Linux (推荐 Ubuntu 14.04+)
• 硬件：NVIDIA GPU (如 TitanX, GTX 1080 Pascal 等)，建议使用 SSD 硬盘以加速数据读取。
• CUDA/cuDNN：需配置与 TensorFlow 1.0.0 兼容的版本（通常对应 CUDA 8.0 / cuDNN 5.1）。

前置依赖

请确保以下库的版本严格匹配（Exact Match）：

库名称	必需版本
tensorflow	== 1.0.0
sugartensor	== 1.0.0.2
pandas	>= 0.19.2
librosa	== 0.5.0
scikits.audiolab	== 0.11.0

此外，还需安装系统级音频处理工具：

sudo apt-get install sox ffmpeg

安装步骤

1. 克隆代码

git clone https://github.com/buriburisuri/speech-to-text-wavenet.git
cd speech-to-text-wavenet

2. 安装 Python 依赖

推荐使用国内镜像源加速下载：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow==1.0.0 sugartensor==1.0.0.2 pandas librosa==0.5.0 scikits.audiolab==0.11.0

3. 准备数据集

项目支持 VCTK、LibriSpeech 和 TEDLIUM release 2 语料库。下载后解压至对应目录：

asset/data/VCTK-Corpus
asset/data/LibriSpeech
asset/data/TEDLIUM_release2

(注：VCTK 无验证集和测试集，验证/测试集仅由 LibriSpeech 和 TEDLIUM 构建)

4. 数据预处理

若数据集包含 .sph 格式（如 TEDLIUM），需先转换为 wav：

find -type f -name '*.sph' | awk '{printf "sox -t sph %s -b 16 -t wav %s\n", $0, $0".wav" }' | bash

随后生成 MFCC 特征文件（推荐）：

python preprocess.py

基本使用

训练模型

使用可用 GPU 进行训练：

python train.py 

或使用指定 GPU (例如 0, 1)：

CUDA_VISIBLE_DEVICES=0,1 python train.py 

监控训练过程：

tensorboard --logdir asset/train/log

提示：如遇内存不足，请在 train.py 中将 batch_size 从 16 调低至 4。

语音转文字 (推理)

使用训练好的模型将音频文件转换为英文文本：

python recognize.py --file <wave_file path>

示例：

python recognize.py --file asset/data/LibriSpeech/test-clean/1089/134686/1089-134686-0000.flac

使用预训练模型

若无需自行训练，可下载官方在 VCTK 语料上训练的预训练模型，解压至 asset/train/ 目录即可直接使用 recognize.py。