Honk：用于关键词检测的卷积神经网络

Honk 是 Google TensorFlow 卷积神经网络用于关键词检测的 PyTorch 重新实现，伴随着他们最近发布的 语音命令数据集。更多详情，请参阅我们的论文：

• Raphael Tang, Jimmy Lin. Honk：用于关键词检测的卷积神经网络的 PyTorch 重新实现。 arXiv:1710.06554, 2017年10月。
• Raphael Tang, Jimmy Lin. 面向小规模部署的关键词检测的深度残差学习。 2018 IEEE 国际声学、语音与信号处理会议论文集，第5479–5483页。

Honk 对于构建交互式智能代理的设备端语音识别功能非常有用。我们的代码可用于识别简单命令（例如“停止”和“开始”），并可进一步调整以检测自定义“命令触发词”（例如“嘿，Siri！”）。

请观看这段视频，了解 Honk 的实际演示！

演示应用

按照以下说明，您也可以运行上面视频中展示的演示应用！

目前，PyTorch 官方仅支持 Linux 和 OS X 系统。因此，Windows 用户将无法轻松运行此演示。

要部署演示程序，请执行以下步骤：

• 如果尚未安装 PyTorch，请访问 官方网站。
• 安装 Python 依赖项：pip install -r requirements.txt
• 通过包管理器安装 GLUT（OpenGL 工具包），例如 apt-get install freeglut3-dev。
• 获取数据和模型：./fetch_data.sh
• 启动 PyTorch 服务器：python .
• 运行演示程序：python utils/speech_demo.py

如果需要调整选项，例如关闭 CUDA，请编辑 config.json 文件。

Mac OS X 的补充说明：

• Mac OS X 已经预装了 GLUT，因此无需额外安装。
• 如果在安装 pyaudio 时遇到问题，可能是由于缺少 portaudio.h 文件导致的。

服务器

设置与部署

python . 将部署用于识别音频中是否包含命令词的 Web 服务。默认情况下，使用 config.json 进行配置，但也可以通过 --config=<file_name> 更改配置文件。如果服务器位于防火墙之后，一种方法是创建 SSH 隧道，并使用配置文件中指定的端口（默认为 16888）进行端口转发。

在我们的 honk-models 仓库中，提供了多个针对 Caffe2（ONNX）和 PyTorch 的预训练模型。fetch_data.sh 脚本会下载这些模型并将其解压到 model 目录下。您可以在配置文件的 model_path 和 backend 中分别指定使用的模型和后端。其中，backend 可以是 caffe2 或 pytorch，具体取决于 model_path 所在的格式。请注意，要运行我们的 ONNX 模型，您的系统必须安装 onnx 和 onnx_caffe2 包；而这些包并未包含在 requirements.txt 中。

树莓派 (RPi) 基础设施设置

遗憾的是，在 RPi 上使库正常工作，尤其是 librosa，并不像运行几条命令那样简单。我们在此概述了我们的流程，但这可能并不适用于所有人。

1. 准备一台 RPi，最好是运行 Raspbian 的 RPi 3 Model B。我们具体使用的是 这个版本的 Raspbian Stretch。
2. 安装依赖项：sudo apt-get install -y protobuf-compiler libprotoc-dev python-numpy python-pyaudio python-scipy python-sklearn
3. 安装 Protobuf：pip install protobuf
4. 安装 ONNX，不带依赖项：pip install --no-deps onnx
5. 按照 官方说明 在 Raspbian 上安装 Caffe2。这一过程大约需要两个小时。您可能需要将 caffe2 模块路径添加到 PYTHONPATH 环境变量中。对我们而言，操作如下：export PYTHONPATH=$PYTHONPATH:/home/pi/caffe2/build
6. 安装 Caffe2 的 ONNX 扩展：pip install onnx-caffe2
7. 安装其他要求：pip install -r requirements_rpi.txt
8. 安装 librosa：pip install --no-deps resampy librosa
9. 尝试导入 librosa：python -c "import librosa"。此时应会抛出关于 numba 的错误，因为我们尚未安装它。
10. 我们尚未找到在 RPi 上轻松安装 numba 的方法，因此需要从 resampy 中移除 numba。对于我们的设置，我们需要从 /home/pi/.local/lib/python2.7/site-packages/resampy/interpn.py 中移除 numba 和 @numba.jit。
11. 至此，所有依赖项均已安装完毕。我们可以尝试部署一个 ONNX 模型。
12. 下载模型和数据：./fetch_data.sh
13. 在 config.json 中，将 backend 改为 caffe2，并将 model_path 改为 model/google-speech-dataset-full.onnx。
14. 部署服务器：python . 如果没有报错，则表示模型已成功部署，默认可通过端口 16888 访问。
15. 运行语音命令演示：python utils/speech_demo.py。您需要一个可用的麦克风和扬声器。如果您远程控制 RPi，可以本地运行语音演示，并通过 --server-endpoint=http://[RPi IP地址]:16888 指定远程端点。

工具

QA 客户端

遗憾的是，QA 客户端目前尚不支持普通用户，因为它需要一个自定义的 QA 服务。不过，它仍然可以用来重新定位命令关键词。

python client.py 用于运行 QA 客户端。您可以通过 python client.py --mode=retarget 来重新定位关键词。请注意，文本转语音功能在 Linux 发行版上可能表现不佳；在这种情况下，请通过 --watson-username 和 --watson-password 提供 IBM Watson 的凭据。您可以运行 python client.py -h 查看所有选项。

模型的训练与评估

CNN 模型。python -m utils.train --type [train|eval] 用于训练或评估模型。它假定所有训练样本都遵循与 Speech Commands 数据集 相同的格式。推荐的工作流程是下载该数据集并添加自定义关键词，因为该数据集已经包含许多有用的音频样本和背景噪声。

残差模型。我们建议在 Speech Commands 数据集上训练我们的任何 res{8,15,26}[-narrow] 模型时使用以下超参数：

python -m utils.train --wanted_words yes no up down left right on off stop go --dev_every 1 --n_labels 12 --n_epochs 26 --weight_decay 0.00001 --lr 0.1 0.01 0.001 --schedule 3000 6000 --model res{8,15,26}[-narrow]

有关我们深度残差模型的更多信息，请参阅我们的论文：

• Raphael Tang, Jimmy Lin. Deep Residual Learning for Small-Footprint Keyword Spotting. 2018 IEEE 国际声学、语音与信号处理会议（ICASSP 2018）论文集，2018年4月，加拿大阿尔伯塔省卡尔加里。

以下是可用的命令选项：

选项	输入格式	默认值	描述
--audio_preprocess_type	{MFCCs, PCEN}	MFCCs	使用的音频预处理类型
--batch_size	[1, n)	100	使用的小批量大小
--cache_size	[0, inf)	32768	音频缓存中的项目数量，大约消耗 32 KB * n
--conv1_pool	[1, inf) [1, inf)	2 2	池化滤波器的宽度和高度
--conv1_size	[1, inf) [1, inf)	10 4	卷积滤波器的宽度和高度
--conv1_stride	[1, inf) [1, inf)	1 1	步幅的宽度和长度
--conv2_pool	[1, inf) [1, inf)	1 1	池化滤波器的宽度和高度
--conv2_size	[1, inf) [1, inf)	10 4	卷积滤波器的宽度和高度
--conv2_stride	[1, inf) [1, inf)	1 1	步幅的宽度和长度
--data_folder	string	/data/speech_dataset	数据路径
--dev_every	[1, inf)	10	以 epoch 为单位的验证间隔
--dev_pct	[0, 100]	10	用于验证的总数据百分比
--dropout_prob	[0.0, 1.0)	0.5	使用的丢弃率
--gpu_no	[-1, n]	1	使用的 GPU
--group_speakers_by_id	{true, false}	true	是否按 ID 对训练/验证/测试集中的说话人分组
--input_file	string		要加载的模型路径
--input_length	[1, inf)	16000	音频的长度
--lr	(0.0, inf)	{0.1, 0.001}	使用的学习率
--type	{train, eval}	train	使用的模式
--model	string	cnn-trad-pool2	可选 cnn-trad-pool2, cnn-tstride-{2,4,8}, cnn-tpool{2,3}, cnn-one-fpool3, cnn-one-fstride{4,8}, res{8,15,26}[-narrow], cnn-trad-fpool3, cnn-one-stride1
--momentum	[0.0, 1.0)	0.9	用于 SGD 的动量
--n_dct_filters	[1, inf)	40	使用的 DCT 基础数量
--n_epochs	[0, inf)	500	训练的 epoch 数
--n_feature_maps	[1, inf)	{19, 45}	残差架构中使用的特征图数量
--n_feature_maps1	[1, inf)	64	第一个卷积网络使用的特征图数量
--n_feature_maps2	[1, inf)	64	第二个卷积网络使用的特征图数量
--n_labels	[1, n)	4	使用的标签数量
--n_layers	[1, inf)	{6, 13, 24}	残差架构中的卷积层数
--n_mels	[1, inf)	40	使用的 Mel 滤波器数量
--no_cuda	开关	false	是否使用 CUDA
--noise_prob	[0.0, 1.0]	0.8	与噪声混合的概率
--output_file	string	model/google-speech-dataset.pt	保存模型的文件
--seed	(inf, inf)	0	使用的随机种子
--silence_prob	[0.0, 1.0]	0.1	选择静音的概率
--test_pct	[0, 100]	10	用于测试的总数据百分比
--timeshift_ms	[0, inf)	100	随机偏移音频的时间（毫秒）
--train_pct	[0, 100]	80	用于训练的总数据百分比
--unknown_prob	[0.0, 1.0]	0.1	选择未知单词的概率
--wanted_words	string1 string2 ... stringn	command random	所需的目标词汇

基于 JavaScript 的关键词检测

Honkling 是 Honk 的 JavaScript 实现。借助 Honkling，可以在浏览器中实现具有关键词检测功能的各种 Web 应用程序。

关键词检测数据生成器

为了提高 Honk 和 Honkling 的灵活性，我们提供了一个从 YouTube 视频构建数据集的程序。详细信息请参见 keyword_spotting_data_generator 文件夹。

录制音频

您可以执行以下操作来录制连续的音频，并将其保存为与语音命令数据集相同的格式：

python -m utils.record

输入回车键开始录制，向上箭头撤销，输入“q”结束。静音一秒钟后，录制会自动停止。

此外，还提供以下选项：

--output-begin-index: 起始序列号
--output-prefix: 输出音频序列的前缀
--post-process: 音频样本的后处理方式。可选择“trim”和“discard_true”中的一项或多件。

后处理包括修剪或丢弃“无用”的音频。修剪很简单：将音频录音修剪至由 --cutoff-ms 指定的 x 毫秒内最响亮的部分。而丢弃“无用”音频（discard_true）则使用预先训练好的模型来判断哪些样本令人困惑，并丢弃那些被正确标记的样本。预先训练好的模型和正确标签分别由 --config 和 --correct-label 定义。

例如，考虑运行 python -m utils.record --post-process trim discard_true --correct-label no --config config.json。在这种情况下，该工具会记录一系列语音片段，将其修剪至一秒，最后丢弃那些未被 config.json 中的模型标记为“no”的片段。

监听声音级别

python manage_audio.py listen

这有助于为录制设置合理的 --min-sound-lvl 值。

生成对比样本

python manage_audio.py generate-contrastive --directory [目录] 会使用音素分割技术，从 [目录] 中的所有 .wav 文件中生成对比样本。

裁剪音频

语音命令数据集包含时长为一秒钟的音频片段。

python manage_audio.py trim --directory [目录] 会将 [目录] 中所有 .wav 文件裁剪为最响亮的一秒。建议谨慎的用户使用 Audacity 等音频编辑软件手动检查所有音频样本。

Honk 快速上手指南

Honk 是一个基于 PyTorch 的关键词检测（Keyword Spotting, KWS）工具，复现了 Google 用于语音命令数据集的卷积神经网络模型。它适用于构建设备端语音识别功能，可识别简单指令（如"stop"、"go"）或自定义唤醒词（如"Hey Siri"）。

环境准备

系统要求

• 操作系统：官方支持 Linux 和 macOS。Windows 用户运行演示应用较为困难，建议在 Linux 环境或虚拟机中使用。
• 硬件：如需使用 GPU 加速，请确保已安装 CUDA 驱动；树莓派（Raspberry Pi）需特定配置（见下文备注）。
• Python 版本：建议 Python 3.6+。

前置依赖

1. PyTorch：请访问 PyTorch 官网 安装适合你环境的版本。

   国内加速建议：可使用清华或中科大镜像源安装：

   pip install torch torchvision torchaudio -i https://pypi.tuna.tsinghua.edu.cn/simple
   

2. 系统库：
   • Linux: 安装 OpenGL Utility Toolkit (GLUT)

     sudo apt-get install freeglut3-dev
     

   • macOS: GLUT 已预装，无需额外操作。
   • 若安装 pyaudio 报错找不到 portaudio.h，请参考相关教程安装 portaudio 开发库。

安装步骤

1. 克隆项目并安装 Python 依赖

   git clone <repository_url>  # 替换为实际仓库地址
   cd honk
   pip install -r requirements.txt
   

   国内加速建议：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

2. 获取数据与预训练模型 运行脚本自动下载 Speech Commands 数据集及预训练模型：

   ./fetch_data.sh
   

   注：模型文件将解压至 model 目录。

3. 配置选项（可选） 如需关闭 CUDA 或修改端口，编辑 config.json 文件。

基本使用

1. 启动识别服务

部署 Web 服务以检测音频中是否包含命令词（默认端口 16888）：

python .

若需指定配置文件：

python . --config=<file_name>

注：若服务器在防火墙后，可通过 SSH 隧道进行端口转发。

2. 运行语音演示

启动麦克风实时检测演示（需连接麦克风和扬声器）：

python utils/speech_demo.py

若远程连接树莓派等设备，可指定服务端点：

python utils/speech_demo.py --server-endpoint=http://[设备 IP]:16888

3. 训练与评估模型

使用 Speech Commands 数据集格式进行训练或评估：

python -m utils.train --type train

推荐参数（残差模型示例）： 以下命令用于训练识别 "yes", "no", "up" 等 12 个关键词的残差网络模型：

python -m utils.train --wanted_words yes no up down left right on off stop go --dev_every 1 --n_labels 12 --n_epochs 26 --weight_decay 0.00001 --lr 0.1 0.01 0.001 --schedule 3000 6000 --model res{8,15,26}[-narrow]

4. 录制音频数据

录制序列音频并保存为数据集格式：

python -m utils.record

• 操作说明：按 Enter 开始录制，按 ↑ 撤销，按 q 结束。静音 1 秒后自动停止。