MASR 中文语音识别

MASR 是一个基于端到端的深度神经网络的中文普通话语音识别项目。

原理

MASR 使用的是门控卷积神经网络（Gated Convolutional Network），网络结构类似于 Facebook 在 2016 年提出的 Wav2letter。但是使用的激活函数不是 ReLU 或者 HardTanh，而是 GLU（门控线性单元）。因此称作门控卷积网络。根据我的实验，使用 GLU 的收敛速度比 HardTanh 要快。如果你想要研究卷积网络用于语音识别的效果，这个项目可以作为一个参考。

以下用字错误率 CER 来衡量模型的表现，CER = 编辑距离 / 句子长度，越低越好

大致可以理解为 1 - CER 就是识别准确率。

模型使用 AISHELL-1 数据集训练，共 150 小时的录音，覆盖了 4000 多个汉字。工业界使用的语音识别系统通常使用至少 10 倍于本项目的录音数据来训练，同时使用特定场景的语料来训练语言模型，所以，不要期待本项目可以和工业界的识别效果媲美。这对于 Github 上任何个人项目来说都不现实，除非有更先进的技术诞生。

什么叫特定场景的语料训练的语言模型？比如你使用游戏中的语音识别，它更倾向于将你的话识别成你在玩游戏时可能说的话，比如「貂蝉被蓝打死了」。而在其他场景下，「貂蝉被蓝打死了」根本就不是一句通顺的话。不信你和一个只读过三国演义没玩过王者荣耀的人说「貂蝉被蓝打死了」，你确定 ta 不会反问你：「啥？貂蝉被谁打死了？lan 是谁？」

在单卡 GTX 1080Ti 上，模型每迭代一个 epoch 大约需要 20 分钟。（实验室的 CUDA 版本较低，不排除更新 CUDA 版本后会快一些的可能。）

上图为验证集的 CER 随 epoch 的训练曲线。可以看到，目前验证集 CER 已经下降到 11%。

图中没有显示测试集的表现。测试集的 CER 稍高一些，在 14%。

通过外接语言模型可以将测试集的 CER 降低到 8%。

项目目前提供的预训练模型训练了大约是 100 个 epoch 时候的，已经接近最好了。

MASR 中文语音识别快速上手指南

MASR 是一个基于端到端深度神经网络（门控卷积网络）的中文普通话语音识别项目。本项目使用 AISHELL-1 数据集训练，适合用于研究卷积网络在语音识别领域的应用及学习相关原理。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux (推荐 Ubuntu) 或 macOS
• 硬件要求：NVIDIA GPU (推荐 GTX 1080Ti 及以上)，单卡训练约需 20 分钟/epoch
• 软件依赖：
  • Python 3.6+
  • PyTorch 1.0+
  • CUDA (建议更新到较新版本以提升训练速度)
  • sox (音频处理工具)

前置依赖安装示例 (Ubuntu):

sudo apt-get update
sudo apt-get install -y sox libsox-fmt-all
pip3 install torch torchvision torchaudio
pip3 install soundfile librosa resampy

安装步骤

克隆项目代码并安装必要的 Python 依赖包。国内用户建议使用镜像源加速下载。

1. 克隆仓库

   git clone https://github.com/yeyupiaoling/MASR.git
   cd MASR
   

2. 安装依赖 推荐使用国内镜像源（如清华源或阿里源）安装 requirements.txt 中的依赖：

   pip3 install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

3. 准备数据 下载 AISHELL-1 数据集并解压到项目目录下的 dataset 文件夹中（或使用脚本自动下载，视具体版本而定）。确保目录结构符合项目要求。

基本使用

以下是使用预训练模型进行语音识别的最简示例。

1. 推理测试（使用预训练模型）

假设您已下载好预训练模型文件（通常在 models/ 目录下），并对一段音频进行测试：

python3 infer.py --audio_path=dataset/test/BAC009S0764W0121.wav --model_path=models/best_model.pth

• --audio_path: 待识别的音频文件路径。
• --model_path: 预训练模型权重文件路径。

程序将输出识别出的中文文本。

2. 开始训练（可选）

如果您希望从头开始训练模型或微调：

python3 train.py --data_dir=dataset --save_dir=models

• 训练过程中会实时输出验证集的字符错误率 (CER)。
• 默认配置下，在单张 GTX 1080Ti 上每个 epoch 大约耗时 20 分钟。
• 训练约 100 个 epoch 后模型效果趋于最佳（验证集 CER 可降至 11% 左右）。

提示：工业级语音识别通常需要十倍于此的数据量及特定场景的语言模型优化。本项目的测试结果（CER 约 14%）主要用于学术研究和原理验证，若需更高精度，可尝试接入外部语言模型将 CER 进一步降低至 8% 左右。