MASR流式与非流式语音识别项目

MASR是一款基于Pytorch实现的自动语音识别框架，MASR全称是神奇的自动语音识别框架（Magical Automatic Speech Recognition），当前为V3版本，与V2版本不兼容，如果想使用V2版本，请在这个分支V2。MASR致力于简单，实用的语音识别项目。可部署在服务器，Nvidia Jetson设备，未来还计划支持Android等移动设备。

欢迎大家扫码入知识星球或者QQ群讨论，知识星球里面提供项目的模型文件和博主其他相关项目的模型文件，也包括其他一些资源。

本项目使用的环境：

• Anaconda 3
• Python 3.11
• Pytorch 2.5.1
• Windows 11 or Ubuntu 22.04

在线试用

网页版：在线试用地址

项目特点

1. 支持多个语音识别模型，包含deepspeech2、conformer、squeezeformer、efficient_conformer等，每个模型都支持流式识别和非流式识别，在配置文件中streaming参数设置。
2. 支持多种解码器，包含ctc_greedy_search、ctc_prefix_beam_search、attention_rescoring、ctc_beam_search等。
3. 支持多种预处理方法，包含fbank、mfcc等。
4. 支持多种数据增强方法，包含噪声增强、混响增强、语速增强、音量增强、重采样增强、位移增强、SpecAugmentor、SpecSubAugmentor等。
5. 支持多种推理方法，包含短音频推理、长音频推理、流式推理、说话人分离推理等。
6. 更多特点等待你发现。

与V2版本的区别

1. 项目结构的优化，大幅度降低的使用难度。
2. 更换预处理的库，改用kaldi_native_fbank，在提高数据预处理的速度，同时也支持多平台。
3. 修改token的方法，使用sentencepiece制作token，这个框架极大的降低了多种语言的处理难度，同时还使中英文混合训练成为可能。

更新记录

• 2025.3: 正式发布最终级的V3版本。

模型下载

1. WenetSpeech (10000小时，普通话) 的预训练模型列表，错误率类型为字错率（CER）：

使用模型	是否为流式	预处理方式	解码方式	test_net	test_meeting	aishell_test	下载地址
Conformer	True	fbank	ctc_greedy_search	0.14391	0.18665	0.06751	加入知识星球获取
Conformer	True	fbank	ctc_prefix_beam_search	0.14326	0.18488	0.06763	加入知识星球获取
Conformer	True	fbank	attention_rescoring	0.13523	0.18069	0.06079	加入知识星球获取
Conformer	True	fbank	ctc_beam_search	0.18227	0.21586	0.04981	加入知识星球获取
DeepSpeech2	True	fbank	ctc_greedy_search				加入知识星球获取
DeepSpeech2	True	fbank	ctc_prefix_beam_search				加入知识星球获取
DeepSpeech2	True	fbank	ctc_beam_search				加入知识星球获取

2. AIShell (179小时，普通话) 的预训练模型列表，错误率类型为字错率（CER）：

使用模型	是否为流式	预处理方式	解码方式	自带的测试集	下载地址
Conformer	True	fbank	ctc_greedy_search	0.06134	加入知识星球获取
Conformer	True	fbank	ctc_prefix_beam_search	0.06132	加入知识星球获取
Conformer	True	fbank	attention_rescoring	0.05366	加入知识星球获取
Conformer	True	fbank	ctc_beam_search	0.04409	加入知识星球获取
DeepSpeech2	True	fbank	ctc_greedy_search	0.12000	加入知识星球获取
DeepSpeech2	True	fbank	ctc_prefix_beam_search	0.12016	加入知识星球获取
DeepSpeech2	True	fbank	ctc_beam_search	0.08748	加入知识星球获取

3. Librispeech (960小时，英语) 的预训练模型列表，错误率类型为词错率（WER）：

使用模型	是否为流式	预处理方式	解码方式	自带的测试集	下载地址
Conformer	True	fbank	ctc_greedy_search	0.07432	加入知识星球获取
Conformer	True	fbank	ctc_prefix_beam_search	0.07418	加入知识星球获取
Conformer	True	fbank	attention_rescoring	0.06549	加入知识星球获取
Conformer	True	fbank	ctc_beam_search	/	加入知识星球获取
DeepSpeech2	True	fbank	ctc_greedy_search	0.15491	加入知识星球获取
DeepSpeech2	True	fbank	ctc_prefix_beam_search	0.15307	加入知识星球获取
DeepSpeech2	True	fbank	ctc_beam_search	/	加入知识星球获取

4. 其他数据集的预训练模型列表，错误率类型，如果是中文就是字错率（CER），英文则是词错率（WER），中英混合为混合错误率（MER）：

使用模型	数据集	语言	解码方式	测试数据	下载地址
Conformer	粤语(含港式粤语)	粤语	ctc_greedy_search	0.04241	加入知识星球获取
Conformer	粤语(含港式粤语)	粤语	ctc_prefix_beam_search	0.04234	加入知识星球获取
Conformer	粤语(含港式粤语)	病毒	attention_rescoring	0.02969	加入知识星球获取
Conformer	粤语(含港式粤语)	病毒	ctc_beam_search	0.04461	加入知识星球获取
Conformer	中英混合数据集	中英文	ctc_greedy_search	0.09582	加入知识星球获取
Conformer	中英混合数据集	中英文	ctc_prefix_beam_search	0.09523	加入知识星球获取
Conformer	中英混合数据集	中英文	attention_rescoring	0.08470	加入知识星球获取
Conformer	中英混合数据集	中英文	ctc_beam_search	/	加入知识星球获取
Conformer	更大数据集（16000+小时）	中英文	ctc_greedy_search	test_net: 0.17378 test_meeting: 0.20505 Librispeech-Test: 0.20888 中英混合: 0.14189	加入知识星球获取
Conformer	更大数据集（16000+小时）	中英文	ctc_prefix_beam_search	test_net: 0.17311 test_meeting: 0.20408 Librispeech-Test: 0.20508 中英混合: 0.14009	加入知识星球获取
Conformer	更大数据集（16000+小时）	中英文	attention_rescoring	test_net: 0.15607 test_meeting: 0.19188 Librispeech-Test: 0.17477 中英混合: 0.12389	加入知识星球获取
Conformer	CommonVoice-Uyghur + THUYG20	维吾尔语	ctc_greedy_search	0.04179	加入知识星球获取
Conformer	CommonVoice-Uyghur + THUYG20	维吾尔语	ctc_prefix_beam_search	0.04078	加入知识星球获取
Conformer	CommonVoice-Uyghur + THUG20	维吾尔语	attention_rescoring	0.02759	加入知识星球获取

说明：

1. 这里字错率或者词错率是使用eval.py。
2. 分别给出了使用三个解码器的错误率，其中ctc_prefix_beam_search、attention_rescoring的解码搜索大小为10。
3. 训练时使用了噪声增强和混响增强，以及其他增强方法，具体请看配置参数configs/augmentation.yml。
4. 这里只提供了流式模型，但全部模型都支持流式和非流式的，在配置文件中streaming参数设置。
5. 更大数据集准确率比其他的低最主要的是应为训练的epoch太少，但是足以作为其他微调任务的预训练模型。
6. 使用CommonVoice-Uyghur的测试集作为本项目测试集，其余的和THUYG20全部作为训练集。

有问题欢迎提 issue 交流

文档教程

• 快速安装
• 快速使用
• 数据准备
• WenetSpeech数据集
• 合成语音数据
• 数据增强
• 训练模型
• 集束搜索解码
• 执行评估
• 导出模型
• 使用标点符号模型
• 预测
  • 本地预测
  • 说话人日志语音识别
  • Web部署模型
  • GUI界面预测
• 常见问题解答

相关项目

• 基于Pytorch实现的声纹识别：VoiceprintRecognition-Pytorch
• 基于Pytorch实现的分类：AudioClassification-Pytorch
• 基于PaddlePaddle实现的语音识别：PPASR

打赏作者

参考资料

• https://github.com/yeyupiaoling/PPASR
• https://github.com/jiwidi/DeepSpeech-pytorch
• https://github.com/wenet-e2e/WenetSpeech
• https://github.com/wenet-e2e/wenet
• https://github.com/SeanNaren/deepspeech.pytorch

MASR 快速上手指南

MASR（Magical Automatic Speech Recognition）是一款基于 PyTorch 实现的流式与非流式自动语音识别框架。本指南将帮助你快速在本地环境中部署并运行 MASR。

1. 环境准备

系统要求

• 操作系统：Windows 11, Ubuntu 22.04, macOS
• Python 版本：3.11 或更高
• 推荐管理工具：Anaconda 3

前置依赖

确保已安装以下核心库（建议通过 Conda 创建独立环境）：

• PyTorch 2.5.1+
• kaldi_native_fbank
• sentencepiece

2. 安装步骤

第一步：创建并激活 Conda 环境

conda create -n masr python=3.11
conda activate masr

第二步：安装 PyTorch

请根据你的硬件环境选择安装命令。 国内用户推荐使用清华源加速安装：

Linux/Windows (CUDA 12.4):

pip install torch torchvision torchaudio --index-url https://pypi.tuna.tsinghua.edu.cn/simple

macOS (CPU/MPS):

pip install torch torchvision torchaudio --index-url https://pypi.tuna.tsinghua.edu.cn/simple

第三步：安装 MASR 及依赖

克隆项目代码并安装依赖包：

git clone https://github.com/yeyupiaoling/MASR.git
cd MASR
pip install -r requirements.txt --index-url https://pypi.tuna.tsinghua.edu.cn/simple

第四步：下载预训练模型

MASR V3 的预训练模型（支持中文普通话、粤语、英语及中英混合）主要托管在作者的知识星球中。

1. 扫描 README 中的二维码加入知识星球或 QQ 群获取模型文件。
2. 将下载的模型文件解压至项目根目录下的 models 文件夹（若不存在请新建）。
   • 目录结构示例：MASR/models/conformer_streaming_chinese/

3. 基本使用

安装完成并准备好模型后，即可进行语音识别推理。

命令行预测

使用提供的脚本对单个音频文件进行识别。以下示例使用 Conformer 流式模型识别中文音频：

python infer.py \
    --model_path models/conformer_streaming_chinese \
    --audio_path test.wav \
    --decoder ctc_greedy_search

参数说明：

• --model_path: 预训练模型文件夹路径。
• --audio_path: 待识别的音频文件路径（支持 wav, mp3 等格式）。
• --decoder: 解码方式，可选 ctc_greedy_search, ctc_prefix_beam_search, attention_rescoring 等。

Python 代码调用

你也可以直接在 Python 代码中集成 MASR：

from masr import MasrPredictor

# 初始化预测器
predictor = MasrPredictor(
    model_path='models/conformer_streaming_chinese',
    decoder='ctc_greedy_search'
)

# 执行识别
text = predictor.predict(audio_path='test.wav')
print(f"识别结果：{text}")

启动 Web 服务（可选）

MASR 支持一键启动 Web 界面进行在线试用：

python app.py

启动后访问 http://127.0.0.1:5000 即可在浏览器中上传音频进行识别。