---

OpenSpeech 提供了多种 ASR 模型论文的参考实现，并针对自动语音识别任务提供了三种语言的配方。我们的目标是让所有人都能更轻松地使用 ASR 技术。

OpenSpeech 依托于两个强大的库——PyTorch-Lightning 和 Hydra。这两个库提供了丰富的功能，包括多 GPU 和 TPU 训练、混合精度以及分层配置管理等。

我们欢迎任何形式的反馈和贡献。无论是修复 bug 还是改进文档，都可以从小处着手。对于重大贡献或新功能，请先在相关议题中与合作者讨论。

最新动态

• 2022年5月 openspeech 0.4.0 发布
• 2021年8月 新增智能批处理功能
• 2021年7月 openspeech 0.3.0 发布
• 2021年7月 添加转换器束搜索逻辑
• 2021年6月 添加 ContextNet 模型
• 2021年6月 添加语言模型训练流水线
• 2021年6月 openspeech 0.1.0 发布

目录

• 什么是 OpenSpeech？

• 为什么应该使用 OpenSpeech？

• 为什么不应该使用 OpenSpeech？

• 模型架构

• 快速入门

• OpenSpeech 的 Hydra 配置

• 安装指南

• 如何为 OpenSpeech 做贡献？

• 贡献者名单

• 引用信息

什么是 OpenSpeech？

OpenSpeech 是一个用于构建端到端语音识别系统的框架。端到端（E2E）自动语音识别（ASR）是基于神经网络的语音识别领域中的一种新兴范式，具有诸多优势。传统的“混合”ASR 系统由声学模型、语言模型和发音模型组成，这些组件需要分别训练，且每个组件的训练过程都可能非常复杂。

例如，声学模型的训练通常涉及多个阶段，包括模型训练以及语音声学特征序列与输出标签序列之间的对齐。相比之下，E2E ASR 采用单一的集成方法，其训练流程更为简单，模型运行时的音频帧率也较低。这不仅缩短了训练和解码时间，还能够与下游处理（如自然语言理解）进行联合优化。

由于这些优势，许多与端到端语音识别相关的开源项目应运而生。然而，其中许多项目仅基于基础的 PyTorch 或 TensorFlow，难以充分利用混合精度、多节点训练、TPU 训练等功能。而借助 PyTorch-Lightning 等框架，则可以轻松实现这些高级功能。因此，我们创建了 OpenSpeech 框架，引入了 PyTorch-Lightning 和 Hydra，以方便用户使用这些先进特性。

为什么应该使用 OpenSpeech？

1. 基于 PyTorch-Lightning 的框架。
   • 支持多种功能：混合精度、多节点训练、TPU 训练等。
   • 模型与硬件无关，更具通用性。
   • Lightning 能够处理复杂的工程细节，从而减少出错几率。
   • Lightning 与众多主流机器学习工具无缝集成。
2. 易于尝试流行的 ASR 模型。
   • 支持 20 多种模型，并持续更新。
   • 对教育工作者和从业者来说，上手门槛低。
   • 为希望进行各种实验的研究人员节省时间。
3. 提供最常用语言的配方，包括英语、中文和韩语。
   • LibriSpeech：1,000 小时的英语数据集，广泛应用于 ASR 任务。
   • AISHELL-1：170 小时的汉语普通话语音语料库。
   • KsponSpeech：1,000 小时的韩语开放域对话语音数据集。
4. 可根据需求轻松自定义模型或数据集：
   • 提供支持模型的默认超参数，但也可轻松调整。
   • 可通过组合现有模块轻松创建自定义模型。
   • 如果想使用新的数据集，只需定义 pl.LightingDataModule 和 Tokenizer 类即可。
5. 音频处理功能。
   • 可轻松使用频谱图、梅尔频谱图、滤波器组和 MFCC 等代表性音频特征。
   • 提供多种数据增强技术，包括 SpecAugment、噪声注入和音频拼接等。

为什么不应该使用 OpenSpeech？

• 本框架提供的是 ASR 模型的训练代码，但不提供预训练模型的 API。
• 本框架不包含任何预训练模型。

模型架构

我们支持以下所有模型。请注意，模型的核心概念已实现匹配，但具体实现细节可能会有所不同。

1. DeepSpeech2（来自百度研究院）随论文《Deep Speech 2: 英语和普通话的端到端语音识别》（Dario Amodei, Rishita Anubhai, Eric Battenberg, Carl Case, Jared Casper, Bryan Catanzaro, Jingdong Chen, Mike Chrzanowski, Adam Coates, Greg Diamos, Erich Elsen, Jesse Engel, Linxi Fan, Christopher Fougner, Tony Han, Awni Hannun, Billy Jun, Patrick LeGresley, Libby Lin, Sharan Narang, Andrew Ng, Sherjil Ozair, Ryan Prenger, Jonathan Raiman, Sanjeev Satheesh, David Seetapun, Shubho Sengupta, Yi Wang, Zhiqian Wang, Chong Wang, Bo Xiao, Dani Yogatama, Jun Zhan, Zhenyao Zhu）发布。
2. RNN-Transducer（来自多伦多大学）随论文《基于循环神经网络的序列转换》（Alex Graves）发布。
3. LSTM语言模型（来自亚琛工业大学）随论文《用于语言建模的LSTM神经网络》（Martin Sundermeyer, Ralf Schluter, Hermann Ney）发布。
4. Listen Attend Spell（来自卡内基梅隆大学和谷歌大脑）随论文《听、关注与拼写》（William Chan, Navdeep Jaitly, Quoc V. Le, Oriol Vinyals）发布。
5. 基于位置感知注意力的Listen Attend Spell（来自弗罗茨瓦夫大学、雅各布斯大学和蒙特利尔大学）随论文《基于注意力的语音识别模型》（Jan Chorowski, Dzmitry Bahdanau, Dmitriy Serdyuk, Kyunghyun Cho, Yoshua Bengio）发布。
6. 联合CTC-注意力的Listen Attend Spell（来自三菱电机研究实验室和卡内基梅隆大学）随论文《基于联合CTC-注意力的多任务学习端到端语音识别》（Suyoun Kim, Takaaki Hori, Shinji Watanabe）发布。
7. 带有深度CNN编码器的联合CTC-注意力Listen Attend Spell（来自三菱电机研究实验室、麻省理工学院和卡内基梅隆大学）随论文《采用深度CNN编码器和RNN-LM的联合CTC-注意力端到端语音识别进展》（Takaaki Hori, Shinji Watanabe, Yu Zhang, William Chan）发布。
8. 基于多头注意力的Listen Attend Spell（来自谷歌）随论文《基于序列到序列模型的最先进语音识别》（Chung-Cheng Chiu, Tara N. Sainath, Yonghui Wu, Rohit Prabhavalkar, Patrick Nguyen, Zhifeng Chen, Anjuli Kannan, Ron J. Weiss, Kanishka Rao, Ekaterina Gonina, Navdeep Jaitly, Bo Li, Jan Chorowski, Michiel Bacchiani）发布。
9. 语音Transformer（来自中国科学院大学和中国科学院自动化研究所）随论文《语音Transformer：一种无递归的序列到序列语音识别模型》（Linhao Dong, Shuang Xu, Bo Xu）发布。
10. VGG-Transformer（来自Facebook AI研究）随论文《具有卷积上下文的Transformer用于自动语音识别》（Abdelrahman Mohamed, Dmytro Okhonko, Luke Zettlemoyer）发布。
11. 带有CTC的Transformer（来自NTT通信科学实验室、早稻田大学、约翰霍普金斯大学语言与语音处理中心）随论文《通过连接时序分类和语言模型集成改进基于Transformer的端到端语音识别》（Shigeki Karita, Nelson Enrique Yalta Soplin, Shinji Watanabe, Marc Delcroix, Atsunori Ogawa, Tomohiro Nakatani）发布。
12. 联合CTC-注意力的Transformer（来自NTT公司）随论文《自蒸馏法提升CTC-Transformer语音识别系统性能》（Takafumi Moriya, Tsubasa Ochiai, Shigeki Karita, Hiroshi Sato, Tomohiro Tanaka, Takanori Ashihara, Ryo Masumura, Yusuke Shinohara, Marc Delcroix）发布。
13. Transformer语言模型（来自亚马逊云服务）随论文《基于Transformer的语言模型》（Chenguang Wang, Mu Li, Alexander J. Smola）发布。
14. Jasper（来自NVIDIA和纽约大学）随论文《Jasper：一种端到端卷积神经网络声学模型》（Jason Li, Vitaly Lavrukhin, Boris Ginsburg, Ryan Leary, Oleksii Kuchaiev, Jonathan M. Cohen, Huyen Nguyen, Ravi Teja Gadde）发布。
15. QuartzNet（来自NVIDIA、伊利诺伊大学和圣彼得堡大学）随论文《QuartzNet：使用1D时空可分离卷积的深度自动语音识别》（Samuel Kriman, Stanislav Beliaev, Boris Ginsburg, Jocelyn Huang, Oleksii Kuchaiev, Vitaly Lavrukhin, Ryan Leary, Jason Li, Yang Zhang）发布。
16. Transformer Transducer（来自Facebook AI）随论文《Transformer-Transducer：基于自注意力的端到端语音识别》（Ching-Feng Yeh, Jay Mahadeokar, Kaustubh Kalgaonkar, Yongqiang Wang, Duc Le, Mahaveer Jain, Kjell Schubert, Christian Fuegen, Michael L. Seltzer）发布。
17. Conformer（来自谷歌）随论文《Conformer：用于语音识别的卷积增强型Transformer》（Anmol Gulati, James Qin, Chung-Cheng Chiu, Niki Parmar, Yu Zhang, Jiahui Yu, Wei Han, Shibo Wang, Zhengdong Zhang, Yonghui Wu, Ruoming Pang）发布。
18. 带有CTC的Conformer（来自西北工业大学、波尔多大学、约翰霍普金斯大学、Human Dataware实验室、京都大学、NTT公司、上海交通大学和中国科学院）随论文《受Conformer推动的ESPNET工具包最新进展》（Pengcheng Guo, Florian Boyer, Xuankai Chang, Tomoki Hayashi, Yosuke Higuchi, Hirofumi Inaguma, Naoyuki Kamo, Chenda Li, Daniel Garcia-Romero, Jiatong Shi, Jing Shi, Shinji Watanabe, Kun Wei, Wangyou Zhang, Yuekai Zhang）发布。
19. 带有LSTM解码器的Conformer（来自IBM研究AI）随论文《英语会话语音识别的极限》（Zoltán Tüske, George Saon, Brian Kingsbury）发布。
20. ContextNet（来自谷歌）随论文《ContextNet：利用全局上下文改进用于自动语音识别的卷积神经网络》（Wei Han, Zhengdong Zhang, Yu Zhang, Jiahui Yu, Chung-Cheng Chiu, James Qin, Anmol Gulati, Ruoming Pang, Yonghui Wu）发布。
21. Squeezeformer（来自伯克利大学）随论文《Squeezeformer：一种高效的自动语音识别Transformer》（Sehoon Kim, Amir Gholami, Albert Shaw, Nicholas Lee, Karttikeya Mangalam, Jitendra Malik, Michael W. Mahoney, Kurt Keutzer）发布。

开始使用

我们使用 Hydra 来管理所有的训练配置。如果您不熟悉 Hydra，建议访问 Hydra 官网。

通常来说，Hydra 是一个开源框架，它通过提供动态创建层次化配置的能力，简化了科研应用的开发。如果您想了解我们是如何使用 Hydra 的，建议阅读 这里。

支持的数据集

我们支持 LibriSpeech、KsponSpeech 和 AISHELL-1。

LibriSpeech 是一个约 1,000 小时的 16kHz 英语朗读语音语料库，由 Vassil Panayotov 在 Daniel Povey 的协助下整理而成。数据来源于 LibriVox 项目的有声读物，并经过仔细的切分和对齐处理。

Aishell 是由北京壳壳科技有限公司发布的开源中文普通话语音语料库。邀请了来自中国不同方言区的 400 名参与者，在安静的室内环境中使用高保真麦克风进行录音，并将采样率降为 16kHz。

KsponSpeech 是一个大规模的韩语自发性语音语料库。该语料库包含 969 小时的一般开放域对话片段，由约 2,000 名韩国本地使用者在干净的环境中录制而成。所有数据均通过记录两人自由交谈的各种话题并手动转录而成。要开始训练，必须提前准备好 KsponSpeech 数据集。下载 KsponSpeech 需获得 AI Hub 的许可。

清单文件

• 声学模型清单文件格式：

LibriSpeech/test-other/8188/269288/8188-269288-0052.flac        ▁ANNIE ' S ▁MANNER ▁WAS ▁VERY ▁MYSTERIOUS       4039 20 5 531 17 84 2352
LibriSpeech/test-other/8188/269288/8188-269288-0053.flac        ▁ANNIE ▁DID ▁NOT ▁MEAN ▁TO ▁CONFIDE ▁IN ▁ANYONE ▁THAT ▁NIGHT ▁AND ▁THE ▁KIND EST ▁THING ▁WAS ▁TO ▁LEAVE ▁HER ▁A LONE    4039 99 35 251 9 4758 11 2454 16 199 6 4 323 200 255 17 9 370 30 10 492
LibriSpeech/test-other/8188/269288/8188-269288-0054.flac        ▁TIRED ▁OUT ▁LESLIE ▁HER SELF ▁DROPP ED ▁A SLEEP        1493 70 4708 30 115 1231 7 10 1706
LibriSpeech/test-other/8188/269288/8188-269288-0055.flac        ▁ANNIE ▁IS ▁THAT ▁YOU ▁SHE ▁CALL ED ▁OUT        4039 34 16 25 37 208 7 70
LibriSpeech/test-other/8188/269288/8188-269288-0056.flac        ▁THERE ▁WAS ▁NO ▁REPLY ▁BUT ▁THE ▁SOUND ▁OF ▁HURRY ING ▁STEPS ▁CAME ▁QUICK ER ▁AND ▁QUICK ER ▁NOW ▁AND ▁THEN ▁THEY ▁WERE ▁INTERRUPTED ▁BY ▁A ▁GROAN     57 17 56 1368 33 4 489 8 1783 14 1381 133 571 49 6 571 49 82 6 76 45 54 2351 44 10 3154
LibriSpeech/test-other/8188/269288/8188-269288-0057.flac        ▁OH ▁THIS ▁WILL ▁KILL ▁ME ▁MY ▁HEART ▁WILL ▁BREAK ▁THIS ▁WILL ▁KILL ▁ME 299 46 71 669 50 41 235 71 977 46 71 669 50
...
...

训练示例

您可以像下面这样简单地使用 LibriSpeech 数据集进行训练：

• 示例1：在 GPU 上使用 filter-bank 特征训练 conformer-lstm 模型。

$ python3 ./openspeech_cli/hydra_train.py \
    dataset=librispeech \
    dataset.dataset_download=True \
    dataset.dataset_path=$DATASET_PATH \
    dataset.manifest_file_path=$MANIFEST_FILE_PATH \
    tokenizer=libri_subword \
    model=conformer_lstm \
    audio=fbank \
    lr_scheduler=warmup_reduce_lr_on_plateau \
    trainer=gpu \
    criterion=cross_entropy

您也可以像下面这样简单地使用 KsponSpeech 数据集进行训练：

• 示例2：在 TPU 上使用 mel-spectrogram 特征训练 listen-attend-spell 模型。

$ python3 ./openspeech_cli/hydra_train.py \
    dataset=ksponspeech \
    dataset.dataset_path=$DATASET_PATH \
    dataset.manifest_file_path=$MANIFEST_FILE_PATH \
    dataset.test_dataset_path=$TEST_DATASET_PATH \
    dataset.test_manifest_dir=$TEST_MANIFEST_DIR \
    tokenizer=kspon_character \
    model=listen_attend_spell \
    audio=melspectrogram \
    lr_scheduler=warmup_reduce_lr_on_plateau \
    trainer=tpu \
    criterion=cross_entropy

您还可以像下面这样简单地使用 AISHELL-1 数据集进行训练：

• 示例3：在 GPU 上以 FP16 精度使用 mfcc 特征训练 quartznet 模型。

$ python3 ./openspeech_cli/hydra_train.py \
    dataset=aishell \
    dataset.dataset_path=$DATASET_PATH \
    dataset.dataset_download=True \
    dataset.manifest_file_path=$MANIFEST_FILE_PATH \
    tokenizer=aishell_character \
    model=quartznet15x5 \
    audio=mfcc \
    lr_scheduler=warmup_reduce_lr_on_plateau \
    trainer=gpu-fp16 \
    criterion=ctc

评估示例

• 示例1：评估 listen_attend_spell 模型：

$ python3 ./openspeech_cli/hydra_eval.py \
    audio=melspectrogram \
    eval.dataset_path=$DATASET_PATH \
    eval.checkpoint_path=$CHECKPOINT_PATH \
    eval.manifest_file_path=$MANIFEST_FILE_PATH \
    model=listen_attend_spell \
    tokenizer=kspon_character \
    tokenizer.vocab_path=$VOCAB_FILE_PATH \

• 示例2：使用集成方法评估 listen_attend_spell 和 conformer_lstm 模型：

$ python3 ./openspeech_cli/hydra_eval.py \
    audio=melspectrogram \
    eval.model_names=(listen_attend_spell, conformer_lstm) \
    eval.dataset_path=$DATASET_PATH \
    eval.checkpoint_paths=($CHECKPOINT_PATH1, $CHECKPOINT_PATH2) \
    eval.ensemble_weights=(0.3, 0.7) \
    eval.ensemble_method=weighted \
    eval.manifest_file_path=$MANIFEST_FILE_PATH

KsponSpeech 目录结构

• dataset.dataset_path: $BASE_PATH/KsponSpeech

$BASE_PATH/KsponSpeech
├── KsponSpeech_01
├── KsponSpeech_02
├── KsponSpeech_03
├── KsponSpeech_04
└── KsponSpeech_05

• dataset.test_dataset_path: $BASE_PATH/KsponSpeech_eval

$BASE_PATH/KsponSpeech_eval
├── eval_clean
└── eval_other

• dataset.test_manifest_dir: $BASE_PATH/KsponSpeech_scripts

$BASE_PATH/KsponSpeech_scripts
├── eval_clean.trn
└── eval_other.trn

语言模型训练示例

语言模型训练只需要准备以下格式的数据：

openspeech 是一个用于构建端到端语音识别系统的框架。
端到端自动语音识别是基于神经网络的语音识别领域中一种新兴范式，具有多重优势。
由于这些优势，许多与端到端语音识别相关的开源项目应运而生。
...
...

请注意，您需要使用与声学模型相同的词汇表。

• 示例：训练 lstm_lm 模型：

$ python3 ./openspeech_cli/hydra_lm_train.py \
    dataset=lm \
    dataset.dataset_path=../../../lm.txt \
    tokenizer=kspon_character \
    tokenizer.vocab_path=../../../labels.csv \
    model=lstm_lm \
    lr_scheduler=tri_stage \
    trainer=gpu \
    criterion=perplexity

安装

本项目推荐使用 Python 3.7 或更高版本。 我们建议为该项目创建一个新的虚拟环境（使用 virtualenv 或 conda）。

先决条件

• numpy: pip install numpy（安装 numpy 时遇到问题可参考 这里）。
• PyTorch: 请参考 PyTorch 官网，根据您的环境安装相应版本。
• librosa: conda install -c conda-forge librosa（安装 librosa 时遇到问题可参考 这里）。
• torchaudio: pip install torchaudio==0.6.0（安装 torchaudio 时遇到问题可参考 这里）。
• sentencepiece: pip install sentencepiece（安装 sentencepiece 时遇到问题可参考 这里）。
• PyTorch Lightning: pip install pytorch-lightning（安装 PyTorch Lightning 时遇到问题可参考 这里）。
• hydra: pip install hydra-core --upgrade（安装 hydra 时遇到问题可参考 这里）。
• warp-rnnt: 请参考 warp-rnnt 页面，按照说明安装该库。
• ctcdecode: 请参考 ctcdecode 页面，按照说明安装该库。

通过 PyPI 安装

您可以通过 PyPI 安装 OpenSpeech：

pip install openspeech-core

从源码安装

目前我们仅支持使用 setuptools 从源码进行安装。请检出源代码并运行以下命令：

$ ./install.sh

安装 Apex（用于 16 位训练）

为了加快训练速度，您可以安装 NVIDIA 的 Apex 库：

$ git clone https://github.com/NVIDIA/apex
$ cd apex

# ------------------------
# 可选：在集群上，您可能需要加载 CUDA 10 或 9，
# 具体取决于您安装 PyTorch 的方式。

# 查看可用模块
module avail

# 在安装前加载正确的 CUDA 版本
module load cuda-10.0
# ------------------------

# 确保已加载的 CUDA 版本在 4.0 到 7.0 之间
module load gcc-6.1.0

$ pip install -v --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" ./

故障排除与贡献

如果您有任何问题、错误报告或功能请求，请在 GitHub 上 提交一个问题。

我们非常欢迎任何形式的反馈和贡献。您可以先从修复小 bug 或改进文档等小事入手。对于重大贡献或新功能，请先在相关 issue 中与合作者讨论。

代码风格

我们遵循 PEP-8 代码规范。尤其是 docstring 的风格对生成文档非常重要。

许可证

本项目采用 MIT 许可证授权——详情请参阅 LICENSE.md 文件。

引用

如果您在学术研究中使用本系统，请引用如下：

@GITHUB{2021-OpenSpeech,
  author       = {Kim, Soohwan 和 Ha, Sangchun 和 Cho, Soyoung},
  author email = {sh951011@gmail.com, seomk9896@gmail.com, soyoung.cho@kaist.ac.kr}
  title        = {OpenSpeech: 开源端到端语音识别工具包},
  howpublished = {\url{https://github.com/openspeech-team/openspeech}},
  docs         = {\url{https://openspeech-team.github.io/openspeech}},
  year         = {2021}
}

# 使用官方源
pip install openspeech-core

# 【推荐】国内开发者使用清华源加速安装
pip install openspeech-core -i https://pypi.tuna.tsinghua.edu.cn/simple

python -c "import openspeech; print(openspeech.__version__)"

openspeech-cli \
  model=deep_speech2 \
  dataset=librispeech \
  trainer=gpu \
  trainer.devices=1 \
  dataset.train_dataset_path=/path/to/your/train_data \
  dataset.valid_dataset_path=/path/to/your/valid_data

openspeech-cli \
  model=conformer \
  dataset=aishell_1 \
  trainer=gpu \
  trainer.precision=16 \
  dataset.train_dataset_path=./data/aishell/train \
  dataset.valid_dataset_path=./data/aishell/val

openspeech-cli \
  model=transformer \
  optimizer.lr=0.0005 \
  dataset.batch_size=32 \
  dataset.train_dataset_path=./my_data/train