此仓库已归档。如果您找到本仓库的原因属于以下情况，我们将为您推荐不同的仓库：

• 我想训练自己的语音识别模型或研究内部代码！ → OpenSpeech
• 我想立即测试已训练好的韩语语音识别模型！ → Pororo ASR 或 Whisper

最新动态

• 2021年5月：修复 LayerNorm 错误、子词错误
• 2021年2月：更新文档
• 2021年2月：新增 RNN-Transducer 模型
• 2021年1月：发布 v1.3
• 2021年1月：新增 Conformer 模型
• 2021年1月：新增 Jasper 模型
• 2021年1月：新增联合 CTC-注意力 Transformer 模型
• 2021年1月：新增 Speech Transformer 模型
• 2021年1月：应用 Hydra：用于优雅配置复杂应用的框架

注意事项

• 近期我对代码进行了大量修改，但由于个人事务繁忙，未能对所有情况进行充分测试。如果发现任何问题，请随时向我反馈。
• 子词和字素单元目前尚未经过全面测试。

KoSpeech：面向端到端韩语语音识别的开源工具包 [论文]

KoSpeech 是一款开源软件，基于深度学习库 PyTorch 构建，是一个模块化且可扩展的端到端韩语自动语音识别（ASR）工具包。目前已发布多款自动语音识别开源工具包，但它们大多针对非韩语语言，例如英语（如 ESPnet、Espresso）。尽管 AI Hub 开放了名为 KsponSpeech 的 1,000 小时韩语语音语料库，但至今仍缺乏标准化的预处理方法和基准模型来比较不同模型的性能。因此，我们提出了针对 KsponSpeech 语料库的预处理方法，并实现了多种模型（Deep Speech 2、LAS、Transformer、Jasper、Conformer）。通过 KoSpeech，我们希望为从事韩语语音识别研究的人员提供参考指南。

支持的模型

声学模型	备注	引用
Deep Speech 2	二维不变卷积 & RNN & CTC	Dario Amodei 等，2015
听-注意-拼写（LAS）	基于注意力机制的 RNN 序列到序列模型	William Chan 等，2016
联合 CTC-注意力 LAS	联合 CTC-注意力 LAS	Suyoun Kim 等，2017
RNN-Transducer	RNN Transducer	Ales Graves，2012
Speech Transformer	卷积特征提取器 & Transformer	Linhao Dong 等，2018
Jasper	全卷积网络 & 密集残差连接 & CTC	Jason Li 等，2019
Conformer	卷积增强型 Transformer	Anmol Gulati 等，2020

• 注
  这些模型主要基于上述文献，但在具体实现中可能还包含其他部分。

简介

端到端（E2E）自动语音识别（ASR）是基于神经网络的语音识别领域中一种新兴范式，具有诸多优势。传统的“混合”ASR 系统由声学模型、语言模型和发音模型组成，需要分别训练这些组件，而每个组件的训练过程都可能相当复杂。

例如，声学模型的训练通常涉及多个阶段，包括模型训练以及语音声学特征序列与输出标签序列之间的对齐。相比之下，E2E ASR 采用单一的集成方法，其训练流程更为简单，模型以较低的音频帧率运行。这不仅缩短了训练和解码时间，还允许与下游处理任务（如自然语言理解）进行联合优化。

路线图

截至目前，已实现多个模型：Deep Speech 2、听-看-拼写（LAS）、RNN-转换器、语音Transformer、Jasper、Conformer。

• Deep Speech 2

Deep Speech 2 在使用连接时序分类（CTC）损失的 ASR 任务中表现出更快且更准确的性能。该模型因相较于之前的端到端模型显著提升性能而备受关注。

• 听-看-拼写（LAS）

我们沿用了“听-看-拼写”中提出的架构，但进行了一些改进以提升性能。我们提供了四种不同的注意力机制：缩放点积注意力、加性注意力、位置感知注意力、多头注意力。注意力机制对模型性能影响很大。

• RNN-转换器

RNN-转换器是一种无需使用注意力机制的序列到序列模型。与大多数通常需要处理整个输入序列（在我们的案例中为波形）才能生成输出（即句子）的序列到序列模型不同，RNN-T 可以持续处理输入样本并流式输出符号，这一特性非常适合语音转文字应用。在我们的实现中，输出符号是字母表中的字符。

• 语音Transformer

Transformer 是自然语言处理（NLP）领域中一种强大的架构。该架构在 ASR 任务中也表现出良好的性能。此外，随着该模型在自然语言处理领域的研究不断深入，其具有很高的进一步开发潜力。

• 联合 CTC-注意力

通过所提出的架构，同时利用基于 CTC 的模型和基于注意力的模型的优势。这是一种通过在编码器中加入 CTC 来增强模型鲁棒性的结构。联合 CTC-注意力模型可以与 LAS 和语音 Transformer 结合训练。

• Jasper

Jasper（Just Another SPEech Recognizer）是一种端到端卷积神经网络声学模型。Jasper 仅使用 CNN → BatchNorm → ReLU → Dropout 块以及残差连接，便展现出强大的性能。

• Conformer

Conformer 将卷积神经网络与 Transformer 相结合，以参数高效的方式建模音频序列的局部和全局依赖关系。Conformer 显著优于先前的基于 Transformer 和 CNN 的模型，达到了最先进的准确率。

安装

本项目推荐使用 Python 3.7 或更高版本。
我们建议为此项目创建一个新的虚拟环境（使用 virtual env 或 conda）。

先决条件

• Numpy: pip install numpy（安装 Numpy 时遇到问题可参考 这里）。
• Pytorch: 请参考 PyTorch 官网，根据您的环境安装相应版本。
• Pandas: pip install pandas（安装 Pandas 时遇到问题可参考 这里）
• Matplotlib: pip install matplotlib（安装 Matplotlib 时遇到问题可参考 这里）
• librosa: conda install -c conda-forge librosa（安装 librosa 时遇到问题可参考 这里）
• torchaudio: pip install torchaudio==0.6.0（安装 torchaudio 时遇到问题可参考 这里）
• tqdm: pip install tqdm（安装 tqdm 时遇到问题可参考 这里）
• sentencepiece: pip install sentencepiece（安装 sentencepiece 时遇到问题可参考 这里）
• warp-rnnt: pip install warp_rnnt（安装 warp-rnnt 时遇到问题可参考 这里）
• hydra: pip install hydra-core --upgrade（安装 hydra 时遇到问题可参考 这里）

从源码安装

目前我们仅支持使用 setuptools 从源代码安装。克隆源代码并运行以下命令：

pip install -e .

开始使用

我们使用 Hydra 来管理所有的训练配置。如果您不熟悉 Hydra，建议访问 Hydra 官网。一般来说，Hydra 是一个开源框架，它通过提供动态创建分层配置的能力，简化了科研应用程序的开发。

准备 KsponSpeech 数据集（LibriSpeech 也可支持）

可以从 这里 下载，或参考以下内容进行预处理。

• KsponSpeech : 查看此页面
• LibriSpeech : 查看此页面

训练 KsponSpeech 数据集

您可以选择多种模型和训练选项。还有许多其他训练选项，请仔细查看并执行以下命令：

• Deep Speech 2 训练

python ./bin/main.py model=ds2 train=ds2_train train.dataset_path=$DATASET_PATH

• 听-看-拼写 训练

python ./bin/main.py model=las train=las_train train.dataset_path=$DATASET_PATH

• 联合 CTC-注意力 听-看-拼写 训练

python ./bin/main.py model=joint-ctc-attention-las train=las_train train.dataset_path=$DATASET_PATH

• RNN 转换器 训练

python ./bin/main.py model=rnnt train=rnnt_train train.dataset_path=$DATASET_PATH

• 语音 Transformer 训练

python ./bin/main.py model=transformer train=transformer_train train.dataset_path=$DATASET_PATH

• 联合 CTC-注意力 语音 Transformer 训练

python ./bin/main.py model=joint-ctc-attention-transformer train=transformer_train train.dataset_path=$DATASET_PATH

• Jasper 训练

python ./bin/main.py model=jasper train=jasper_train train.dataset_path=$DATASET_PATH

• Conformer 训练

python ./bin/main.py model=conformer-large train=conformer_large_train train.dataset_path=$DATASET_PATH

您也可以使用 conformer-medium 或 conformer-small 模型进行训练。

对 KsponSpeech 进行评估

python ./bin/eval.py eval.dataset_path=$DATASET_PATH eval.transcripts_path=$TRANSCRIPTS_PATH eval.model_path=$MODEL_PATH

现在您已经拥有一款可用于对新数据进行预测的模型。我们可以通过运行 贪婪搜索 或 束搜索 来实现这一点。

使用预训练模型对单个音频文件进行推理

• 命令

$ python3 ./bin/inference.py --model_path $MODEL_PATH --audio_path $AUDIO_PATH --device $DEVICE

• 输出

语音识别结果句子会显示出来

您可以通过一段音频快速查看预训练模型的推理效果。

检查点

检查点按实验和时间戳组织，文件结构如下所示。

outputs
+-- YYYY_mm_dd
|  +-- HH_MM_SS
   |  +-- trainer_states.pt
   |  +-- model.pt

您可以从检查点恢复并加载模型。

故障排除与贡献

如果您有任何问题、错误报告或功能请求，请在 GitHub 上 提交一个问题。
如需实时讨论，请访问我们的 Gitter，或联系 sh951011@gmail.com。

我们欢迎任何形式的反馈和贡献。您可以从小的改进入手，例如修复 bug 或完善文档。对于重大贡献或新功能，请先在相关 issue 中与合作者讨论。

代码风格

我们遵循 PEP-8 代码风格规范。尤其是 docstring 的风格对生成文档非常重要。

论文参考

• Ilya Sutskever 等人，《使用神经网络进行序列到序列学习》(arXiv: 1409.3215)

• Dzmitry Bahdanau 等人，《通过联合学习对齐与翻译实现神经机器翻译》(arXiv: 1409.0473)

• Jan Chorowski 等人，《基于注意力机制的语音识别模型》(arXiv: 1506.07503)

• Wiliam Chan 等人，《听、注意与拼写》(arXiv: 1508.01211)

• Dario Amodei 等人，《Deep Speech2：英语和普通话的端到端语音识别》(arXiv: 1512.02595)

• Takaaki Hori 等人，《结合深度 CNN 编码器和 RNN-LM 的 CTC-注意力联合 E2E 自动语音识别进展》(arXiv: 1706.02737)

• Ashish Vaswani 等人，《注意力就是一切》(arXiv: 1706.03762)

• Chung-Cheng Chiu 等人，《基于序列到序列模型的最先进语音识别》(arXiv: 1712.01769)

• Anjuli Kannan 等人，《将外部语言模型融入序列到序列模型的分析》(arXiv: 1712.01996)

• Daniel S. Park 等人，《SpecAugment：一种简单的自动语音识别数据增强方法》(arXiv: 1904.08779)

• Rafael Muller 等人，《标签平滑何时有效？》(arXiv: 1906.02629)

• Daniel S. Park 等人，《SpecAugment 在大规模数据集上的应用》(arXiv: 1912.05533)

• Jung-Woo Ha 等人，《ClovaCall：面向呼叫中心自动语音识别的韩语目标导向对话语音语料库》(arXiv: 2004.09367)

• Jason Li 等人，《Jasper：一种端到端卷积神经网络声学模型》(arXiv: 1902.03288)

• Anmol Gulati 等人，《Conformer：用于语音识别的卷积增强 Transformer》(arXiv: 2005.08100)

GitHub 参考

• IBM/Pytorch-seq2seq

• SeanNaren/deepspeech.pytorch

• kaituoxu/Speech-Transformer

• OpenNMT/OpenNMT-py

• clovaai/ClovaCall

• LiyuanLucasLiu/RAdam

• NVIDIA/DeepLearningExample

• espnet/espnet

许可证

本项目采用 Apache-2.0 许可证授权——详情请参阅 LICENSE.md 文件。

引用

关于 KoSpeech 的一篇论文已在 ScienceDirect 上发表。如果您在学术研究中使用该系统，请引用以下内容：

@ARTICLE{2021-kospeech,
  author    = {Kim, Soohwan and Bae, Seyoung and Won, Cheolhwang},
  title     = {KoSpeech：用于端到端韩语语音识别的开源工具包},
  url       = {https://www.sciencedirect.com/science/article/pii/S2665963821000026},
  month     = {二月},
  year      = {2021},
  publisher = {ELSEVIER},
  journal   = {SIMPAC},
  pages     = {第7卷，100054页}
}

此外，还有一篇关于 KoSpeech 的技术报告已发布于 arXiv：

@TECHREPORT{2020-kospeech,
  author    = {Kim, Soohwan and Bae, Seyoung and Won, Cheolhwang},
  title     = {KoSpeech：用于端到端韩语语音识别的开源工具包},
  month     = {九月},
  year      = {2020},
  url       = {https://arxiv.org/abs/2009.03092},
  journal   = {ArXiv e-prints},
  eprint    = {2009.03092}
}

# 基础科学计算库
pip install numpy pandas matplotlib tqdm -i https://pypi.tuna.tsinghua.edu.cn/simple

# PyTorch 及相关音频库 (请根据官网选择对应 CUDA 版本)
# 示例：pip install torch torchvision torchaudio==0.6.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install torchaudio==0.6.0

# 音频处理与分词
conda install -c conda-forge librosa
pip install sentencepiece -i https://pypi.tuna.tsinghua.edu.cn/simple

# RNN-T 专用加速库
pip install warp_rnnt -i https://pypi.tuna.tsinghua.edu.cn/simple

# 配置管理框架 Hydra
pip install hydra-core --upgrade -i https://pypi.tuna.tsinghua.edu.cn/simple

git clone https://github.com/sooftware/kospeech.git
cd kospeech
pip install -e .

python ./bin/main.py model=ds2 train=ds2_train train.dataset_path=/path/to/dataset

python ./bin/main.py model=conformer-large train=conformer_large_train train.dataset_path=/path/to/dataset

python ./bin/eval.py eval.dataset_path=/path/to/dataset eval.transcripts_path=/path/to/transcripts eval.model_path=/path/to/model.pt

python3 ./bin/inference.py --model_path /path/to/model.pt --audio_path /path/to/audio.wav --device cuda

음성인식 결과 문장이 나옵니다

outputs
+-- YYYY_mm_dd
|  +-- HH_MM_SS
   |  +-- trainer_states.pt  (用于恢复训练)
   |  +-- model.pt           (用于推理/评估)