端到端自动语音识别系统 - PyTorch 实现

这是一个开源项目（原名 Listen, Attend and Spell - PyTorch Implementation），由 Tzu-Wei Sung 和我共同开发的端到端 ASR 项目。
实现主要基于广为人知的深度学习框架 PyTorch。

该端到端 ASR 的基础是 Listen, Attend and Spell¹。此外，我们还实现了近年来提出的多种技术，作为插件以提升性能。已实现的技术列表请参阅 亮点、配置文件 和 参考文献。

欢迎使用或修改这些代码，任何 bug 报告或改进建议都将不胜感激。如果您觉得本项目对您的研究有所帮助，请考虑引用我们的论文^[Citation]，谢谢！

亮点

• 特征提取

  • 使用 torchaudio 作为后端进行实时特征提取
  • 文本的字符/子词²/词编码

• 训练端到端 ASR

  • 具有不同编码器/注意力机制³的序列到序列 ASR
  • 基于 CTC 的 ASR⁴,也可与前者混合⁵
  • yaml 风格的模型构建和超参数设置
  • 使用 TensorBoard 可视化训练过程，包括注意力对齐

• 使用端到端 ASR 进行语音识别（即解码）

  • 波束搜索解码
  • RNN 语言模型训练及与 ASR 的联合解码⁶
  • 联合 CTC-注意力机制的解码⁶
  • 贪心解码和 CTC 波束搜索由 Heng-Jui (Harry) Chang 贡献

您可以通过下载 coming soon 中的示例日志文件，使用 TensorBoard 查看相关可视化内容

依赖项

• Python 3
• 如果您想训练自己的模型，计算能力（高端 GPU）和内存空间（RAM 和 GPU 显存）都至关重要。
• 所需的软件包及其用途列在 requirements.txt 中。

使用说明

步骤 0. 预处理 - 生成文本编码器

您可以直接使用 tests/sample_data/ 目录下提供的文本编码器，跳过此步骤。

子词模型使用 sentencepiece 训练。对于字符/词模型，您需要逐行生成包含词汇表的文件。也可以使用 util/generate_vocab_file.py 脚本，只需准备一个文本文件，其中包含所有用于生成词汇表或子词模型的文本即可。如果要更改模式或词汇表文件，请更新配置文件中的 data.text.* 字段。对于子词模型，应使用以 .model 结尾的文件作为 vocab_file。

python3 util/generate_vocab_file.py --input_file TEXT_FILE \
                                    --output_file OUTPUT_FILE \
                                    --vocab_size VOCAB_SIZE \
                                    --mode MODE

更多详细信息请参阅 python3 util/generate_vocab_file.py -h。

步骤 1. 配置 - 模型设计与超参数设置

所有与训练/解码相关的参数都将存储在一个 yaml 文件中。通过这种方式可以轻松管理超参数调优和实验。具体格式请参阅 文档和示例。请注意，提供的示例配置并未经过精细调优，为了获得最佳性能，建议您编写自己的配置文件。

步骤 2. 训练（端到端 ASR 或 RNN-LM）

配置文件准备好后，运行以下命令即可开始训练端到端 ASR（或语言模型）：

python3 main.py --config <配置文件路径> 

例如，在 LibriSpeech 数据集上训练一个 ASR，并使用以下命令查看日志：

# 查看可用选项
python3 main.py -h
# 使用特定配置开始训练
python3 main.py --config config/libri/asr_example.yaml
# 打开 TensorBoard 查看日志
tensorboard --logdir log/
# 训练外部语言模型
python3 main.py --config config/libri/lm_example.yaml --lm

所有设置将自动从配置文件中解析并开始训练，训练日志可通过 TensorBoard 查看。请注意，TensorBoard 上显示的错误率存在偏差（见 issue #10），您应运行测试阶段以获得模型的真实性能。
本阶段可用的选项包括：

选项	描述
config	配置文件路径。
seed	随机种子，请注意，此选项会影响结果
name	用于记录和保存模型的实验名称。 默认为 <配置文件名>_<随机种子>
logdir	存储训练日志（TensorBoard 日志文件）的路径，默认为 log/。
ckpdir	存放模型的目录，默认为 ckpt/。
njobs	数据加载器使用的工作者数量，如果发现数据预处理占用了大部分训练时间，可适当增加，默认使用 6。
no-ping	禁用 PyTorch 数据加载器的固定内存选项。
cpu	仅 CPU 模式，不推荐使用，可用于调试。
no-msg	隐藏所有标准输出消息。
lm	切换到 RNNLM 训练模式。
test	切换到解码模式（请勿在训练阶段使用）
cudnn-ctc	使用 CuDNN 作为 PyTorch CTC 的后端。不稳定，详见 此问题，不确定是否已在 最新版本的 PyTorch 中修复，且 cuDNN 版本 > 7.6

步骤 3. 语音识别与性能评估

要测试模型，请运行以下命令：

python3 main.py --config <配置文件路径> --test --njobs <整数>

请注意，解码过程不采用批处理方式，因此需要使用更多的工作者来加快速度，但这会消耗更多内存。 默认情况下，识别结果将存储在 result/<name>/ 目录下，以两个 CSV 文件的形式保存，并根据解码配置文件自动命名。output.csv 将存储 ASR 提供的最佳假设，而 beam.csv 将记录波束搜索过程中的前几条假设。结果文件可以使用 eval.py 进行评估。例如，测试在 LibriSpeech 上训练的示例 ASR，并检查其性能：

python3 main.py --config config/libri/decode_example.yaml --test --njobs 8

# 检查 WER/CER
python3 eval.py --file result/asr_example_sd0_dev_output.csv

大多数选项与训练阶段类似，除了以下几点：

选项	描述
test	必须启用
config	解码配置文件的路径。
outdir	存储解码结果的路径。
njobs	用于解码的线程数，对效率非常重要。数值越大，解码速度越快，但会占用更多的内存/GPU显存。

故障排除

• 训练刚开始时损失就变为 nan

  对于 CTC 损失，len(pred)>len(label) 是必要的条件。此外，可以考虑将 torch.nn.CTCLoss 的 zero_infinity 参数设置为 True。

待办事项

• 提供示例
• 纯 CTC 训练 / CTC 束搜索解码中的问题（候选列表外）
• 贪心解码
• 自定义数据集
• 工具脚本
• 完成 CLM 的迁移和参考实现
• 将预处理后的数据集存储在内存中

致谢

• 部分实现参考了 ESPnet，这是一款由 Watanabe 等人开发的强大端到端语音处理工具包。
• 特别感谢 LAS 的第一作者 William Chan，他在实现过程中解答了我的疑问。
• 感谢 xiaoming、Odie Ko、b-etienne、Jinserk Baik 和 Zhong-Yi Li，他们指出了我们实现中的几个问题。

参考文献

1. Listen, Attend and Spell，W Chan 等人。
2. Neural Machine Translation of Rare Words with Subword Units，R Sennrich 等人。
3. Attention-Based Models for Speech Recognition，J Chorowski 等人。
4. Connectionist Temporal Classification: Labelling Unsegmented Sequence Data with Recurrent Neural Networks，A Graves 等人。
5. Joint CTC-Attention based End-to-End Speech Recognition using Multi-task Learning，S Kim 等人。
6. Advances in Joint CTC-Attention based End-to-End Speech Recognition with a Deep CNN Encoder and RNN-LM，T Hori 等人。

引用

@inproceedings{liu2019adversarial,
  title={Adversarial Training of End-to-end Speech Recognition Using a Criticizing Language Model},
  author={Liu, Alexander and Lee, Hung-yi and Lee, Lin-shan},
  booktitle={Acoustics, Speech and Signal Processing (ICASSP)},
  year={2019},
  organization={IEEE}
}

@misc{alex2019sequencetosequence,
    title={Sequence-to-sequence Automatic Speech Recognition with Word Embedding Regularization and Fused Decoding},
    author={Alexander H. Liu and Tzu-Wei Sung and Shun-Po Chuang and Hung-yi Lee and Lin-shan Lee},
    year={2019},
    eprint={1910.12740},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

End-to-end-ASR-Pytorch 快速上手指南

环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统：Linux / macOS (推荐 Linux)
• Python 版本：Python 3.x
• 硬件要求：
  • GPU：强烈建议使用高性能 NVIDIA GPU 进行模型训练。
  • 内存：需要充足的系统内存 (RAM) 和显存 (GPU RAM)，否则训练过程可能因内存不足而失败。
• 核心依赖：
  • PyTorch (深度学习框架)
  • torchaudio (音频特征提取后端)
  • sentencepiece (子词模型训练)
  • TensorBoard (训练过程可视化)
  • 其他依赖详见项目根目录下的 requirements.txt。

提示：国内用户安装 PyTorch 时，建议访问 PyTorch 官网 选择对应的 CUDA 版本，并使用清华或中科大镜像源加速安装。

安装步骤

1. 克隆项目代码

   git clone https://github.com/WindQAQ/End-to-end-ASR-Pytorch.git
   cd End-to-end-ASR-Pytorch
   

2. 安装 Python 依赖包 建议使用虚拟环境（如 conda 或 venv）以避免冲突。

   pip install -r requirements.txt
   

   (国内加速方案)：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

3. 验证安装 运行帮助命令确认环境正常：

   python3 main.py -h
   

基本使用

本项目采用 YAML 配置文件管理所有超参数和模型结构。以下是从零开始训练一个简单 ASR 模型的流程。

第一步：生成文本编码器 (可选)

如果你使用项目提供的示例数据 (tests/sample_data/)，可跳过此步。若需自定义数据集，需先生成词汇表或子词模型。

python3 util/generate_vocab_file.py --input_file TEXT_FILE \
                                    --output_file OUTPUT_FILE \
                                    --vocab_size VOCAB_SIZE \
                                    --mode MODE

• TEXT_FILE: 包含所有训练文本的文件。
• MODE: 可选择 char (字符), word (单词), 或 unigram (子词，需配合 sentencepiece)。
• 生成的 .model 文件需在配置文件中指定为 vocab_file。

第二步：配置模型

编辑 config/ 目录下的 YAML 文件（例如 config/libri/asr_example.yaml）。

• 修改数据路径、模型架构、学习率等参数。
• 注意：示例配置未经精细调优，生产环境请根据实际数据调整。

第三步：开始训练

使用配置好的 YAML 文件启动训练，并可通过 TensorBoard 实时监控。

# 启动训练 (以 LibriSpeech 示例配置为例)
python3 main.py --config config/libri/asr_example.yaml

# (可选) 启动外部语言模型 (RNN-LM) 训练
python3 main.py --config config/libri/lm_example.yaml --lm

查看训练日志： 在新终端窗口运行以下命令打开 TensorBoard：

tensorboard --logdir log/

注意：TensorBoard 中显示的误差率可能存在偏差，请以测试阶段的结果为准。

第四步：测试与评估

训练完成后，使用测试集评估模型性能（解码）。

# 执行解码测试 (建议增加 njobs 以提高速度)
python3 main.py --config config/libri/decode_example.yaml --test --njobs 8

解码结果默认保存在 result/<name>/ 目录下：

• output.csv: 存储最佳识别结果。
• beam.csv: 存储 Beam Search 过程中的顶部候选结果。

计算字错率 (CER) 或词错率 (WER)：

python3 eval.py --file result/asr_example_sd0_dev_output.csv