Espresso

Espresso 是一个开源、模块化、可扩展的端到端神经网络自动语音识别（ASR）工具包，基于深度学习库 PyTorch 和流行的神经机器翻译工具包 fairseq 构建。Espresso 支持跨 GPU 和计算节点的分布式训练，并提供了 ASR 中常用的多种解码方法，包括基于前瞻词级别的语言模型融合，为此实现了一个快速且并行化的解码器。

我们为以下语音数据集提供了最先进的训练配方：

• WSJ
• LibriSpeech
• Switchboard

最新动态：

• 2022年9月：支持 CTC 模型的训练和解码。请查看配置文件示例。
• 2022年2月：实现了 Conformer 编码器。只需在配置文件中添加一行选项即可启用。示例请参见：这里 和 这里。
• 2021年12月：新增了一套 Transducer 模型的训练和解码代码。一个演示性的 LibriSpeech 配方位于这里。训练需要安装 torchaudio >= 0.10.0。
• 2021年4月：支持使用 torchaudio 对原始波形进行实时特征提取。发布了一个 LibriSpeech 配方在这里，该配方不依赖 Kaldi，并通过 Hydra 使用 YAML 文件来配置实验。
• 2020年6月：发布了 Transformer 的训练配方。
• 2020年4月：现在同时支持 E2E LF-MMI（使用 PyChain）以及混合 ASR 的交叉熵训练。WSJ 的配方分别提供在这里 和 这里 作为示例。
• 2020年3月：支持 SpecAugment，并发布了相关配方。
• 2019年9月：我们正在努力将 Espresso 从 fairseq 中独立出来，最终形成一个可以使用 pip install 直接安装的独立软件包。

要求与安装

• PyTorch 版本 >= 1.10.0
• Python 版本 >= 3.8
• 如果要训练新模型，还需要 NVIDIA GPU 和 NCCL
• 从源码安装 Espresso 并进行本地开发：

git clone https://github.com/freewym/espresso
cd espresso
pip install --editable .

# 在 MacOS 上：
# CFLAGS="-stdlib=libc++" pip install --editable ./
pip install kaldi_io sentencepiece soundfile
cd espresso/tools; make KALDI=<path/to/a/compiled/kaldi/directory>

将你的 Python 路径添加到 examples/asr_<dataset>/path.sh 中的 PATH 变量中，当前默认值是 ~/anaconda3/bin。

kaldi_io 用于读取 Kaldi 的 scp 文件。sentencepiece 用于子词单元的训练和编码。soundfile 用于读取原始波形文件。Kaldi 则用于数据准备、特征提取、部分数据集的评分（例如 Switchboard），以及所有混合系统的解码。

• 如果你想使用 PyChain 进行 LF-MMI 训练，还需要安装 PyChain（以及 OpenFst）：

编辑 espresso/tools/Makefile 中的 PYTHON_DIR 变量（默认值为 ~/anaconda3/bin），然后执行：

cd espresso/tools; make openfst pychain

• 为了加快训练速度，请安装 NVIDIA 的 apex 库：

git clone https://github.com/NVIDIA/apex
cd apex
pip install -v --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" \
  --global-option="--deprecated_fused_adam" --global-option="--xentropy" \
  --global-option="--fast_multihead_attn" ./

许可证

Espresso 采用 MIT 许可证。

引用

请按如下方式引用 Espresso：

@inproceedings{wang2019espresso,
  title = {Espresso: A Fast End-to-end Neural Speech Recognition Toolkit},
  author = {Yiming Wang and Tongfei Chen and Hainan Xu
            and Shuoyang Ding and Hang Lv and Yiwen Shao
            and Nanyun Peng and Lei Xie and Shinji Watanabe
            and Sanjeev Khudanpur},
  booktitle = {2019 IEEE Automatic Speech Recognition and Understanding Workshop (ASRU)},
  year = {2019},
}

Espresso 快速上手指南

Espresso 是一个基于 PyTorch 和 fairseq 的开源、模块化端到端神经自动语音识别（ASR）工具包。它支持多 GPU 和分布式训练，并集成了多种先进的解码策略（如前向词级语言模型融合）。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐) 或 macOS
• Python: >= 3.8
• PyTorch: >= 1.10.0
• 硬件: 训练新模型需要 NVIDIA GPU 及 NCCL 支持
• 其他依赖:
  • Kaldi: 用于部分数据集的数据准备、特征提取、评分以及所有混合系统的解码。
  • OpenFst & PyChain: 仅在进行 LF-MMI 训练时需要。

国内加速建议：安装 Python 依赖时，建议使用清华或阿里镜像源以加快下载速度。 例如：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package_name>

安装步骤

1. 克隆源码并安装核心包

git clone https://github.com/freewym/espresso
cd espresso
# 建议使用国内镜像源安装
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple --editable .

# 如果是 macOS 系统，请使用以下命令：
# CFLAGS="-stdlib=libc++" pip install -i https://pypi.tuna.tsinghua.edu.cn/simple --editable ./

# 安装必要的 Python 辅助库
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple kaldi_io sentencepiece soundfile

2. 编译 Kaldi 工具链

您需要编译 Espresso 自带的 Kaldi 工具。请将 <path/to/a/compiled/kaldi/directory> 替换为您本地已编译好的 Kaldi 目录路径（如果您没有预编译的 Kaldi，需先自行编译安装 Kaldi）。

cd espresso/tools
make KALDI=<path/to/a/compiled/kaldi/directory>

3. 配置环境变量

编辑示例脚本中的路径配置。打开 examples/asr_<dataset>/path.sh 文件，将 PATH 变量修改为您的 Python 环境路径（默认为 ~/anaconda3/bin，请根据实际情况调整）。

4. (可选) 安装进阶组件

• 如需进行 LF-MMI 训练 (使用 PyChain)： 编辑 espresso/tools/Makefile 中的 PYTHON_DIR 变量，然后执行：

  cd espresso/tools
  make openfst pychain
  

• 如需加速训练 (使用 NVIDIA Apex)：

  git clone https://github.com/NVIDIA/apex
  cd apex
  pip install -v --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" \
    --global-option="--deprecated_fused_adam" --global-option="--xentropy" \
    --global-option="--fast_multihead_attn" ./
  

基本使用

Espresso 为多个主流数据集（WSJ, LibriSpeech, Switchboard）提供了完整的训练食谱（recipes）。以下以 LibriSpeech 数据集为例，展示最基础的使用流程。

1. 进入示例目录

cd examples/asr_librispeech

2. 运行训练脚本

根据您想要的模型架构，运行对应的 shell 脚本。这些脚本会自动处理数据下载、预处理、训练和解码。

• 运行标准的 Transformer 模型训练：

  bash run_transformer.sh
  

• 运行 Conformer 模型训练 (2022年新增特性)：

  bash run_conformer.sh
  # 或者查看具体的配置文件 examples/asr_librispeech/config/conformer_librispeech.yaml
  

• 运行 Transducer 模型训练 (需确保 torchaudio >= 0.10.0)：

  bash run_transformer_transducer.sh
  

• 使用 torchaudio 进行在线特征提取 (无需 Kaldi 特征提取依赖)：

  bash run_torchaudio.sh
  

3. 查看结果

脚本执行完毕后，训练日志、模型检查点（checkpoints）以及解码结果（WER/CER）将保存在指定的输出目录中（通常在 exp/ 目录下）。您可以参考生成的日志文件监控训练状态。

提示：具体参数调整（如学习率、层数、Augment 策略等）可通过修改 config/ 目录下的 .yaml 配置文件实现（基于 Hydra 框架）。