Eesen

Eesen 的目标是将现有的复杂且高度依赖专业知识的自动语音识别（ASR）流水线简化为一个直观的序列学习问题。在 Eesen 中，声学建模只需训练一个单一的循环神经网络（RNN），以建模从语音到文本的映射关系。Eesen 放弃了传统 ASR 流水线中所需的以下组件：

• 隐马尔可夫模型（HMM）
• 高斯混合模型（GMM）
• 决策树和音素相关问题
• 词典（如果使用字符作为建模单元）
• …

Eesen 由 Yajie Miao 基于 Kaldi 工具包的启发而开发。感谢 Yajie！

核心组件

Eesen 包含四个关键组件，以实现端到端的自动语音识别：

• 声学模型 -- 使用 LSTM 单元的双向 RNN。
• 训练 -- 采用连接时序分类（CTC）作为训练目标。
• WFST 解码 -- 基于加权有限状态转换器（WFST）的规范解码方法；或
• RNN-LM 解码 -- 在使用 TensorFlow 时，基于（字符）RNN 语言模型进行解码（目前为独立分支）。

Eesen 的亮点

• 基于 WFST 的解码方法能够以高效且有效的方式将词典和语言模型融入 CTC 解码中。
• RNN-LM 解码方法无需固定的词典。
• 使用 GPU 实现 LSTM 模型训练和 CTC 学习，现已支持 TensorFlow。
• 训练过程中可并行处理多条语音片段，从而加快训练速度。
• 提供完整的示例配置来演示端到端系统的构建，既支持音素标签，也支持字符标签，并遵循 Kaldi 的配方和规范。

实验结果

请参阅各个示例配置下的“RESULTS”部分。

参考文献

欲了解更多信息，请参阅以下论文：

Yajie Miao、Mohammad Gowayyed 和 Florian Metze，《EESEN：使用深度 RNN 模型和基于 WFST 的解码实现端到端语音识别》，载于《自动语音识别与理解研讨会》（ASRU）会议论文集，美国亚利桑那州斯科茨代尔，2015 年 12 月。IEEE。

Eesen 快速上手指南

Eesen 是一个旨在简化传统自动语音识别（ASR）流程的端到端工具。它摒弃了 HMM、GMM 和决策树等复杂组件，直接通过双向 LSTM 循环神经网络和 CTC 损失函数，实现从语音到文本的序列学习。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：推荐 Linux (Ubuntu/CentOS)，Windows 需使用 WSL 或 Docker。
• 硬件要求：强烈建议配备 NVIDIA GPU 以加速 LSTM 训练和 CTC 计算。
• 核心依赖：
  • Python (2.7 或 3.x，视具体分支而定)
  • C++ 编译器 (g++)
  • CUDA Toolkit (如需 GPU 加速)
  • Kaldi 工具包 (Eesen 遵循 Kaldi 的数据准备规范和脚本约定)
  • Theano 或 TensorFlow (根据您选择的后端分支)

提示：由于 Eesen 深度依赖 Kaldi 的数据处理流程，请先参考 Kaldi 官方文档 完成基础环境搭建。国内用户可尝试使用清华源或中科大源加速 apt/yum 及 pip 依赖的安装。

安装步骤

Eesen 没有统一的 pip 安装包，通常需要从源码编译。以下是基于标准流程的安装命令：

1. 克隆仓库

   git clone https://github.com/srvk/eesen.git
   cd eesen
   

2. 编译核心组件 进入根目录并运行编译脚本（确保已安装 Kaldi 并设置了 KALDI_ROOT 环境变量）：

   export KALDI_ROOT=/path/to/your/kaldi
   ./configure --math-lib=OPENBLAS --use-cuda=yes
   make -j 4
   

   注：--use-cuda=yes 用于启用 GPU 加速，若无 GPU 请移除该参数。

3. 配置 Python 环境 如果使用 Theano 后端，需安装相关 Python 库：

   pip install numpy scipy theano
   # 国内加速示例
   # pip install -i https://pypi.tuna.tsinghua.edu.cn/simple numpy scipy theano
   

   如果使用 TensorFlow 分支，请切换至对应 branch 并安装 tensorflow：

   pip install tensorflow
   

4. 设置环境变量 将 Eesen 的脚本路径添加到环境变量中，以便全局调用：

   export EESEN_ROOT=$(pwd)
   export PATH=$PATH:$EESEN_ROOT/src/bin:$EESEN_ROOT/asr_egs/wsj/v1/local
   

基本使用

Eesen 的使用流程高度模仿 Kaldi。最快速的上手方式是运行自带的 WSJ 示例脚本，该脚本演示了从数据准备、模型训练到解码的全过程。

1. 进入示例目录 以 WSJ（Wall Street Journal）数据集为例：

   cd asr_egs/wsj/v1
   

2. 运行完整流程 执行主脚本 run.sh。首次运行会自动下载数据、提取特征、训练 CTC 模型并进行解码：

   ./run.sh
   

   流程解析：

   • 数据准备：脚本会调用 Kaldi 风格的脚本整理音频和转录文本。
   • 特征提取：生成 MFCC 或 FBANK 特征。
   • 模型训练：使用双向 LSTM 和 CTC 目标函数进行端到端训练（支持字符级或音素级标签）。
   • 解码：默认使用基于 WFST 的解码器，也可配置为 RNN-LM 解码。

3. 查看结果 训练完成后，识别结果通常位于 exp/ 目录下的相应文件夹中。您可以查看 results.txt 或类似文件获取词错误率（WER）评估报告。

   cat exp/tri3_ctc/decode_test/log/decode.log | grep WER
   

通过以上步骤，您即可构建一个完整的端到端语音识别系统。更多高级用法（如自定义词典、调整网络结构）请参考 asr_egs/ 目录下其他示例的 run.sh 脚本。