wav2letter++

重要提示：

wav2letter 已被移至并整合到 Flashlight 的 ASR 应用程序中。

未来的 wav2letter 开发将在 Flashlight 中进行。

若需构建旧版、整合前的 wav2letter，请检出 wav2letter v0.2 发布版本，该版本依赖于旧版 Flashlight v0.2。相应的 wav2letter-lua 项目可在 wav2letter-lua 分支中找到。

有关 wav2letter++ 的更多信息，请参阅或引用 这篇 arXiv 论文。

配方

本仓库包含用于复现以下研究论文以及预训练模型的配方。为确保完全可复现性，所有结果的复现都必须使用 Flashlight <= 0.3.2。此处包含的论文包括：

• Pratap 等人 (2020)：利用卷积神经网络扩展在线语音识别
• Synnaeve 等人 (2020)：端到端 ASR：从监督学习到半监督学习，采用现代架构
• Kahn 等人 (2020)：端到端语音识别中的自训练
• Likhomanenko 等人 (2019)：谁还需要词汇表？无词典语音识别
• Hannun 等人 (2019)：基于时间-深度可分离卷积的序列到序列语音识别

用于训练和评估的数据准备可在 data 目录中找到。

构建配方

首先，安装 Flashlight （必须使用 0.3 分支），并配合 ASR 应用程序。

mkdir build && cd build
cmake .. && make -j8

如果 Flashlight 或 ArrayFire 是通过自定义的 CMAKE_INSTALL_PREFIX 安装在非标准路径下，则可以在运行 cmake 时传递以下参数来指定其位置：

-Dflashlight_DIR=[PREFIX]/usr/share/flashlight/cmake/ -DArrayFire_DIR=[PREFIX]/usr/share/ArrayFire/cmake

加入 wav2letter 社区

• Facebook 群组：https://www.facebook.com/groups/717232008481207/
• Google 群组：https://groups.google.com/forum/#!forum/wav2letter-users
• 联系方式：vineelkpratap@fb.com, awni@fb.com, qiantong@fb.com, jacobkahn@fb.com, antares@fb.com, avidov@fb.com, gab@fb.com, vitaliy888@fb.com, locronan@fb.com

许可证

wav2letter++ 采用 MIT 许可证，详情请参见 LICENSE 文件。

wav2letter++ 快速上手指南

重要提示：wav2letter 项目已合并至 Flashlight 框架的 ASR 应用中。未来的开发将在 Flashlight 中进行。本指南基于合并前的稳定版本（v0.2/v0.3 分支），适用于复现经典论文结果。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：推荐 Linux (Ubuntu 18.04+) 或 macOS。
• 编译器：支持 C++17 的编译器 (GCC 7+ 或 Clang 5+)。
• 构建工具：CMake (3.10+) 和 Make。
• 核心依赖：
  • Flashlight: 必须使用 0.3 分支 (严格对应 flashlight <= 0.3.2 以保证结果可复现)。
  • ArrayFire: 用于后端加速计算 (CPU/CUDA/OpenCL)。
  • 其他库: KenLM, gflags, glog, zlib 等 (通常由 Flashlight 安装脚本处理)。

国内加速建议：

• 若使用 Ubuntu，建议将 apt 源替换为阿里云或清华镜像源以加速依赖安装。
• 克隆 GitHub 仓库时，可使用 git clone https://ghproxy.com/https://github.com/... 或使用 Gitee 镜像（如有）加速代码下载。

安装步骤

1. 安装 Flashlight (v0.3 分支)

wav2letter++ 强依赖于特定版本的 Flashlight。请先克隆并编译 Flashlight 的 0.3 分支：

git clone --branch v0.3 https://github.com/flashlight/flashlight.git
cd flashlight
mkdir build && cd build
cmake .. -DFL_BUILD_TESTS=OFF -DFL_BUILD_EXAMPLES=OFF
make -j8
sudo make install

注意：如果 ArrayFire 或 Flashlight 安装在非标准路径，请在后续步骤中通过 -Dflashlight_DIR 和 -DArrayFire_DIR 指定路径。

2. 克隆 wav2letter++ 源码

获取包含食谱（Recipes）和预训练模型的代码库：

git clone https://github.com/flashlight/wav2letter.git
cd wav2letter

3. 编译项目

进入构建目录并配置 CMake。确保 CMake 能找到上一步安装的 Flashlight：

mkdir build && cd build
cmake .. 
# 如果依赖安装在自定义路径，请使用如下命令：
# cmake .. -Dflashlight_DIR=[PREFIX]/usr/share/flashlight/cmake/ -DArrayFire_DIR=[PREFIX]/usr/share/ArrayFire/cmake

make -j8

编译完成后，可执行文件将位于 build 目录中。

基本使用

wav2letter++ 主要通过运行特定的“食谱”（Recipes）来进行模型训练或评估。以下以运行一个简单的测试或复现为例。

数据准备

所有训练和评估所需的数据处理脚本均位于 data 目录。在使用具体食谱前，请参考对应食谱文件夹下的 README 准备数据集（如 Librispeech）。

运行示例

假设您想复现 Seq2Seq with Time-Depth Separable Convolutions (Hannun et al., 2019) 的结果，可以进入对应的食谱目录并运行训练脚本。

以下是通用的运行逻辑（具体参数需参考各食谱目录下的说明）：

# 进入特定食谱目录，例如 seq2seq_tds
cd ../recipes/seq2seq_tds/

# 运行训练命令 (示例命令，实际参数需根据数据路径调整)
# ./train --tsv_path=/path/to/data.tsv --arch_config=architecture.cfg --lr=0.001 ...

对于大多数用户，最直接的使用方式是查阅 recipes 目录下对应论文的文件夹，其中包含了复现该论文所需的配置文件和具体的命令行调用示例。

引用：如果您在研究中使用 wav2letter++，请引用相关论文：arXiv:1812.07625。