TensorFlowASR :zap:

几乎达到最先进水平的 TensorFlow 2 自动语音识别

TensorFlowASR 实现了 DeepSpeech2、Jasper、RNN Transducer、ContextNet、Conformer 等多种自动语音识别架构。这些模型可以转换为 TFLite 格式，以减少内存和计算量，便于部署 :smile:

最新动态？

目录

• 最新动态？
• 目录
• :yum: 支持的模型
  • 基准模型
  • 论文模型
• 安装
• 训练与测试教程
• 特征提取
• 数据增强
• TFLite 转换
• 预训练模型
• 语料库来源
  • 英语
  • 越南语
• 如何贡献
• 参考文献与致谢
• 联系方式

:yum: 支持的模型

基准模型

• Transducer 模型（使用 RNNT 损失进行训练的端到端模型，目前支持 Conformer、ContextNet 和 Streaming Transducer）
• CTCModel（使用 CTC 损失进行训练的端到端模型，目前支持 DeepSpeech2 和 Jasper）

论文模型

• Conformer Transducer（参考文献：https://arxiv.org/abs/2005.08100） 请参阅 examples/models/transducer/conformer
• Streaming Conformer（参考文献：http://arxiv.org/abs/2010.11395） 请参阅 examples/models/transducer/conformer
• ContextNet（参考文献：http://arxiv.org/abs/2005.03191） 请参阅 examples/models/transducer/contextnet
• RNN Transducer（参考文献：https://arxiv.org/abs/1811.06621） 请参阅 examples/models/transducer/rnnt
• Deep Speech 2（参考文献：https://arxiv.org/abs/1512.02595） 请参阅 examples/models/ctc/deepspeech2
• Jasper（参考文献：https://arxiv.org/abs/1904.03288） 请参阅 examples/models/ctc/jasper

安装

为了进行训练和测试，您需要使用 git clone 从其他作者处安装必要的包（如 ctc_decoders、rnnt_loss 等）。

仅适用于 Apple Silicon 的注意事项：TensorFlowASR 需要 Python >= 3.12。

有关额外依赖项，请参阅 requirements.[extra].txt 文件。

git clone https://github.com/TensorSpeech/TensorFlowASR.git
cd TensorFlowASR
./setup.sh [apple|tpu|gpu] [dev]

在容器中运行

docker-compose up -d

训练与测试教程

• 关于训练，请阅读 tutorial_training
• 关于测试，请阅读 tutorial_testing

温馨提示：Keras 内置的训练方法使用的是无限数据集，这样可以避免可能出现的最后一个不完整的批次。

请参阅 examples 中的一些预定义 ASR 模型及其结果。

特征提取

请参阅 features_extraction

数据增强

请参阅 augmentations

TFLite 转换

转换为 TFLite 后，TFLite 模型就像一个函数，可以直接将音频信号转换为文本和标记。

请参阅 tflite_convertion

预训练模型

请查看每个示例文件夹中的结果，例如 ./examples/models//transducer/conformer/results/sentencepiece/README.md

语料库来源

英语

名称	来源	小时数
LibriSpeech	LibriSpeech	970 小时
Common Voice	https://commonvoice.mozilla.org	1932 小时

越南语

名称	来源	小时数
Vivos	https://ailab.hcmus.edu.vn/vivos	15 小时
InfoRe Technology 1	InfoRe1 (密码：BroughtToYouByInfoRe)	25 小时
InfoRe Technology 2 (用于 VLSP2019)	InfoRe2 (密码：BroughtToYouByInfoRe)	415 小时
VietBud500	https://huggingface.co/datasets/linhtran92/viet_bud500	500 小时

如何贡献

1. 分支该项目
2. 安装用于开发
3. 创建分支
4. 向本仓库提交拉取请求

参考文献与致谢

1. NVIDIA OpenSeq2Seq 工具箱
2. https://github.com/noahchalifour/warp-transducer
3. 循环神经网络的序列转导
4. PyTorch 中的端到端语音处理工具箱
5. https://github.com/iankur/ContextNet

联系方式

Huy Le Nguyen

邮箱：nlhuy.cs.16@gmail.com

TensorFlowASR 快速上手指南

TensorFlowASR 是一个基于 TensorFlow 2 的自动语音识别（ASR）工具库，实现了 DeepSpeech2、Jasper、Conformer、ContextNet 等接近最先进（SOTA）的模型架构，并支持转换为 TFLite 以便部署。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux, macOS (Apple Silicon 需特别注意), Windows (建议通过 WSL2 或 Docker)
• Python 版本: >= 3.8
  • 注意: 如果您使用的是 Apple Silicon (M1/M2/M3) 芯片，必须使用 Python >= 3.12。
• TensorFlow 版本: >= 2.12.0
• 硬件加速: 推荐配备 NVIDIA GPU (用于训练)，或使用 TPU。CPU 也可运行但速度较慢。
• 依赖项: 需要 git 以及编译 C++ 扩展的工具链 (如 build-essential)，因为安装过程会自动克隆并编译 ctc_decoders 和 rnnt_loss 等底层库。

安装步骤

推荐使用源码安装方式，以便自动配置必要的第三方依赖。

1. 克隆项目

git clone https://github.com/TensorSpeech/TensorFlowASR.git
cd TensorFlowASR

2. 执行安装脚本

根据您的硬件环境选择对应的参数运行 setup.sh 脚本。脚本会自动处理 Python 依赖及子模块编译。

• GPU 环境 (NVIDIA):

  ./setup.sh gpu
  

• TPU 环境:

  ./setup.sh tpu
  

• Apple Silicon (M1/M2/M3):

  ./setup.sh apple
  

• 开发模式 (如需修改源码):

  ./setup.sh gpu dev
  

提示: 如果在国内网络环境下克隆子模块或下载依赖失败，建议配置 Git 代理或使用国内镜像源加速 pip 安装（可在 requirements.txt 安装阶段指定 -i https://pypi.tuna.tsinghua.edu.cn/simple）。

3. Docker 方式 (可选)

如果您希望避免环境配置冲突，可以直接使用 Docker Compose 运行：

docker-compose up -d

基本使用

TensorFlowASR 的核心流程分为特征提取、模型训练和推理测试。以下是最简化的使用逻辑。

1. 准备数据与配置

在 examples/ 目录下包含了各种预定义模型（如 Conformer, DeepSpeech2）的配置示例。您需要准备音频文件列表和对应的文本标注文件。

2. 训练模型

训练脚本通常位于 examples/train.py (具体路径视模型示例而定)。Keras 内置的训练循环支持无限数据集，避免了最后一个批次不完整的问题。

启动训练的基本命令结构如下（以 Conformer Transducer 为例）：

python examples/models/transducer/conformer/train.py \
  --config_path examples/models/transducer/conformer/config.yml \
  --dataset_path /path/to/your/dataset

详细训练参数请参考项目内的 docs/tutorials/training.md。

3. 模型测试与推理

训练完成后，可以使用测试脚本评估模型性能或直接进行语音转文字。

python examples/models/transducer/conformer/test.py \
  --config_path examples/models/transducer/conformer/config.yml \
  --checkpoint_path /path/to/best_checkpoint.h5 \
  --audio_path /path/to/test_audio.wav

详细测试流程请参考项目内的 docs/tutorials/testing.md。

4. 转换为 TFLite (部署用)

为了在移动端或嵌入式设备部署，可将训练好的模型转换为 TFLite 格式。转换后的模型可直接将音频信号映射为文本和 Token。

python examples/models/transducer/conformer/export_tflite.py \
  --config_path examples/models/transducer/conformer/config.yml \
  --checkpoint_path /path/to/best_checkpoint.h5 \
  --output_path model.tflite

详细转换教程请参考 docs/tutorials/tflite.md。

---

更多高级功能（如数据增强、特征提取细节、预训练模型下载）请参阅仓库中的 tensorflow_asr 目录文档及各模型示例文件夹下的 README.md。