雅典娜

Athena 是一个开源的端到端语音处理引擎实现。我们的愿景是赋能工业应用和学术研究，推动端到端语音处理模型的发展。为了让每个人都能使用语音处理技术，我们还针对多种任务（自动语音识别、语音合成、语音活动检测、唤醒词检测等）在一些开源数据集上发布了示例实现和配方。

我们所有的模型都基于 TensorFlow>=2.0.1 实现。为了方便使用，我们提供了无 Kaldi 的 Python 风格特征提取器 Athena_transform。

核心功能

• 基于混合注意力/CTC 的端到端及流式方法（ASR）
• 文本到语音（FastSpeech/FastSpeech2/Transformer）
• 语音活动检测（VAD）
• 基于端到端和流式的关键词检测（KWS）
• ASR 无监督预训练（MPC）
• 使用 Horovod 在单机或多机上进行多 GPU 训练
• 使用 C++ 创建 WFST 并进行基于 WFST 的解码
• 使用 TensorFlow C++ 部署（本地服务器）

版本

• Athena v2.0（最新版，当前主分支版本）
• Athena v1.0

最新动态

• 2022年6月1日：Athena-model-zoo 已构建。
• 2022年5月13日：运行时支持 C++ 解码（E2E、Streaming、WFST、PrefixBeamSearch 等）以及 部署。
• 2022年5月10日：在 transform 中新增了关于 添加噪声和 rir aecres 到干净音频的功能。
• 2022年4月25日：在 Athena-v2.0 中新增了关于 KWS 的功能。
• 2022年4月7日：为 Athena-v2.0 新增了用于 ASR 的 AV-Conformer 以及 MISP2021 task2 示例。
• 2022年4月5日：为 Athena-v2.0 新增了 Transformer-U2 及其示例。
• 2022年3月20日：为 Athena-v2.0 新增了 CTC 对齐功能。
• 2022年3月10日：为 Athena-v2.0 新增了 Vad 功能及其示例。
• 2022年3月9日：为 Athena-v2.0 新增了 Fastspeech2。
• 2022年3月2日：为 Athena-v2.0 新增了 说话人嵌入。
• 2021年11月27日：为 Athena-v2.0 新增了 Conformer-CTC。
• 2021年10月31日：更新了这些 E2E ASR 示例（AISHELL-1、HKUST、GigaSpeech、LibriSpeech）的 ASR 性能。
• 2021年9月1日：更新了 Beamsearch 和 Attention 重打分。
• 2021年8月18日：为 Athena-v2.0 新增了 Batchbins 函数。
• 2021年6月1日：更新了 语言模型，并增加了 Transformer 模型结构。
• 2021年5月19日：调整了 Horovod 的参数以加快训练速度。
• 2021年5月7日：调整了 E2E ASR 模型的训练参数。
• 2021年4月9日：修复了 SpecAugment 的 bug。

讨论与交流

我们已建立了一个微信群用于讨论。如需加入，请扫描二维码，管理员会邀请您入群。

1) 目录

• 雅典娜
  • 1) 目录
  • 2) 安装
  • 3) 结果
    • 3.1) ASR
    • 3.2) TTS
    • 3.3) VAD
    • 3.4) KWS
    • 3.5) CTC 对齐
    • 3.6) 部署
  • 4) 运行演示
  • 5) 支持的模型架构及参考文献
  • 6) 目录结构
  • 7) 致谢

2) 安装

Athena 可以成功安装在 TensorFlow 2.3 和 TensorFlow 2.8 上。

• 基于 TensorFlow 2.3 安装 Athena-v2.0：

pip install tensorflow-gpu==2.3.0

pip install -r requirements.txt

python setup.py bdist_wheel sdist

python -m pip install --ignore-installed dist/athena-2.0*.whl

• 基于 TensorFlow 2.8 安装 Athena-v2.0：

pip install tensorflow-gpu==2.8.0

pip install -r requirements.txt

python setup.tf2.8.py bdist_wheel sdist

python -m pip install --ignore-installed dist/athena-2.0*.whl

3) 结果

3.1) ASR

部分模型的性能如下所示：

如需与其他已发表的结果进行比较，请参阅 wer_are_we.md。

有关 U2 的更多详细信息，请参阅 ASR 说明文档。

3.2) TTS

目前支持的 TTS 任务包括 LJSpeech 和中文普通话语音语料库（data_baker）。支持的模型如下表所示： （注：HiFiGAN 是基于 TensorflowTTS 训练的）

Athena-TTS 的性能如下所示：

更多详情请参阅 TTS 说明文档。

3.3) VAD

更多详情请参阅 VAD 说明文档。

3.4) KWS

在 MISP2021 task1 数据集上的性能如下所示：

更多详情请参阅：KWS 说明文档。

3.5) CTC 对齐

以下显示了一段语音的 CTC 对齐结果，我们可以看到 CTC 对齐的输出存在时间延迟：

展开

更多详情请参阅：对齐说明文档。

3.6) 部署

Athena-V2.0 的部署仅支持 ASR。所有实验均在一台主频为 2.10GHz、拥有 104 个逻辑核心的 CPU 机器上进行。我们使用 AIShell 数据集对性能进行了评估。结果如下：

更多详情请参阅：Runtime 自述文件

4) 运行演示

我们提供了一种快速体验的方法，如下所示：

cd athena
source tools/env.sh
# ASR 测试
# 批量解码测试
python athena/run_demo.py --inference_type asr --saved_model_dir examples/asr/aishell/models/freeze_prefix_beam-20220620 --wav_list test.lst
# 单个音频文件测试
python athena/run_demo.py --inference_type asr --saved_model_dir examples/asr/aishell/models/freeze_prefix_beam-20220620 --wav_dir aishell/wav/test/S0764/BAC009S0764W0121.wav

# TTS 测试
python athena/run_demo.py --inference_type tts --text_csv examples/tts/data_baker/test/test.csv --saved_model_dir athena-model-zoo/tts/data_baker/saved_model  

我们提供了一些预训练模型，你可以在以下位置找到： Athena 模型库

更多示例请参阅：

ASR 示例

TTS 示例

VAD 示例

KWS 示例

对齐示例

C++ 解码器

服务器

5) 支持的模型架构及参考文献

Athena-v2.0 可以支持以下架构：

6) 目录结构

以下是 Athena 的基本目录结构：

|-- Athena
|   |-- data  # - 输入相关操作的根目录
|   |   |-- datasets  # 用于 ASR、TTS 和预训练的自定义数据集
|   |-- layers  # 一些层
|   |-- models  # 一些模型
|   |-- tools # 包含各种工具，例如解码工具
|   |-- transform # 基于 C++ 的自定义特征提取器
|   |   |-- feats
|   |   |   |-- ops # tensorflow 操作相关的 C++ 代码
|   |-- utils # 工具类，例如检查点、学习率、指标等
|-- docker
|-- docs  # 文档
|-- examples  # ASR、TTS 等示例脚本
|   |-- asr  # 每个子目录包含该任务的数据准备脚本和运行脚本
|   |   |-- aishell
|   |   |-- hkust
|   |   |-- librispeech
|   |   |-- gigaspeech
|   |   |-- misp
|   |-- kws ## 词语唤醒检测
|   |   |-- misp
|   |   |-- xtxt
|   |   |-- yesno
|   |-- tts ## TTS 示例
|   |   |-- data_baker
|   |   |-- ljspeech
|   |-- vad #VAD 示例
|       |--google_dataset_v2
|-- tools  # 训练前需先加载 env.sh

#7) 致谢

我们感谢 Espnet、Wenet、TensorFlowTTS、NeMo 等项目。这些优秀的开源项目为我们提供了大量的参考和灵感！

Athena 快速上手指南

Athena 是一个开源的端到端语音处理引擎，旨在赋能工业应用与学术研究。它支持自动语音识别 (ASR)、语音合成 (TTS)、语音活动检测 (VAD)、关键词唤醒 (KWS) 等多种任务，基于 TensorFlow 2.x 构建。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04/20.04)
• Python: Python 3.6 - 3.8
• 深度学习框架: TensorFlow GPU 版本 (支持 2.3.0 或 2.8.0)
• 硬件: 支持 CUDA 的 NVIDIA GPU (用于训练和加速推理)
• 其他依赖: git, pip, gcc/g++ (用于编译部分组件)

提示: 为了获得最佳的兼容性和性能，建议创建独立的 Python 虚拟环境。

2. 安装步骤

Athena v2.0 支持基于 TensorFlow 2.3 或 2.8 进行安装。请根据您的需求选择其中一种方案执行。

方案 A：基于 TensorFlow 2.3.0 (稳定版)

# 1. 安装 TensorFlow GPU 2.3.0
pip install tensorflow-gpu==2.3.0

# 2. 克隆仓库并进入目录
git clone https://github.com/athena-team/athena.git
cd athena

# 3. 安装 Python 依赖
pip install -r requirements.txt

# 4. 构建并安装 Athena
python setup.py bdist_wheel sdist
python -m pip install --ignore-installed dist/athena-2.0*.whl

方案 B：基于 TensorFlow 2.8.0 (新版)

# 1. 安装 TensorFlow GPU 2.8.0
pip install tensorflow-gpu==2.8.0

# 2. 克隆仓库并进入目录
git clone https://github.com/athena-team/athena.git
cd athena

# 3. 安装 Python 依赖
pip install -r requirements.txt

# 4. 构建并安装 Athena (注意使用 tf2.8 的 setup 脚本)
python setup.tf2.8.py bdist_wheel sdist
python -m pip install --ignore-installed dist/athena-2.0*.whl

国内加速建议: 如果下载依赖较慢，建议使用国内镜像源（如清华源或阿里源）： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package_name>

3. 基本使用

安装完成后，您可以快速运行一个 ASR（自动语音识别）演示来验证环境。

步骤 1: 加载环境变量

进入 Athena 目录并加载必要的工具脚本：

cd athena
source tools/env.sh

步骤 2: 运行 ASR 推理示例

以下命令将使用预训练模型对数据进行批量解码测试（以 AISHELL 数据集模型为例）：

# 运行 ASR 批量解码测试
python athena/run_demo.py --inference_type asr --saved_model_dir examples/asr/aishell/models/free

说明:

• --inference_type: 指定任务类型，支持 asr, tts, vad, kws 等。
• --saved_model_dir: 指向已训练好或下载的模型保存路径。

后续探索

• 更多任务: 参考 examples/ 目录下的子文件夹（如 examples/tts, examples/kws）获取特定任务的详细配置和运行脚本。
• 模型库: 访问 Athena-model-zoo 下载更多预训练模型。
• 部署: 如需 C++ 部署或服务器端部署，请参考 runtime/ 目录下的文档。