[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"tool-athena-team--athena":3,"similar-athena-team--athena":113},{"id":4,"github_repo":5,"name":6,"description_en":7,"description_zh":8,"ai_summary_zh":8,"readme_en":9,"readme_zh":10,"quickstart_zh":11,"use_case_zh":12,"hero_image_url":13,"owner_login":14,"owner_name":14,"owner_avatar_url":15,"owner_bio":16,"owner_company":17,"owner_location":17,"owner_email":17,"owner_twitter":17,"owner_website":17,"owner_url":18,"languages":19,"stars":46,"forks":47,"last_commit_at":48,"license":49,"difficulty_score":50,"env_os":51,"env_gpu":52,"env_ram":53,"env_deps":54,"category_tags":61,"github_topics":65,"view_count":78,"oss_zip_url":17,"oss_zip_packed_at":17,"status":79,"created_at":80,"updated_at":81,"faqs":82,"releases":112},4685,"athena-team\u002Fathena","athena","an open-source implementation of sequence-to-sequence based speech processing engine","Athena 是一款基于 TensorFlow 2.0+ 构建的开源端到端语音处理引擎，旨在降低语音技术的门槛，同时赋能工业界应用与学术界研究。它提供了一套完整的解决方案，覆盖自动语音识别（ASR）、语音合成（TTS）、语音活动检测（VAD）及关键词唤醒（KWS）等核心任务，并附带了基于公开数据集的详细示例与食谱，帮助用户快速上手。\n\n针对传统语音系统依赖复杂工具链（如 Kaldi）且部署困难的问题，Athena 提供了纯 Python 的特征提取工具，摆脱了对特定外部工具的依赖。其技术亮点丰富，不仅支持混合注意力机制与 CTC 的流式识别、FastSpeech2 等先进模型架构，还具备多机多卡分布式训练能力。此外，Athena 特别强化了落地实用性，支持基于 C++ 的高效解码推理及本地服务器部署，并集成了噪声模拟、说话人嵌入等实用功能，显著提升了模型在真实场景中的鲁棒性。\n\n这款工具非常适合语音算法研究人员、AI 工程师以及希望探索端到端语音模型的学生使用。无论是需要复现前沿论文成果，还是致力于将语音技术集成到实际产品中，Athena 都能提供灵活、高效且易于扩展的技术支持。","# Athena\n\n*Athena* is an open-source implementation of end-to-end speech processing engine. Our vision is to empower both industrial application and academic research on end-to-end models for speech processing. To make speech processing available to everyone, we're also releasing example implementation and recipe on some opensource dataset for various tasks (Automatic Speech Recognition, Speech Synthesis, Voice activity detection, Wake Word Spotting, etc).\n\nAll of our models are implemented in Tensorflow>=2.0.1. For ease of use, we provide Kaldi-free pythonic feature extractor with [Athena_transform](https:\u002F\u002Fgithub.com\u002Fathena-team\u002Fathena-transform).\n\n\n## Key Features\n\n- Hybrid Attention\u002FCTC based end-to-end and streaming methods(ASR)\n- Text-to-Speech(FastSpeech\u002FFastSpeech2\u002FTransformer)\n- Voice activity detection(VAD)  \n- Key Word Spotting with end-to-end and streaming methods(KWS)\n- ASR Unsupervised pre-training(MPC)\n- Multi-GPU training on one machine or across multiple machines with Horovod\n- WFST creation and WFST-based decoding with C++\n- Deployment with Tensorflow C++(Local server)\n\n## Versions\n- [Athena v2.0](https:\u002F\u002Fgithub.com\u002Fathena-team\u002Fathena\u002Ftree\u002Fathena-v2.0)(latest, current master version)\n- [Athena v1.0](https:\u002F\u002Fgithub.com\u002Fathena-team\u002Fathena\u002Ftree\u002Fathena-v1.0)\n\n## What's new\n- 2022\u002F06\u002F01 The [Athena-model-zoo](https:\u002F\u002Fgithub.com\u002FLianjiaTech\u002Fathena-model-zoo.git) is built. \n- 2022\u002F05\u002F13 The runtime supports [C++ decoding](runtime\u002Fcore)(E2E, Streaming, WFST, PrefixBeamSearch, etc) and [Deployment](runtime\u002Fserver)\n- 2022\u002F05\u002F10 The functions about [adding noise and rir](athena\u002Ftransform\u002Ffeats\u002Fadd_rir_noise_aecres_test.py) aecres to clean noise are added to the transform\n- 2022\u002F04\u002F25 The functions about [KWS](athena\u002Fmodels\u002Fkws) are added to Athena-v2.0\n- 2022\u002F04\u002F07 The [AV-Cransformer](athena\u002Fmodels\u002Fasr\u002Fav_conformer.py) for ASR and [MISP2021 task2 example](examples\u002Fasr\u002Fmisp) are added to Athena-v2.0\n- 2022\u002F04\u002F05 The [Transformer-U2](athena\u002Fmodels\u002Fasr\u002Fspeech_u2.py) and examples are added to Athena-v2.0\n- 2022\u002F03\u002F20 The [CTC alignment function](examples\u002Falign) is add to Athena-v2.0\n- 2022\u002F03\u002F10 [Vad function](athena\u002Fmodels\u002Fvad) and examples are add to Athena-v2.0\n- 2022\u002F03\u002F09 The [Fastspeech2](athena\u002Fmodels\u002Ftts\u002Ffastspeech2.py) is added to Athena-v2.0\n- 2022\u002F03\u002F02 Add [speaker embedding](athena\u002Fmodels\u002Ftts\u002Ffastspeech.py) to Athena-v2.0\n- 2021\u002F11\u002F27 The [Conformer-CTC](athena\u002Fmodels\u002Fasr\u002Fspeech_conformer_ctc.py) is added to Athena-v2.0\n- 2021\u002F10\u002F31 ASR Performances updates of these [E2E ASR examples](examples\u002Fasr)(AISHELL-1, HKUST, GigaSpeech, LibriSpeech) \n- 2021\u002F09\u002F01 The [Beamsearch and Attention rescoring](athena\u002Fmodels\u002Fasr\u002Fmtl_seq2seq.py) are updated\n- 2021\u002F08\u002F18 The [Batchbins function](athena\u002Fdata\u002Fdatasets\u002Fasr\u002Fspeech_recognition_batch_bins.py) is added to Athena-v2.0\n- 2021\u002F06\u002F01 [Language model](athena\u002Fmodels\u002Flm) updates and add Transformer model structure\n- 2021\u002F05\u002F19 The parameters of [Horovod](https:\u002F\u002Fgithub.com\u002Fhorovod\u002Fhorovod.git) are adjusted to speed up the training\n- 2021\u002F05\u002F07 These training parameters of [E2E ASR](athena\u002Fmodels\u002Fasr\u002F) models are adjusted\n- 2021\u002F04\u002F09 [SpecAugment](athena\u002Fdata\u002Fdatasets\u002Fpreprocess.py) bug is fixed\n\n## Discussion & Communication\nWe have set up a WeChat group for discussion. Please scan the QR and then the administrator will invite you to the group, if you want to join it.   \n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fathena-team_athena_readme_22abe743799f.png\" width=\"250px\">\n\n## 1) Table of Contents\n\n- [Athena](#athena)\n  - [1) Table of Contents](#1-table-of-contents)\n  - [2) Installation ](#3-installation)\n  - [3) Results](#3-results)\n    - [3.1) ASR](#31-asr)\n    - [3.2) TTS](#32-tts)\n    - [3.3) VAD](#33-vad)\n    - [3.4) KWS](#34-kws)\n    - [3.5) CTC-Alignment](#35-ctc-alignment)\n    - [3.6) Deploy](#36-deploy)\n  - [4) Run demo ](#3-rundemo)\n  - [5) Supported Model architectures and reference](#5-supported-model-architectures-and-reference)  \n  - [6) Directory Structure](#6-directory-structure)\n  - [7) Acknowledgement](#7-acknowledgement)\n\n## 2) Installation\nAthena can be installed based on Tensorflow2.3 and Tensorflow2.8 successfully.\n- Athena-v2.0 installed based on Tensorflow2.3:\n```bash\npip install tensorflow-gpu==2.3.0\n\npip install -r requirements.txt\n\npython setup.py bdist_wheel sdist\n\npython -m pip install --ignore-installed dist\u002Fathena-2.0*.whl\n```\n- Athena-v2.0 installed based on Tensorflow2.8:\n\n```bash\npip install tensorflow-gpu==2.8.0\n\npip install -r requirements.txt\n\npython setup.tf2.8.py bdist_wheel sdist\n\npython -m pip install --ignore-installed dist\u002Fathena-2.0*.whl\n```\n\n## 3) Results\n\n### 3.1) ASR\n\nThe performances of a part of models are shown as follow:\n\n\u003Cdetails>\u003Csummary>expand\u003C\u002Fsummary>\u003Cdiv>\n\n\n|       Model       |  LM | HKUST | [AISHELL1 Dataset](http:\u002F\u002Fwww.openslr.org\u002F33\u002F) |      | [LibriSpeech Dataset](http:\u002F\u002Fwww.openslr.org\u002F12\u002F)  |            |             |             | [Giga](https:\u002F\u002Fgithub.com\u002FSpeechColab\u002FGigaSpeech\u002F) |       |  [MISP](https:\u002F\u002Fmispchallenge.github.io\u002Ftask2_data.html) | Model link |\n|:-----------------:|:---:|:-----:|:--------:|:----:|:-----------:|:----------:|:-----------:|:-----------:|:----:|:-----:|:-----:|------------|\n|                   |     |  CER% |   CER%   |      |     WER%    |            |             |             | WER% |       |  CER% |            |\n|                   |     |  dev  |    dev   | test |  dev _clean | dev _other | test_ clean | test_ other |  dev |  test |   -   |            |\n|    transformer    |  w  | 21.64 |     -    | 5.13 |      -      |      -     |      -      |      -      |   -  | 11.70 |   -   |            |\n|                   | w\u002Fo | 21.87 |     -    | 5.22 |     3.84    |      -     |     3.96    |     9.70    |   -  |   -   |   -   |            |\n|   transformer-u2  |  w  |   -   |     -    |   -  |      -      |      -     |      -      |      -      |   -  |   -   |   -   |            |\n|                   | w\u002Fo |   -   |     -    | 6.38 |      -      |      -     |      -      |      -      |   -  |   -   |   -   |            |\n| conformer |  w  | 21.33 |     -    | 4.95 |      -      |      -     |      -      |      -      |   -  |   -   | 50.50 |            |\n|                   | w\u002Fo | 21.59 |     -    | 5.04 |      -      |      -     |      -      |      -      |   -  |   -   |   -   |            |\n|    conformer-u2   |  w  |   -   |     -    |   -  |      -      |      -     |      -      |      -      |   -  |   -   |   -   |            |\n|                   | w\u002Fo |   -   |     -    | 6.29 |      -      |      -     |      -      |      -      |   -  |   -   |   -   |            |\n|   conformer-CTC   |  w  |   -   |     -    |   -  |      -      |      -     |      -      |      -      |   -  |   -   |   -   |            |\n|                   | w\u002Fo |   -   |     -    | 6.60 |      -      |      -     |      -      |      -      |   -  |   -   |   -   |            |\n\n\u003C\u002Fdiv>\u003C\u002Fdetails>\n\nTo compare with other published results, see [wer_are_we.md](docs\u002Ftutorials\u002Fwer_are_we.md).\n\nMore details of U2, see [ASR readme](examples\u002Fasr\u002FREADME.md)  \n\n\n### 3.2) TTS\nCurrently supported TTS tasks are LJSpeech and Chinese Standard Mandarin Speech Copus(data_baker). Supported models are shown in the table below:\n(Note:HiFiGAN is trained based on [TensorflowTTS](https:\u002F\u002Fgithub.com\u002FTensorSpeech\u002FTensorFlowTTS))\n\nThe performance of Athena-TTS are shown as follow:\n\n\u003Cdetails>\u003Csummary>expand\u003C\u002Fsummary>\u003Cdiv>\n\nTraing Data | Acoustic Model | Vocoder |  Audio Demo\n:---------: |:-------------: | :-------------:| :------------:\ndata_baker  |Tacotron2       | GL             |  [audio_demo](examples\u002Ftts\u002Fdata_baker\u002Faudio_demo\u002F)\ndata_baker  |Transformer_tts | GL             |  [audio_demo](examples\u002Ftts\u002Fdata_baker\u002Faudio_demo\u002F)\ndata_baker  |Fastspeech      | GL             |  [audio_demo](examples\u002Ftts\u002Fdata_baker\u002Faudio_demo\u002F)\ndata_baker  |Fastspeech2     | GL             |  [audio_demo](examples\u002Ftts\u002Fdata_baker\u002Faudio_demo\u002F)\ndata_baker  |Fastspeech2     | HiFiGAN        |  [audio_demo](examples\u002Ftts\u002Fdata_baker\u002Faudio_demo\u002F)\nljspeech    |Tacotron2       | GL             |  [audio_demo](examples\u002Ftts\u002Fljspeech\u002Faudio_demo\u002F)\n\n\u003C\u002Fdiv>\u003C\u002Fdetails>\n\nMore details see [TTS readme](examples\u002Ftts\u002FREADME.md)\n\n### 3.3) VAD\n\n\u003Cdetails>\u003Csummary>expand\u003C\u002Fsummary>\u003Cdiv>\n\nTask | Model Name |      Training Data      | Input Segment | Frame Error Rate \n:-----------: | :------: | :------------: | :-----: | :----------:\nVAD  | DNN | Google Speech Commands Dataset V2 | 0.21s | 8.49% \nVAD  | MarbleNet | Google Speech Commands Dataset V2 | 0.63s | 2.50%\n\n\u003C\u002Fdiv>\u003C\u002Fdetails>\n\nMore details see [VAD readme](examples\u002Fvad\u002FREADME.md)\n\n### 3.4) KWS\n\nThe performances on [MISP2021 task1](https:\u002F\u002Fmispchallenge.github.io\u002Ftask1_data.html) dataset are shown as follow:\n\n\u003Cdetails>\u003Csummary>expand\u003C\u002Fsummary>\u003Cdiv>\n\n|  KWS Type |      Model     |         Model Detail        |         Data         |   Loss   |  Dev  |  Eval |\n|:---------:|:--------------:|:---------------------------:|:--------------------:|:--------:|:-----:|:-----:|\n| Streaming |     CNN-DNN    |        2 Conv+3 Dense       |   60h pos+200h neg   |    CE    | 0.314 |   \u002F   |\n|    E2E    |      CRNN      |        2 Conv+2 biGRU       |   60h pos+200h neg   |    CE    | 0.209 |   \u002F   |\n|    E2E    |      CRNN      |        Conv+5 biLSTM        |   60h pos+200h neg   |    CE    | 0.186 |   \u002F   |\n|    E2E    |      CRNN      |        Conv+5 biLSTM        |   170h pos+530h neg  |    CE    | 0.178 |   \u002F   |\n|    E2E    |  A-Transformer |   Conv+4 encoders+1 Dense   |   170h pos+530h neg  | CE&Focal | 0.109 | 0.106 |\n|    E2E    |   A-Conformer  |   Conv+4 encoders+1 Dense   |   170h pos+530h neg  | CE&Focal | 0.105 | 0.116 |\n|    E2E    | AV-Transformer | 2 Conv+4 AV-encoders+1Dense | A(170h pos+530h neg)+V(Far 124h)  |    CE        | 0.132 |   \u002F   |\n\n\u003C\u002Fdiv>\u003C\u002Fdetails>\n\nMore details you can see: [KWS readme](examples\u002Fkws\u002FREADME.md)\n### 3.5) CTC-Alignment\nThe CTC alignment result of one utterance is shown below, we can see the output of ctc alignment is with time delayed:\n\n\u003Cdetails>\u003Csummary>expand\u003C\u002Fsummary>\u003Cdiv>\n\n\u003Cdiv align=\"left\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fathena-team_athena_readme_93531a19a615.png\" width=\"550\"\u002F>\u003C\u002Fdiv>\n\n\u003C\u002Fdiv>\u003C\u002Fdetails>\n\nMore details see: [Alignment readme](examples\u002Falign\u002FREADME.md)\n### 3.6) Deploy\n\nAthena-V2.0 deployment only support the ASR. All the experiments are conducted on a CPU machine with 2.10GHz and 104 logic cores. We evaluate the performance on AIShell datasets. The results are shown as follow:\n\n\u003Cdetails>\u003Csummary>expand\u003C\u002Fsummary>\u003Cdiv>\n\n| Logic Core | Decoder Type          | Beamsize | RTF     | Character Accuracy |\n|------------|-----------------------|----------|---------|--------------------|\n| 1          | BeamSearch            | 1        | 0.0881  | 92.65%             |\n|            |                       | 10       | 0.2534  | 93.07%             |\n|            |                       | 20       | 0.4537  | 93.06%             |\n| 10         |                       | 1        | 0.04792 | 92.65%             |\n|            |                       | 10       | 0.1135  | 93.07%             |\n|            |                       | 20       | 0.1746  | 93.06%             |\n| 1          | CTC Prefix BeamSearch | 1        | 0.0543 | 93.60%             |\n|            |                       | 10       | 0.06  | 93.60%             |\n|            |                       | 20       | 0.0903  | 93.60%             |\n| 10         |                       | 1        | 0.0283 | 93.60%             |\n|            |                       | 10       | 0.038  | 93.60%             |\n|            |                       | 20       | 0.0641   | 93.60%             |\n\n\u003C\u002Fdiv>\u003C\u002Fdetails>\n\nMore detail see: [Runtime readme](runtime\u002Fcore\u002FREADME.md)\n\n## 4)Run demo\nWe provide a quick experience method as follow:\n```shell\ncd athena\nsource tools\u002Fenv.sh\n#ASR test\n# Batch decoding test\npython athena\u002Frun_demo.py --inference_type asr --saved_model_dir examples\u002Fasr\u002Faishell\u002Fmodels\u002Ffreeze_prefix_beam-20220620 --wav_list test.lst\n# One wav test\npython athena\u002Frun_demo.py --inference_type asr --saved_model_dir examples\u002Fasr\u002Faishell\u002Fmodels\u002Ffreeze_prefix_beam-20220620 --wav_dir aishell\u002Fwav\u002Ftest\u002FS0764\u002FBAC009S0764W0121.wav\n\n#TTS test\npython athena\u002Frun_demo.py --inference_type tts --text_csv examples\u002Ftts\u002Fdata_baker\u002Ftest\u002Ftest.csv --saved_model_dir athena-model-zoo\u002Ftts\u002Fdata_baker\u002Fsaved_model  \n```\n\nThere are some pre-trained models and you can find at:\n[Athena-model-zoo](https:\u002F\u002Fgithub.com\u002FLianjiaTech\u002Fathena-model-zoo.git)\n\nMore examples you can find at:\n\n[ASR examples](examples\u002Fasr)\n\n[TTS examples](examples\u002Ftts)\n\n[VAD examples](examples\u002Fvad)\n\n[KWS examples](examples\u002Fkws)\n\n[Alignment examples](examples\u002Falign)\n\n[C++ Decoder](runtime\u002Fcore)\n\n[Server](\u002Fruntime\u002Fserver)\n\n## 5) Supported Model architectures and reference\n\nThe Athena-v2.0 can support these architectures:\n\n\u003Cdetails>\u003Csummary>expand\u003C\u002Fsummary>\u003Cdiv>\n\n| Model Name                                               | Task | Referenced Papers                                                                                                                                                                                                                                                  |\n|----------------------------------------------------------|------|-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|\n| Transformer                                              | ASR  | Dong L, Xu S, Xu B. Speech-transformer: a no-recurrence sequence-to-sequence model for speech recognition[C]\u002F\u002F2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2018: 5884-5888.                                                                                                                                     |\n| Conformer                                                | ASR  |  Gulati A, Qin J, Chiu C C, et al. Conformer: Convolution-augmented transformer for speech recognition[J]. arXiv preprint arXiv:2005.08100, 2020.                                                                                                                 |\n| Transformer-U2                                           | ASR  | Yao Z, Wu D, Wang X, et al. Wenet: Production oriented streaming and non-streaming end-to-end speech recognition toolkit[J]. arXiv preprint arXiv:2102.01547, 2021.                                                                                               |\n| Conformer-U2                                             | ASR  | Yao Z, Wu D, Wang X, et al. Wenet: Production oriented streaming and non-streaming end-to-end speech recognition toolkit[J]. arXiv preprint arXiv:2102.01547, 2021.                                                                                               |\n| AV_Transformer                                           | ASR  |                                                                                                                                                                                                                                                                   |\n| AV_Conformer                                             | ASR  |                                                                                                                                                                                                                                                                   |\n| Fastspeech                                               | TTS  | Ren Y, Ruan Y, Tan X, et al. Fastspeech: Fast, robust and controllable text to speech[J]. Advances in Neural Information Processing Systems, 2019, 32.                                                                                                            |\n| Fastspeech2                                              | TTS  | Ren Y, Hu C, Tan X, et al. Fastspeech 2: Fast and high-quality end-to-end text to speech[J]. arXiv preprint arXiv:2006.04558, 2020.                                                                                                                               |\n| Tacotron2                                                | TTS  | Shen J, Pang R, Weiss R J, et al. Natural tts synthesis by conditioning wavenet on mel spectrogram predictions[C]\u002F\u002F2018 IEEE international conference on acoustics, speech and signal processing (ICASSP). IEEE, 2018: 4779-4783.                                 |\n| TTS_Transfprmer                                          | TTS  | Li N, Liu S, Liu Y, et al. Neural speech synthesis with transformer network[C]\u002F\u002FProceedings of the AAAI Conference on Artificial Intelligence. 2019, 33(01): 6706-6713.                                                                                           |\n| Marblenet                                                | VAD  | Jia F, Majumdar S, Ginsburg B. Marblenet: Deep 1d time-channel separable convolutional neural network for voice activity detection[C]\u002F\u002FICASSP 2021-2021 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2021: 6818-6822. |\n| DNN                                                     | VAD  |   Tashev I, Mirsamadi S. DNN-based causal voice activity detector[C]\u002F\u002FInformation Theory and Applications Workshop. 2016.                                                                                                                                                                                                                                                                |\n| CNN-DNN, CRNN, A-Transformer, A-Conformer, AV-Transformer | KWS  | Xu Y, Sun J, Han Y, et al. Audio-Visual Wake Word Spotting System for MISP Challenge 2021[C]\u002F\u002FICASSP 2022-2022 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2022: 9246-9250.                                          |\n\n\u003C\u002Fdiv>\u003C\u002Fdetails>\n\n## 6) Directory Structure\n\nBelow is the basic directory structure for Athena\n\n\u003Cdetails>\u003Csummary>expand\u003C\u002Fsummary>\u003Cdiv>\n\n```bash\n|-- Athena\n|   |-- data  # - root directory for input-related operations\n|   |   |-- datasets  # custom datasets for ASR, TTS and pre-training\n|   |-- layers  # some layers\n|   |-- models  # some models\n|   |-- tools # contains various tools, e.g. decoding tools\n|   |-- transform # custom featureizer based on C++\n|   |   |-- feats\n|   |   |   |-- ops # c++ code on tensorflow ops\n|   |-- utils # utils, e.g. checkpoit, learning_rate, metric, etc\n|-- docker\n|-- docs  # docs\n|-- examples  # example scripts for ASR, TTS, etc\n|   |-- asr  # each subdirectory contains a data preparation scripts and a run script for the task\n|   |   |-- aishell\n|   |   |-- hkust\n|   |   |-- librispeech\n|   |   |-- gigaspeech\n|   |   |-- misp\n|   |-- kws ## Word wake spotting\n|   |   |-- misp\n|   |   |-- xtxt\n|   |   |-- yesno\n|   |-- tts ## TTS examples\n|   |   |-- data_baker\n|   |   |-- ljspeech\n|   |-- vad #VAD example\n|       |--google_dataset_v2\n|-- tools  # need to source env.sh before training\n```\n\u003C\u002Fdiv>\u003C\u002Fdetails>\n\n#7) Acknowledgement\n\nWe want to thank [Espnet](https:\u002F\u002Fgithub.com\u002Fespnet\u002Fespnet), [Wenet](https:\u002F\u002Fgithub.com\u002Fwenet-e2e\u002Fwenet), [TensorFlowTTS](https:\u002F\u002Fgithub.com\u002FTensorSpeech\u002FTensorFlowTTS\u002F), [NeMo](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002FNeMo), etc. These great projects give us lots of references and inspirations!\n","# 雅典娜\n\n*Athena* 是一个开源的端到端语音处理引擎实现。我们的愿景是赋能工业应用和学术研究，推动端到端语音处理模型的发展。为了让每个人都能使用语音处理技术，我们还针对多种任务（自动语音识别、语音合成、语音活动检测、唤醒词检测等）在一些开源数据集上发布了示例实现和配方。\n\n我们所有的模型都基于 TensorFlow>=2.0.1 实现。为了方便使用，我们提供了无 Kaldi 的 Python 风格特征提取器 [Athena_transform](https:\u002F\u002Fgithub.com\u002Fathena-team\u002Fathena-transform)。\n\n## 核心功能\n\n- 基于混合注意力\u002FCTC 的端到端及流式方法（ASR）\n- 文本到语音（FastSpeech\u002FFastSpeech2\u002FTransformer）\n- 语音活动检测（VAD）\n- 基于端到端和流式的关键词检测（KWS）\n- ASR 无监督预训练（MPC）\n- 使用 Horovod 在单机或多机上进行多 GPU 训练\n- 使用 C++ 创建 WFST 并进行基于 WFST 的解码\n- 使用 TensorFlow C++ 部署（本地服务器）\n\n## 版本\n\n- [Athena v2.0](https:\u002F\u002Fgithub.com\u002Fathena-team\u002Fathena\u002Ftree\u002Fathena-v2.0)（最新版，当前主分支版本）\n- [Athena v1.0](https:\u002F\u002Fgithub.com\u002Fathena-team\u002Fathena\u002Ftree\u002Fathena-v1.0)\n\n## 最新动态\n\n- 2022年6月1日：[Athena-model-zoo](https:\u002F\u002Fgithub.com\u002FLianjiaTech\u002Fathena-model-zoo.git) 已构建。\n- 2022年5月13日：运行时支持 [C++ 解码](runtime\u002Fcore)（E2E、Streaming、WFST、PrefixBeamSearch 等）以及 [部署](runtime\u002Fserver)。\n- 2022年5月10日：在 transform 中新增了关于 [添加噪声和 rir](athena\u002Ftransform\u002Ffeats\u002Fadd_rir_noise_aecres_test.py) aecres 到干净音频的功能。\n- 2022年4月25日：在 Athena-v2.0 中新增了关于 [KWS](athena\u002Fmodels\u002Fkws) 的功能。\n- 2022年4月7日：为 Athena-v2.0 新增了用于 ASR 的 [AV-Conformer](athena\u002Fmodels\u002Fasr\u002Fav_conformer.py) 以及 [MISP2021 task2 示例](examples\u002Fasr\u002Fmisp)。\n- 2022年4月5日：为 Athena-v2.0 新增了 [Transformer-U2](athena\u002Fmodels\u002Fasr\u002Fspeech_u2.py) 及其示例。\n- 2022年3月20日：为 Athena-v2.0 新增了 [CTC 对齐功能](examples\u002Falign)。\n- 2022年3月10日：为 Athena-v2.0 新增了 [Vad 功能](athena\u002Fmodels\u002Fvad)及其示例。\n- 2022年3月9日：为 Athena-v2.0 新增了 [Fastspeech2](athena\u002Fmodels\u002Ftts\u002Ffastspeech2.py)。\n- 2022年3月2日：为 Athena-v2.0 新增了 [说话人嵌入](athena\u002Fmodels\u002Ftts\u002Ffastspeech.py)。\n- 2021年11月27日：为 Athena-v2.0 新增了 [Conformer-CTC](athena\u002Fmodels\u002Fasr\u002Fspeech_conformer_ctc.py)。\n- 2021年10月31日：更新了这些 [E2E ASR 示例](examples\u002Fasr)（AISHELL-1、HKUST、GigaSpeech、LibriSpeech）的 ASR 性能。\n- 2021年9月1日：更新了 [Beamsearch 和 Attention 重打分](athena\u002Fmodels\u002Fasr\u002Fmtl_seq2seq.py)。\n- 2021年8月18日：为 Athena-v2.0 新增了 [Batchbins 函数](athena\u002Fdata\u002Fdatasets\u002Fasr\u002Fspeech_recognition_batch_bins.py)。\n- 2021年6月1日：更新了 [语言模型](athena\u002Fmodels\u002Flm)，并增加了 Transformer 模型结构。\n- 2021年5月19日：调整了 [Horovod](https:\u002F\u002Fgithub.com\u002Fhorovod\u002Fhorovod.git) 的参数以加快训练速度。\n- 2021年5月7日：调整了 [E2E ASR](athena\u002Fmodels\u002Fasr\u002F) 模型的训练参数。\n- 2021年4月9日：修复了 [SpecAugment](athena\u002Fdata\u002Fdatasets\u002Fpreprocess.py) 的 bug。\n\n## 讨论与交流\n\n我们已建立了一个微信群用于讨论。如需加入，请扫描二维码，管理员会邀请您入群。\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fathena-team_athena_readme_22abe743799f.png\" width=\"250px\">\n\n## 1) 目录\n\n- [雅典娜](#athena)\n  - [1) 目录](#1-table-of-contents)\n  - [2) 安装](#3-installation)\n  - [3) 结果](#3-results)\n    - [3.1) ASR](#31-asr)\n    - [3.2) TTS](#32-tts)\n    - [3.3) VAD](#33-vad)\n    - [3.4) KWS](#34-kws)\n    - [3.5) CTC 对齐](#35-ctc-alignment)\n    - [3.6) 部署](#36-deploy)\n  - [4) 运行演示](#3-rundemo)\n  - [5) 支持的模型架构及参考文献](#5-supported-model-architectures-and-reference)\n  - [6) 目录结构](#6-directory-structure)\n  - [7) 致谢](#7-acknowledgement)\n\n## 2) 安装\n\nAthena 可以成功安装在 TensorFlow 2.3 和 TensorFlow 2.8 上。\n- 基于 TensorFlow 2.3 安装 Athena-v2.0：\n```bash\npip install tensorflow-gpu==2.3.0\n\npip install -r requirements.txt\n\npython setup.py bdist_wheel sdist\n\npython -m pip install --ignore-installed dist\u002Fathena-2.0*.whl\n```\n- 基于 TensorFlow 2.8 安装 Athena-v2.0：\n\n```bash\npip install tensorflow-gpu==2.8.0\n\npip install -r requirements.txt\n\npython setup.tf2.8.py bdist_wheel sdist\n\npython -m pip install --ignore-installed dist\u002Fathena-2.0*.whl\n```\n\n## 3) 结果\n\n### 3.1) ASR\n\n部分模型的性能如下所示：\n\n\u003Cdetails>\u003Csummary>展开\u003C\u002Fsummary>\u003Cdiv>\n\n\n|       模型       |  LM | HKUST | [AISHELL1 数据集](http:\u002F\u002Fwww.openslr.org\u002F33\u002F) |      | [LibriSpeech 数据集](http:\u002F\u002Fwww.openslr.org\u002F12\u002F)  |            |             |             | [Giga](https:\u002F\u002Fgithub.com\u002FSpeechColab\u002FGigaSpeech\u002F) |       |  [MISP](https:\u002F\u002Fmispchallenge.github.io\u002Ftask2_data.html) | 模型链接 |\n|:-----------------:|:---:|:-----:|:--------:|:----:|:-----------:|:----------:|:-----------:|:-----------:|:----:|:-----:|:-----:|------------|\n|                   |     |  CER% |   CER%   |      |     WER%    |            |             |             | WER% |       |  CER% |            |\n|                   |     |  dev  |    dev   | test |  dev _clean | dev _other | test_ clean | test_ other |   -  | 11.70 |   -   |            |\n|    transformer    |  w  | 21.64 |     -    | 5.13 |      -      |      -     |      -      |      -      |   -  | 11.70 |   -   |            |\n|                   | w\u002Fo | 21.87 |     -    | 5.22 |     3.84    |      -     |     3.96    |     9.70    |   -  |   -   |   -   |            |\n|   transformer-u2  |  w  |   -   |     -    |   -  |      -      |      -     |      -      |      -      |   -  |   -   |   -   |            |\n|                   | w\u002Fo |   -   |     -    | 6.38 |      -      |      -     |      -      |      -      |   -  |   -   |   -   |            |\n| conformer |  w  | 21.33 |     -    | 4.95 |      -      |      -     |      -      |      -      |   -  |   -   | 50.50 |            |\n|                   | w\u002Fo | 21.59 |     -    | 5.04 |      -      |      -     |      -      |      -      |   -  |   -   |   -   |            |\n|    conformer-u2   |  w  |   -   |     -    |   -  |      -      |      -     |      -      |      -      |   -  |   -   |   -   |            |\n|                   | w\u002Fo |   -   |     -    | 6.29 |      -      |      -     |      -      |      -      |   -  |   -   |   -   |            |\n|   conformer-CTC   |  w  |   -   |     -    |   -  |      -      |      -     |      -      |      -      |   -  |   -   |   -   |            |\n|                   | w\u002Fo |   -   |     -    | 6.60 |      -      |      -     |      -      |      -      |   -  |   -   |   -   |            |\n\n\u003C\u002Fdiv>\u003C\u002Fdetails>\n\n如需与其他已发表的结果进行比较，请参阅 [wer_are_we.md](docs\u002Ftutorials\u002Fwer_are_we.md)。\n\n有关 U2 的更多详细信息，请参阅 [ASR 说明文档](examples\u002Fasr\u002FREADME.md)。\n\n\n### 3.2) TTS\n目前支持的 TTS 任务包括 LJSpeech 和中文普通话语音语料库（data_baker）。支持的模型如下表所示：\n（注：HiFiGAN 是基于 [TensorflowTTS](https:\u002F\u002Fgithub.com\u002FTensorSpeech\u002FTensorFlowTTS) 训练的）\n\nAthena-TTS 的性能如下所示：\n\n\u003Cdetails>\u003Csummary>展开\u003C\u002Fsummary>\u003Cdiv>\n\n训练数据 | 声学模型 | 编码器 | 音频演示\n:---------: |:-------------: | :-------------:| :------------:\ndata_baker  |Tacotron2       | GL             |  [音频演示](examples\u002Ftts\u002Fdata_baker\u002Faudio_demo\u002F)\ndata_baker  |Transformer_tts | GL             |  [音频演示](examples\u002Ftts\u002Fdata_baker\u002Faudio_demo\u002F)\ndata_baker  |Fastspeech      | GL             |  [音频演示](examples\u002Ftts\u002Fdata_baker\u002Faudio_demo\u002F)\ndata_baker  |Fastspeech2     | GL             |  [音频演示](examples\u002Ftts\u002Fdata_baker\u002Faudio_demo\u002F)\ndata_baker  |Fastspeech2     | HiFiGAN        |  [音频演示](examples\u002Ftts\u002Fdata_baker\u002Faudio_demo\u002F)\nljspeech    |Tacotron2       | GL             |  [音频演示](examples\u002Ftts\u002Fljspeech\u002Faudio_demo\u002F)\n\n\u003C\u002Fdiv>\u003C\u002Fdetails>\n\n更多详情请参阅 [TTS 说明文档](examples\u002Ftts\u002FREADME.md)。\n\n### 3.3) VAD\n\n\u003Cdetails>\u003Csummary>展开\u003C\u002Fsummary>\u003Cdiv>\n\n任务 | 模型名称 |      训练数据      | 输入片段 | 帧错误率 \n:-----------: | :------: | :------------: | :-----: | :----------:\nVAD  | DNN | Google Speech Commands Dataset V2 | 0.21s | 8.49% \nVAD  | MarbleNet | Google Speech Commands Dataset V2 | 0.63s | 2.50%\n\n\u003C\u002Fdiv>\u003C\u002Fdetails>\n\n更多详情请参阅 [VAD 说明文档](examples\u002Fvad\u002FREADME.md)。\n\n### 3.4) KWS\n\n在 [MISP2021 task1](https:\u002F\u002Fmispchallenge.github.io\u002Ftask1_data.html) 数据集上的性能如下所示：\n\n\u003Cdetails>\u003Csummary>展开\u003C\u002Fsummary>\u003Cdiv>\n\n|  KWS 类型 |      模型     |         模型细节        |         数据         |   损失   |  Dev  |  Eval |\n|:---------:|:--------------:|:---------------------------:|:--------------------:|:--------:|:-----:|:-----:|\n| 流式处理 |     CNN-DNN    |        2 Conv+3 Dense       |   60h pos+200h neg   |    CE    | 0.314 |   \u002F   |\n|    E2E    |      CRNN      |        2 Conv+2 biGRU       |   60h pos+200h neg   |    CE    | 0.209 |   \u002F   |\n|    E2E    |      CRNN      |        Conv+5 biLSTM        |   60h pos+200h neg   |    CE    | 0.186 |   \u002F   |\n|    E2E    |      CRNN      |        Conv+5 biLSTM        |   170h pos+530h neg  |    CE    | 0.178 |   \u002F   |\n|    E2E    |  A-Transformer |   Conv+4 encoders+1 Dense   |   170h pos+530h neg  | CE&Focal | 0.109 | 0.106 |\n|    E2E    |   A-Conformer  |   Conv+4 encoders+1 Dense   |   170h pos+530h neg  | CE&Focal | 0.105 | 0.116 |\n|    E2E    | AV-Transformer | 2 Conv+4 AV-encoders+1Dense | A(170h pos+530h neg)+V(Far 124h)  |    CE        | 0.132 |   \u002F   |\n\n\u003C\u002Fdiv>\u003C\u002Fdetails>\n\n更多详情请参阅：[KWS 说明文档](examples\u002Fkws\u002FREADME.md)。\n### 3.5) CTC 对齐\n以下显示了一段语音的 CTC 对齐结果，我们可以看到 CTC 对齐的输出存在时间延迟：\n\n\u003Cdetails>\u003Csummary>展开\u003C\u002Fsummary>\u003Cdiv>\n\n\u003Cdiv align=\"left\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fathena-team_athena_readme_93531a19a615.png\" width=\"550\"\u002F>\u003C\u002Fdiv>\n\n\u003C\u002Fdiv>\u003C\u002Fdetails>\n\n更多详情请参阅：[对齐说明文档](examples\u002Falign\u002FREADME.md)。\n\n### 3.6) 部署\n\nAthena-V2.0 的部署仅支持 ASR。所有实验均在一台主频为 2.10GHz、拥有 104 个逻辑核心的 CPU 机器上进行。我们使用 AIShell 数据集对性能进行了评估。结果如下：\n\n\u003Cdetails>\u003Csummary>展开\u003C\u002Fsummary>\u003Cdiv>\n\n| 逻辑核心数 | 解码器类型          | 束宽 | RTF     | 字符准确率 |\n|------------|-----------------------|----------|---------|--------------------|\n| 1          | 波束搜索            | 1        | 0.0881  | 92.65%             |\n|            |                       | 10       | 0.2534  | 93.07%             |\n|            |                       | 20       | 0.4537  | 93.06%             |\n| 10         |                       | 1        | 0.04792 | 92.65%             |\n|            |                       | 10       | 0.1135  | 93.07%             |\n|            |                       | 20       | 0.1746  | 93.06%             |\n| 1          | CTC 前缀波束搜索    | 1        | 0.0543 | 93.60%             |\n|            |                       | 10       | 0.06  | 93.60%             |\n|            |                       | 20       | 0.0903  | 93.60%             |\n| 10         |                       | 1        | 0.0283 | 93.60%             |\n|            |                       | 10       | 0.038  | 93.60%             |\n|            |                       | 20       | 0.0641   | 93.60%             |\n\n\u003C\u002Fdiv>\u003C\u002Fdetails>\n\n更多详情请参阅：[Runtime 自述文件](runtime\u002Fcore\u002FREADME.md)\n\n## 4) 运行演示\n我们提供了一种快速体验的方法，如下所示：\n```shell\ncd athena\nsource tools\u002Fenv.sh\n# ASR 测试\n# 批量解码测试\npython athena\u002Frun_demo.py --inference_type asr --saved_model_dir examples\u002Fasr\u002Faishell\u002Fmodels\u002Ffreeze_prefix_beam-20220620 --wav_list test.lst\n# 单个音频文件测试\npython athena\u002Frun_demo.py --inference_type asr --saved_model_dir examples\u002Fasr\u002Faishell\u002Fmodels\u002Ffreeze_prefix_beam-20220620 --wav_dir aishell\u002Fwav\u002Ftest\u002FS0764\u002FBAC009S0764W0121.wav\n\n# TTS 测试\npython athena\u002Frun_demo.py --inference_type tts --text_csv examples\u002Ftts\u002Fdata_baker\u002Ftest\u002Ftest.csv --saved_model_dir athena-model-zoo\u002Ftts\u002Fdata_baker\u002Fsaved_model  \n```\n\n我们提供了一些预训练模型，你可以在以下位置找到：\n[Athena 模型库](https:\u002F\u002Fgithub.com\u002FLianjiaTech\u002Fathena-model-zoo.git)\n\n更多示例请参阅：\n\n[ASR 示例](examples\u002Fasr)\n\n[TTS 示例](examples\u002Ftts)\n\n[VAD 示例](examples\u002Fvad)\n\n[KWS 示例](examples\u002Fkws)\n\n[对齐示例](examples\u002Falign)\n\n[C++ 解码器](runtime\u002Fcore)\n\n[服务器](\u002Fruntime\u002Fserver)\n\n## 5) 支持的模型架构及参考文献\n\nAthena-v2.0 可以支持以下架构：\n\n\u003Cdetails>\u003Csummary>展开\u003C\u002Fsummary>\u003Cdiv>\n\n| 模型名称                                               | 任务 | 参考论文                                                                                                                                                                                                                                                  |\n|----------------------------------------------------------|------|-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|\n| Transformer                                              | ASR  | Dong L, Xu S, Xu B. Speech-transformer: a no-recurrence sequence-to-sequence model for speech recognition[C]\u002F\u002F2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2018: 5884-5888.                                                                                                                                     |\n| Conformer                                                | ASR  |  Gulati A, Qin J, Chiu C C, et al. Conformer: Convolution-augmented transformer for speech recognition[J]. arXiv preprint arXiv:2005.08100, 2020.                                                                                                                 |\n| Transformer-U2                                           | ASR  | Yao Z, Wu D, Wang X, et al. Wenet: Production oriented streaming and non-streaming end-to-end speech recognition toolkit[J]. arXiv preprint arXiv:2102.01547, 2021.                                                                                               |\n| Conformer-U2                                             | ASR  | Yao Z, Wu D, Wang X, et al. Wenet: Production oriented streaming and non-streaming end-to-end speech recognition toolkit[J]. arXiv preprint arXiv:2102.01547, 2021.                                                                                               |\n| AV_Transformer                                           | ASR  |                                                                                                                                                                                                                                                                   |\n| AV_Conformer                                             | ASR  |                                                                                                                                                                                                                                                                   |\n| Fastspeech                                               | TTS  | Ren Y, Ruan Y, Tan X, et al. Fastspeech: Fast, robust and controllable text to speech[J]. Advances in Neural Information Processing Systems, 2019, 32.                                                                                                            |\n| Fastspeech2                                              | TTS  | Ren Y, Hu C, Tan X, et al. Fastspeech 2: Fast and high-quality end-to-end text to speech[J]. arXiv preprint arXiv:2006.04558, 2020.                                                                                                                               |\n| Tacotron2                                                | TTS  | Shen J, Pang R, Weiss R J, et al. Natural tts synthesis by conditioning wavenet on mel spectrogram predictions[C]\u002F\u002F2018 IEEE international conference on acoustics, speech and signal processing (ICASSP). IEEE, 2018: 4779-4783.                                 |\n| TTS_Transfprmer                                          | TTS  | Li N, Liu S, Liu Y, et al. Neural speech synthesis with transformer network[C]\u002F\u002FProceedings of the AAAI Conference on Artificial Intelligence. 2019, 33(01): 6706-6713.                                                                                           |\n| Marblenet                                                | VAD  | Jia F, Majumdar S, Ginsburg B. Marblenet: Deep 1d time-channel separable convolutional neural network for voice activity detection[C]\u002F\u002FICASSP 2021-2021 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2021: 6818-6822. |\n| DNN                                                     | VAD  |   Tashev I, Mirsamadi S. DNN-based causal voice activity detector[C]\u002F\u002FInformation Theory and Applications Workshop. 2016.                                                                                                                                                                                                                                                                |\n| CNN-DNN, CRNN, A-Transformer, A-Conformer, AV-Transformer | KWS  | Xu Y, Sun J, Han Y, et al. Audio-Visual Wake Word Spotting System for MISP Challenge 2021[C]\u002F\u002FICASSP 2022-2022 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2022: 9246-9250.                                          |\n\n\u003C\u002Fdiv>\u003C\u002Fdetails>\n\n## 6) 目录结构\n\n以下是 Athena 的基本目录结构：\n\n\u003Cdetails>\u003Csummary>展开\u003C\u002Fsummary>\u003Cdiv>\n\n```bash\n|-- Athena\n|   |-- data  # - 输入相关操作的根目录\n|   |   |-- datasets  # 用于 ASR、TTS 和预训练的自定义数据集\n|   |-- layers  # 一些层\n|   |-- models  # 一些模型\n|   |-- tools # 包含各种工具，例如解码工具\n|   |-- transform # 基于 C++ 的自定义特征提取器\n|   |   |-- feats\n|   |   |   |-- ops # tensorflow 操作相关的 C++ 代码\n|   |-- utils # 工具类，例如检查点、学习率、指标等\n|-- docker\n|-- docs  # 文档\n|-- examples  # ASR、TTS 等示例脚本\n|   |-- asr  # 每个子目录包含该任务的数据准备脚本和运行脚本\n|   |   |-- aishell\n|   |   |-- hkust\n|   |   |-- librispeech\n|   |   |-- gigaspeech\n|   |   |-- misp\n|   |-- kws ## 词语唤醒检测\n|   |   |-- misp\n|   |   |-- xtxt\n|   |   |-- yesno\n|   |-- tts ## TTS 示例\n|   |   |-- data_baker\n|   |   |-- ljspeech\n|   |-- vad #VAD 示例\n|       |--google_dataset_v2\n|-- tools  # 训练前需先加载 env.sh\n```\n\u003C\u002Fdiv>\u003C\u002Fdetails>\n\n#7) 致谢\n\n我们感谢 [Espnet](https:\u002F\u002Fgithub.com\u002Fespnet\u002Fespnet)、[Wenet](https:\u002F\u002Fgithub.com\u002Fwenet-e2e\u002Fwenet)、[TensorFlowTTS](https:\u002F\u002Fgithub.com\u002FTensorSpeech\u002FTensorFlowTTS\u002F)、[NeMo](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002FNeMo) 等项目。这些优秀的开源项目为我们提供了大量的参考和灵感！","# Athena 快速上手指南\n\nAthena 是一个开源的端到端语音处理引擎，旨在赋能工业应用与学术研究。它支持自动语音识别 (ASR)、语音合成 (TTS)、语音活动检测 (VAD)、关键词唤醒 (KWS) 等多种任务，基于 TensorFlow 2.x 构建。\n\n## 1. 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n*   **操作系统**: Linux (推荐 Ubuntu 18.04\u002F20.04)\n*   **Python**: Python 3.6 - 3.8\n*   **深度学习框架**: TensorFlow GPU 版本 (支持 2.3.0 或 2.8.0)\n*   **硬件**: 支持 CUDA 的 NVIDIA GPU (用于训练和加速推理)\n*   **其他依赖**: `git`, `pip`, `gcc\u002Fg++` (用于编译部分组件)\n\n> **提示**: 为了获得最佳的兼容性和性能，建议创建独立的 Python 虚拟环境。\n\n## 2. 安装步骤\n\nAthena v2.0 支持基于 TensorFlow 2.3 或 2.8 进行安装。请根据您的需求选择其中一种方案执行。\n\n### 方案 A：基于 TensorFlow 2.3.0 (稳定版)\n\n```bash\n# 1. 安装 TensorFlow GPU 2.3.0\npip install tensorflow-gpu==2.3.0\n\n# 2. 克隆仓库并进入目录\ngit clone https:\u002F\u002Fgithub.com\u002Fathena-team\u002Fathena.git\ncd athena\n\n# 3. 安装 Python 依赖\npip install -r requirements.txt\n\n# 4. 构建并安装 Athena\npython setup.py bdist_wheel sdist\npython -m pip install --ignore-installed dist\u002Fathena-2.0*.whl\n```\n\n### 方案 B：基于 TensorFlow 2.8.0 (新版)\n\n```bash\n# 1. 安装 TensorFlow GPU 2.8.0\npip install tensorflow-gpu==2.8.0\n\n# 2. 克隆仓库并进入目录\ngit clone https:\u002F\u002Fgithub.com\u002Fathena-team\u002Fathena.git\ncd athena\n\n# 3. 安装 Python 依赖\npip install -r requirements.txt\n\n# 4. 构建并安装 Athena (注意使用 tf2.8 的 setup 脚本)\npython setup.tf2.8.py bdist_wheel sdist\npython -m pip install --ignore-installed dist\u002Fathena-2.0*.whl\n```\n\n> **国内加速建议**: 如果下载依赖较慢，建议使用国内镜像源（如清华源或阿里源）：\n> `pip install -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple \u003Cpackage_name>`\n\n## 3. 基本使用\n\n安装完成后，您可以快速运行一个 ASR（自动语音识别）演示来验证环境。\n\n### 步骤 1: 加载环境变量\n进入 Athena 目录并加载必要的工具脚本：\n\n```bash\ncd athena\nsource tools\u002Fenv.sh\n```\n\n### 步骤 2: 运行 ASR 推理示例\n以下命令将使用预训练模型对数据进行批量解码测试（以 AISHELL 数据集模型为例）：\n\n```bash\n# 运行 ASR 批量解码测试\npython athena\u002Frun_demo.py --inference_type asr --saved_model_dir examples\u002Fasr\u002Faishell\u002Fmodels\u002Ffree\n```\n\n**说明**:\n*   `--inference_type`: 指定任务类型，支持 `asr`, `tts`, `vad`, `kws` 等。\n*   `--saved_model_dir`: 指向已训练好或下载的模型保存路径。\n\n### 后续探索\n*   **更多任务**: 参考 `examples\u002F` 目录下的子文件夹（如 `examples\u002Ftts`, `examples\u002Fkws`）获取特定任务的详细配置和运行脚本。\n*   **模型库**: 访问 [Athena-model-zoo](https:\u002F\u002Fgithub.com\u002FLianjiaTech\u002Fathena-model-zoo.git) 下载更多预训练模型。\n*   **部署**: 如需 C++ 部署或服务器端部署，请参考 `runtime\u002F` 目录下的文档。","某智能硬件初创团队正致力于开发一款支持离线语音交互的智能家居中控屏，需要快速构建高精度的语音识别与唤醒功能。\n\n### 没有 athena 时\n- **技术栈割裂严重**：团队需分别寻找独立的 ASR、KWS（关键词检测）和 VAD（语音活动检测）开源项目，导致数据预处理格式不统一，特征提取代码重复编写。\n- **模型部署困难**：现有的端到端模型多依赖复杂的 Kaldi 工具链或仅支持 Python 推理，难以在资源受限的嵌入式设备或 C++ 生产环境中高效运行。\n- **训练效率低下**：缺乏原生的多机多卡分布式训练支持，面对海量语音数据时，模型迭代周期长达数周，严重拖慢产品上市节奏。\n- **算法选型受限**：难以灵活尝试 Conformer、FastSpeech2 等前沿架构，只能沿用老旧的混合系统，导致在噪音环境下的识别率和合成自然度无法突破瓶颈。\n\n### 使用 athena 后\n- **全流程一体化**：利用 athena 内置的 Kaldi-free 特征提取器及统一的端到端框架，一站式完成从唤醒、检测到识别的全链路开发，代码维护成本降低 60%。\n- **无缝 C++ 部署**：直接调用 athena 提供的 C++ 解码器和 TensorFlow C++ 服务接口，轻松实现低延迟的本地服务器部署，完美适配边缘计算场景。\n- **加速模型迭代**：借助 Horovod 原生支持的多 GPU 分布式训练，将大规模数据集的训练时间从数周缩短至数天，大幅加快算法优化闭环。\n- **前沿架构即插即用**：直接复用 athena 集成的 Conformer-CTC、FastSpeech2 及流式注意力机制，显著提升了嘈杂家庭环境下的语音识别准确率和语音合成自然度。\n\nathena 通过提供统一、高效且易于部署的端到端语音处理引擎，帮助团队打破了从学术研究到工业落地的壁垒，实现了语音交互功能的快速高质量交付。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fathena-team_athena_93531a19.png","athena-team","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fathena-team_ce1ebfe0.png","",null,"https:\u002F\u002Fgithub.com\u002Fathena-team",[20,24,28,32,36,39,43],{"name":21,"color":22,"percentage":23},"C++","#f34b7d",70.8,{"name":25,"color":26,"percentage":27},"Python","#3572A5",28.2,{"name":29,"color":30,"percentage":31},"Shell","#89e051",0.5,{"name":33,"color":34,"percentage":35},"C","#555555",0.2,{"name":37,"color":38,"percentage":35},"CMake","#DA3434",{"name":40,"color":41,"percentage":42},"Makefile","#427819",0.1,{"name":44,"color":45,"percentage":42},"Dockerfile","#384d54",970,198,"2026-03-14T06:10:53","Apache-2.0",4,"Linux","需要 NVIDIA GPU (安装命令中包含 tensorflow-gpu)，具体型号和显存未说明，需匹配 TensorFlow 2.3\u002F2.8 对应的 CUDA 版本","未说明",{"notes":55,"python":56,"dependencies":57},"1. 支持基于 TensorFlow 2.3 或 2.8 安装，不同版本需运行不同的 setup 脚本 (setup.py 或 setup.tf2.8.py)。\n2. 提供 Kaldi-free 的 Python 特征提取器 (Athena_transform)。\n3. 支持单机多卡或多机分布式训练 (Horovod)。\n4. 部署支持 C++ 解码和本地服务器，但当前仅支持 ASR 任务的部署。\n5. 部分功能 (如 WFST 解码) 依赖 C++ 编译环境。","未说明 (需兼容 TensorFlow 2.3 或 2.8)",[58,59,60],"tensorflow-gpu==2.3.0 或 2.8.0","horovod","athena-transform",[62,63,64],"音频","语言模型","开发框架",[66,67,68,69,70,71,72,73,74,75,76,77],"speech-recognition","asr","transformer","tensorflow","ctc","unsupervised-learning","sequence-to-sequence","deployment","wfst","speaker-recognition","tts","speech-synthesis",2,"ready","2026-03-27T02:49:30.150509","2026-04-07T08:13:46.281355",[83,88,93,98,103,108],{"id":84,"question_zh":85,"answer_zh":86,"source_url":87},21312,"运行脚本时遇到 TensorFlow Addons 版本不兼容或 AttributeError 错误怎么办？","该错误通常由 TensorFlow 版本与 TensorFlow Addons 不匹配引起。TensorFlow Addons 支持 TensorFlow 2.2.0 到 2.4.0（不含）之间的版本。如果您使用的是 2.0.0 或其他不支持的版本，请升级或降级 TensorFlow 至兼容版本，或者调整 TensorFlow Addons 的版本。具体兼容性矩阵可参考 TensorFlow Addons 的 README 文件。","https:\u002F\u002Fgithub.com\u002Fathena-team\u002Fathena\u002Fissues\u002F244",{"id":89,"question_zh":90,"answer_zh":91,"source_url":92},21313,"训练和解码完成后，在哪里查看 WER（词错误率）汇总结果？","WER 汇总结果需要通过 `sclite` 工具计算生成。请确保已安装 `sclite`，然后在 `run.sh` 的第 6 阶段（score-computing stage）执行评分脚本。生成的结果通常保存在 `score_save` 文件夹中。如果未看到预期的汇总文件，请检查 `sclite` 是否正确安装以及脚本执行路径是否正确。","https:\u002F\u002Fgithub.com\u002Fathena-team\u002Fathena\u002Fissues\u002F237",{"id":94,"question_zh":95,"answer_zh":96,"source_url":97},21314,"部署模型编译 C++ 代码时提示 'cannot find -ltensorflow_framework' 错误如何解决？","此错误表示链接器找不到 TensorFlow 的核心库文件。请检查您的环境中是否正确安装了 TensorFlow 开发库，并确认 `LD_LIBRARY_PATH` 或 `CMAKE_PREFIX_PATH` 中包含了 TensorFlow 库的路径。在某些系统中，可能需要手动指定 `-ltensorflow_framework` 的库路径或在 CMakeLists.txt 中修正链接配置。","https:\u002F\u002Fgithub.com\u002Fathena-team\u002Fathena\u002Fissues\u002F297",{"id":99,"question_zh":100,"answer_zh":101,"source_url":102},21315,"C++ 部署 Demo 需要哪些文件？如何获取 vocab.txt 和 feats.txt？","运行 C++ 部署 Demo 必须包含四个文件：`decoder.pb`, `encoder.pb`, `feats.txt`, `vocab.txt`。其中 `vocab.txt` 通常位于数据目录（如 `examples\u002Fasr\u002Faishell\u002Fdata\u002F`），`feats.txt` 可在训练过程中生成。请确保目录结构正确，并在 C++ 代码中打印加载的文件内容以验证 `index_to_char` 等映射是否正确读取。","https:\u002F\u002Fgithub.com\u002Fathena-team\u002Fathena\u002Fissues\u002F300",{"id":104,"question_zh":105,"answer_zh":106,"source_url":107},21316,"运行 prepare_data.py 时出现导入错误（如 AttributeError: module 'tensorflow_core.keras.utils' has no attribute...）怎么办？","这通常是由于 TensorFlow 版本过低或与 Keras 接口不兼容导致的。请确保安装的 TensorFlow 版本符合项目要求（建议 2.2.0+），并重新安装或更新 `tensorflow_addons`。如果问题依旧，尝试清理虚拟环境并重新安装所有依赖包，确保没有残留的旧版本冲突。","https:\u002F\u002Fgithub.com\u002Fathena-team\u002Fathena\u002Fissues\u002F88",{"id":109,"question_zh":110,"answer_zh":111,"source_url":102},21317,"C++ 部署时没有 Argmax 解码结果，如何排查问题？","首先确认目录结构中是否包含必需的四个文件（`decoder.pb`, `encoder.pb`, `feats.txt`, `vocab.txt`）。其次，在 C++ 代码中添加打印语句，检查模型状态和加载的文件内容（如 `index_to_char` 映射）是否正确。还可以对比 Python 解码结果与 C++ 输出，验证特征提取和模型推理的一致性。",[],[114,126,134,142,150,159],{"id":115,"name":116,"github_repo":117,"description_zh":118,"stars":119,"difficulty_score":120,"last_commit_at":121,"category_tags":122,"status":79},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[123,64,124,125],"Agent","图像","数据工具",{"id":127,"name":128,"github_repo":129,"description_zh":130,"stars":131,"difficulty_score":120,"last_commit_at":132,"category_tags":133,"status":79},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[64,124,123],{"id":135,"name":136,"github_repo":137,"description_zh":138,"stars":139,"difficulty_score":78,"last_commit_at":140,"category_tags":141,"status":79},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",142651,"2026-04-06T23:34:12",[64,123,63],{"id":143,"name":144,"github_repo":145,"description_zh":146,"stars":147,"difficulty_score":78,"last_commit_at":148,"category_tags":149,"status":79},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107888,"2026-04-06T11:32:50",[64,124,123],{"id":151,"name":152,"github_repo":153,"description_zh":154,"stars":155,"difficulty_score":78,"last_commit_at":156,"category_tags":157,"status":79},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[158,64],"插件",{"id":160,"name":161,"github_repo":162,"description_zh":163,"stars":164,"difficulty_score":120,"last_commit_at":165,"category_tags":166,"status":79},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[63,124,123,64]]