[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-freewym--espresso":3,"tool-freewym--espresso":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",144730,2,"2026-04-07T23:26:32",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107888,"2026-04-06T11:32:50",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":10,"last_commit_at":59,"category_tags":60,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[35,15,13,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":77,"owner_email":78,"owner_twitter":75,"owner_website":79,"owner_url":80,"languages":81,"stars":108,"forks":109,"last_commit_at":110,"license":111,"difficulty_score":112,"env_os":113,"env_gpu":114,"env_ram":115,"env_deps":116,"category_tags":130,"github_topics":132,"view_count":32,"oss_zip_url":75,"oss_zip_packed_at":75,"status":17,"created_at":139,"updated_at":140,"faqs":141,"releases":172},5348,"freewym\u002Fespresso","espresso","Espresso: A Fast End-to-End Neural Speech Recognition Toolkit","Espresso 是一款基于 PyTorch 和 fairseq 构建的开源端到端神经语音识别工具包，旨在为研究人员和开发者提供高效、灵活的自动语音识别（ASR）解决方案。它主要解决了传统语音识别系统搭建复杂、训练速度慢以及难以兼顾多种先进模型架构的痛点，让用户能够轻松复现业界领先的识别效果。\n\n该工具特别适合从事语音技术研究的算法工程师、学术科研人员以及希望快速部署高性能 ASR 系统的开发者。Espresso 的核心亮点在于其模块化设计与强大的扩展性：它不仅支持多 GPU 分布式训练以大幅缩短研发周期，还内置了多种前沿解码策略，包括高效的并行解码器和前瞻词级语言模型融合。此外，Espresso 紧跟技术前沿，原生支持 Conformer 编码器、Transducer 模型、CTC 训练以及 SpecAugment 数据增强等先进技术，并提供了针对 WSJ、LibriSpeech 等主流数据集的成熟训练配方。无论是探索最新的混合系统还是构建纯端到端模型，Espresso 都能通过简洁的配置帮助用户快速验证想法，是语音识别领域值得信赖的开发利器。","\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ffreewym_espresso_readme_3bd0b82ce025.png\" align=\"right\" style=\"padding-left: 20px\" height=\"160px\" \u002F>\n\n# Espresso\n\nEspresso is an open-source, modular, extensible end-to-end neural automatic speech recognition (ASR) toolkit based on the deep learning library [PyTorch](https:\u002F\u002Fgithub.com\u002Fpytorch\u002Fpytorch) and the popular neural machine translation toolkit [`fairseq`](https:\u002F\u002Fgithub.com\u002Fpytorch\u002Ffairseq). Espresso supports distributed training across GPUs and computing nodes, and features various decoding approaches commonly employed in ASR, including look-ahead word-based language model fusion, for which a fast, parallelized decoder is implemented.\n\nWe provide state-of-the-art training recipes for the following speech datasets:\n * [WSJ](https:\u002F\u002Fgithub.com\u002Ffreewym\u002Fespresso\u002Ftree\u002Fmain\u002Fexamples\u002Fasr_wsj)\n * [LibriSpeech](https:\u002F\u002Fgithub.com\u002Ffreewym\u002Fespresso\u002Ftree\u002Fmain\u002Fexamples\u002Fasr_librispeech)\n * [Switchboard](https:\u002F\u002Fgithub.com\u002Ffreewym\u002Fespresso\u002Ftree\u002Fmain\u002Fexamples\u002Fasr_swbd)\n\n### What's New:\n\n* September 2022: CTC model training and decoding are supported. Check out [a config file example](https:\u002F\u002Fgithub.com\u002Ffreewym\u002Fespresso\u002Ftree\u002Fmain\u002Fexamples\u002Fasr_librispeech\u002Fconfig\u002Ftransformer_ctc_librispeech.yaml).\n* February 2022: Conformer encoder is implemented. Simply add one line option in the config file to enable it. See examples: [here](https:\u002F\u002Fgithub.com\u002Ffreewym\u002Fespresso\u002Ftree\u002Fmain\u002Fexamples\u002Fasr_librispeech\u002Fconfig\u002Fconformer_librispeech.yaml) and [here](https:\u002F\u002Fgithub.com\u002Ffreewym\u002Fespresso\u002Ftree\u002Fmain\u002Fexamples\u002Fasr_librispeech\u002Fconfig\u002Fconformer_transducer_librispeech.yaml).\n* December 2021: A suite of Transducer model training and decoding code is added. An illustrative LibriSpeech recipe is [here](https:\u002F\u002Fgithub.com\u002Ffreewym\u002Fespresso\u002Ftree\u002Fmain\u002Fexamples\u002Fasr_librispeech\u002Frun_transformer_transducer.sh). The training requires [torchaudio](https:\u002F\u002Fpytorch.org\u002Faudio\u002Fstable\u002Findex.html) >= 0.10.0 installed.\n* April 2021: On-the-fly feature extraction from raw waveforms with [torchaudio](https:\u002F\u002Fpytorch.org\u002Faudio\u002Fstable\u002Findex.html) is supported. A LibriSpeech recipe is released [here](https:\u002F\u002Fgithub.com\u002Ffreewym\u002Fespresso\u002Ftree\u002Fmain\u002Fexamples\u002Fasr_librispeech\u002Frun_torchaudio.sh) with no dependency on Kaldi and using YAML files (via [Hydra](https:\u002F\u002Fhydra.cc\u002F)) for configuring experiments.\n* June 2020: Transformer recipes released.\n* April 2020: Both [E2E LF-MMI](https:\u002F\u002Fwww.isca-speech.org\u002Farchive\u002FInterspeech_2018\u002Fpdfs\u002F1423.pdf) (using [PyChain](https:\u002F\u002Fgithub.com\u002FYiwenShaoStephen\u002Fpychain)) and Cross-Entropy training for hybrid ASR are now supported. WSJ recipes are provided [here](https:\u002F\u002Fgithub.com\u002Ffreewym\u002Fespresso\u002Ftree\u002Fmain\u002Fexamples\u002Fasr_wsj\u002Frun_chain_e2e.sh) and [here](https:\u002F\u002Fgithub.com\u002Ffreewym\u002Fespresso\u002Ftree\u002Fmain\u002Fexamples\u002Fasr_wsj\u002Frun_xent.sh) as examples, respectively.\n* March 2020: SpecAugment is supported and relevant recipes are released.\n* September 2019: We are in an effort of isolating Espresso from fairseq, resulting in a standalone package that can be directly `pip install`ed.\n\n# Requirements and Installation\n\n* [PyTorch](http:\u002F\u002Fpytorch.org\u002F) version >= 1.10.0\n* Python version >= 3.8\n* For training new models, you'll also need an NVIDIA GPU and [NCCL](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fnccl)\n* **To install Espresso** from source and develop locally:\n\n``` bash\ngit clone https:\u002F\u002Fgithub.com\u002Ffreewym\u002Fespresso\ncd espresso\npip install --editable .\n\n# on MacOS:\n# CFLAGS=\"-stdlib=libc++\" pip install --editable .\u002F\npip install kaldi_io sentencepiece soundfile\ncd espresso\u002Ftools; make KALDI=\u003Cpath\u002Fto\u002Fa\u002Fcompiled\u002Fkaldi\u002Fdirectory>\n```\n\nadd your Python path to `PATH` variable in `examples\u002Fasr_\u003Cdataset>\u002Fpath.sh`, the current default is `~\u002Fanaconda3\u002Fbin`.\n\nkaldi\\_io is required for reading kaldi scp files. sentencepiece is required for subword pieces training\u002Fencoding.\nsoundfile is required for reading raw waveform files.\nKaldi is required for data preparation, feature extraction, scoring for some datasets (e.g., Switchboard), and decoding for all hybrid systems.\n* If you want to use [PyChain](https:\u002F\u002Fgithub.com\u002FYiwenShaoStephen\u002Fpychain) for [LF-MMI](https:\u002F\u002Fwww.isca-speech.org\u002Farchive\u002FInterspeech_2016\u002Fpdfs\u002F0595.PDF) training, you also need to install PyChain (and OpenFst):\n\nedit `PYTHON_DIR` variable in `espresso\u002Ftools\u002FMakefile` (default: `~\u002Fanaconda3\u002Fbin`), and then\n```bash\ncd espresso\u002Ftools; make openfst pychain\n```\n\n* **For faster training** install NVIDIA's [apex](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fapex) library:\n\n``` bash\ngit clone https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fapex\ncd apex\npip install -v --no-cache-dir --global-option=\"--cpp_ext\" --global-option=\"--cuda_ext\" \\\n  --global-option=\"--deprecated_fused_adam\" --global-option=\"--xentropy\" \\\n  --global-option=\"--fast_multihead_attn\" .\u002F\n```\n\n# License\n\nEspresso is MIT-licensed.\n\n# Citation\n\nPlease cite Espresso as:\n\n``` bibtex\n@inproceedings{wang2019espresso,\n  title = {Espresso: A Fast End-to-end Neural Speech Recognition Toolkit},\n  author = {Yiming Wang and Tongfei Chen and Hainan Xu\n            and Shuoyang Ding and Hang Lv and Yiwen Shao\n            and Nanyun Peng and Lei Xie and Shinji Watanabe\n            and Sanjeev Khudanpur},\n  booktitle = {2019 IEEE Automatic Speech Recognition and Understanding Workshop (ASRU)},\n  year = {2019},\n}\n```\n","\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ffreewym_espresso_readme_3bd0b82ce025.png\" align=\"right\" style=\"padding-left: 20px\" height=\"160px\" \u002F>\n\n# Espresso\n\nEspresso 是一个开源、模块化、可扩展的端到端神经网络自动语音识别（ASR）工具包，基于深度学习库 [PyTorch](https:\u002F\u002Fgithub.com\u002Fpytorch\u002Fpytorch) 和流行的神经机器翻译工具包 [`fairseq`](https:\u002F\u002Fgithub.com\u002Fpytorch\u002Ffairseq) 构建。Espresso 支持跨 GPU 和计算节点的分布式训练，并提供了 ASR 中常用的多种解码方法，包括基于前瞻词级别的语言模型融合，为此实现了一个快速且并行化的解码器。\n\n我们为以下语音数据集提供了最先进的训练配方：\n * [WSJ](https:\u002F\u002Fgithub.com\u002Ffreewym\u002Fespresso\u002Ftree\u002Fmain\u002Fexamples\u002Fasr_wsj)\n * [LibriSpeech](https:\u002F\u002Fgithub.com\u002Ffreewym\u002Fespresso\u002Ftree\u002Fmain\u002Fexamples\u002Fasr_librispeech)\n * [Switchboard](https:\u002F\u002Fgithub.com\u002Ffreewym\u002Fespresso\u002Ftree\u002Fmain\u002Fexamples\u002Fasr_swbd)\n\n### 最新动态：\n\n* 2022年9月：支持 CTC 模型的训练和解码。请查看[配置文件示例](https:\u002F\u002Fgithub.com\u002Ffreewym\u002Fespresso\u002Ftree\u002Fmain\u002Fexamples\u002Fasr_librispeech\u002Fconfig\u002Ftransformer_ctc_librispeech.yaml)。\n* 2022年2月：实现了 Conformer 编码器。只需在配置文件中添加一行选项即可启用。示例请参见：[这里](https:\u002F\u002Fgithub.com\u002Ffreewym\u002Fespresso\u002Ftree\u002Fmain\u002Fexamples\u002Fasr_librispeech\u002Fconfig\u002Fconformer_librispeech.yaml) 和 [这里](https:\u002F\u002Fgithub.com\u002Ffreewym\u002Fespresso\u002Ftree\u002Fmain\u002Fexamples\u002Fasr_librispeech\u002Fconfig\u002Fconformer_transducer_librispeech.yaml)。\n* 2021年12月：新增了一套 Transducer 模型的训练和解码代码。一个演示性的 LibriSpeech 配方位于[这里](https:\u002F\u002Fgithub.com\u002Ffreewym\u002Fespresso\u002Ftree\u002Fmain\u002Fexamples\u002Fasr_librispeech\u002Frun_transformer_transducer.sh)。训练需要安装 [torchaudio](https:\u002F\u002Fpytorch.org\u002Faudio\u002Fstable\u002Findex.html) >= 0.10.0。\n* 2021年4月：支持使用 [torchaudio](https:\u002F\u002Fpytorch.org\u002Faudio\u002Fstable\u002Findex.html) 对原始波形进行实时特征提取。发布了一个 LibriSpeech 配方[在这里](https:\u002F\u002Fgithub.com\u002Ffreewym\u002Fespresso\u002Ftree\u002Fmain\u002Fexamples\u002Fasr_librispeech\u002Frun_torchaudio.sh)，该配方不依赖 Kaldi，并通过 [Hydra](https:\u002F\u002Fhydra.cc\u002F) 使用 YAML 文件来配置实验。\n* 2020年6月：发布了 Transformer 的训练配方。\n* 2020年4月：现在同时支持 [E2E LF-MMI](https:\u002F\u002Fwww.isca-speech.org\u002Farchive\u002FInterspeech_2018\u002Fpdfs\u002F1423.pdf)（使用 [PyChain](https:\u002F\u002Fgithub.com\u002FYiwenShaoStephen\u002Fpychain)）以及混合 ASR 的交叉熵训练。WSJ 的配方分别提供在[这里](https:\u002F\u002Fgithub.com\u002Ffreewym\u002Fespresso\u002Ftree\u002Fmain\u002Fexamples\u002Fasr_wsj\u002Frun_chain_e2e.sh) 和 [这里](https:\u002F\u002Fgithub.com\u002Ffreewym\u002Fespresso\u002Ftree\u002Fmain\u002Fexamples\u002Fasr_wsj\u002Frun_xent.sh) 作为示例。\n* 2020年3月：支持 SpecAugment，并发布了相关配方。\n* 2019年9月：我们正在努力将 Espresso 从 fairseq 中独立出来，最终形成一个可以使用 `pip install` 直接安装的独立软件包。\n\n# 要求与安装\n\n* [PyTorch](http:\u002F\u002Fpytorch.org\u002F) 版本 >= 1.10.0\n* Python 版本 >= 3.8\n* 如果要训练新模型，还需要 NVIDIA GPU 和 [NCCL](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fnccl)\n* **从源码安装 Espresso 并进行本地开发**：\n\n``` bash\ngit clone https:\u002F\u002Fgithub.com\u002Ffreewym\u002Fespresso\ncd espresso\npip install --editable .\n\n# 在 MacOS 上：\n# CFLAGS=\"-stdlib=libc++\" pip install --editable .\u002F\npip install kaldi_io sentencepiece soundfile\ncd espresso\u002Ftools; make KALDI=\u003Cpath\u002Fto\u002Fa\u002Fcompiled\u002Fkaldi\u002Fdirectory>\n```\n\n将你的 Python 路径添加到 `examples\u002Fasr_\u003Cdataset>\u002Fpath.sh` 中的 `PATH` 变量中，当前默认值是 `~\u002Fanaconda3\u002Fbin`。\n\nkaldi_io 用于读取 Kaldi 的 scp 文件。sentencepiece 用于子词单元的训练和编码。soundfile 用于读取原始波形文件。Kaldi 则用于数据准备、特征提取、部分数据集的评分（例如 Switchboard），以及所有混合系统的解码。\n* 如果你想使用 [PyChain](https:\u002F\u002Fgithub.com\u002FYiwenShaoStephen\u002Fpychain) 进行 [LF-MMI](https:\u002F\u002Fwww.isca-speech.org\u002Farchive\u002FInterspeech_2016\u002Fpdfs\u002F0595.PDF) 训练，还需要安装 PyChain（以及 OpenFst）：\n\n编辑 `espresso\u002Ftools\u002FMakefile` 中的 `PYTHON_DIR` 变量（默认值为 `~\u002Fanaconda3\u002Fbin`），然后执行：\n```bash\ncd espresso\u002Ftools; make openfst pychain\n```\n\n* **为了加快训练速度**，请安装 NVIDIA 的 [apex](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fapex) 库：\n\n``` bash\ngit clone https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fapex\ncd apex\npip install -v --no-cache-dir --global-option=\"--cpp_ext\" --global-option=\"--cuda_ext\" \\\n  --global-option=\"--deprecated_fused_adam\" --global-option=\"--xentropy\" \\\n  --global-option=\"--fast_multihead_attn\" .\u002F\n```\n\n# 许可证\n\nEspresso 采用 MIT 许可证。\n\n# 引用\n\n请按如下方式引用 Espresso：\n\n``` bibtex\n@inproceedings{wang2019espresso,\n  title = {Espresso: A Fast End-to-end Neural Speech Recognition Toolkit},\n  author = {Yiming Wang and Tongfei Chen and Hainan Xu\n            and Shuoyang Ding and Hang Lv and Yiwen Shao\n            and Nanyun Peng and Lei Xie and Shinji Watanabe\n            and Sanjeev Khudanpur},\n  booktitle = {2019 IEEE Automatic Speech Recognition and Understanding Workshop (ASRU)},\n  year = {2019},\n}\n```","# Espresso 快速上手指南\n\nEspresso 是一个基于 PyTorch 和 fairseq 的开源、模块化端到端神经自动语音识别（ASR）工具包。它支持多 GPU 和分布式训练，并集成了多种先进的解码策略（如前向词级语言模型融合）。\n\n## 环境准备\n\n在开始之前，请确保您的系统满足以下要求：\n\n*   **操作系统**: Linux (推荐) 或 macOS\n*   **Python**: >= 3.8\n*   **PyTorch**: >= 1.10.0\n*   **硬件**: 训练新模型需要 NVIDIA GPU 及 NCCL 支持\n*   **其他依赖**:\n    *   **Kaldi**: 用于部分数据集的数据准备、特征提取、评分以及所有混合系统的解码。\n    *   **OpenFst & PyChain**: 仅在进行 LF-MMI 训练时需要。\n\n> **国内加速建议**：安装 Python 依赖时，建议使用清华或阿里镜像源以加快下载速度。\n> 例如：`pip install -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple \u003Cpackage_name>`\n\n## 安装步骤\n\n### 1. 克隆源码并安装核心包\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Ffreewym\u002Fespresso\ncd espresso\n# 建议使用国内镜像源安装\npip install -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple --editable .\n\n# 如果是 macOS 系统，请使用以下命令：\n# CFLAGS=\"-stdlib=libc++\" pip install -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple --editable .\u002F\n\n# 安装必要的 Python 辅助库\npip install -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple kaldi_io sentencepiece soundfile\n```\n\n### 2. 编译 Kaldi 工具链\n\n您需要编译 Espresso 自带的 Kaldi 工具。请将 `\u003Cpath\u002Fto\u002Fa\u002Fcompiled\u002Fkaldi\u002Fdirectory>` 替换为您本地已编译好的 Kaldi 目录路径（如果您没有预编译的 Kaldi，需先自行编译安装 Kaldi）。\n\n```bash\ncd espresso\u002Ftools\nmake KALDI=\u003Cpath\u002Fto\u002Fa\u002Fcompiled\u002Fkaldi\u002Fdirectory>\n```\n\n### 3. 配置环境变量\n\n编辑示例脚本中的路径配置。打开 `examples\u002Fasr_\u003Cdataset>\u002Fpath.sh` 文件，将 `PATH` 变量修改为您的 Python 环境路径（默认为 `~\u002Fanaconda3\u002Fbin`，请根据实际情况调整）。\n\n### 4. (可选) 安装进阶组件\n\n*   **如需进行 LF-MMI 训练** (使用 PyChain)：\n    编辑 `espresso\u002Ftools\u002FMakefile` 中的 `PYTHON_DIR` 变量，然后执行：\n    ```bash\n    cd espresso\u002Ftools\n    make openfst pychain\n    ```\n\n*   **如需加速训练** (使用 NVIDIA Apex)：\n    ```bash\n    git clone https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fapex\n    cd apex\n    pip install -v --no-cache-dir --global-option=\"--cpp_ext\" --global-option=\"--cuda_ext\" \\\n      --global-option=\"--deprecated_fused_adam\" --global-option=\"--xentropy\" \\\n      --global-option=\"--fast_multihead_attn\" .\u002F\n    ```\n\n## 基本使用\n\nEspresso 为多个主流数据集（WSJ, LibriSpeech, Switchboard）提供了完整的训练食谱（recipes）。以下以 **LibriSpeech** 数据集为例，展示最基础的使用流程。\n\n### 1. 进入示例目录\n```bash\ncd examples\u002Fasr_librispeech\n```\n\n### 2. 运行训练脚本\n根据您想要的模型架构，运行对应的 shell 脚本。这些脚本会自动处理数据下载、预处理、训练和解码。\n\n*   **运行标准的 Transformer 模型训练**：\n    ```bash\n    bash run_transformer.sh\n    ```\n\n*   **运行 Conformer 模型训练** (2022年新增特性)：\n    ```bash\n    bash run_conformer.sh\n    # 或者查看具体的配置文件 examples\u002Fasr_librispeech\u002Fconfig\u002Fconformer_librispeech.yaml\n    ```\n\n*   **运行 Transducer 模型训练** (需确保 torchaudio >= 0.10.0)：\n    ```bash\n    bash run_transformer_transducer.sh\n    ```\n\n*   **使用 torchaudio 进行在线特征提取** (无需 Kaldi 特征提取依赖)：\n    ```bash\n    bash run_torchaudio.sh\n    ```\n\n### 3. 查看结果\n脚本执行完毕后，训练日志、模型检查点（checkpoints）以及解码结果（WER\u002FCER）将保存在指定的输出目录中（通常在 `exp\u002F` 目录下）。您可以参考生成的日志文件监控训练状态。\n\n> **提示**：具体参数调整（如学习率、层数、Augment 策略等）可通过修改 `config\u002F` 目录下的 `.yaml` 配置文件实现（基于 Hydra 框架）。","某初创团队正在为一款实时会议记录软件开发核心语音转文字引擎，急需在有限算力下快速训练出高准确率的端到端模型。\n\n### 没有 espresso 时\n- **架构搭建繁琐**：团队需手动拼接 PyTorch 底层模块与公平序列（fairseq）组件，花费数周时间复现 Transformer 或 Conformer 架构，极易引入代码错误。\n- **解码效率低下**：缺乏原生支持的高效并行解码器，集成基于词的语言模型融合（Look-ahead LM Fusion）时需自行优化 C++ 扩展，导致推理延迟过高，无法满足实时性要求。\n- **数据依赖沉重**：特征提取严重依赖传统的 Kaldi 流程，环境配置复杂且难以容器化，无法直接利用原始波形进行端到端的动态特征学习。\n- **多卡训练困难**：缺少开箱即用的分布式训练方案，在多 GPU 或多节点环境下调试通信同步问题耗费了大量研发精力。\n\n### 使用 espresso 后\n- **模型迭代极速**：直接调用内置的 Conformer 和 Transducer 食谱（Recipe），仅需修改一行配置文件即可切换顶尖架构，将模型原型验证周期从数周缩短至数天。\n- **推理性能飞跃**：利用其自带的高速并行解码器，轻松实现语言模型融合，显著降低首字延迟，使实时会议转写流畅度达到商用标准。\n- **流程简洁现代**：借助对 torchaudio 的原生支持，直接从原始波形在线提取特征，彻底摆脱了对 Kaldi 复杂前处理流程的强依赖，部署更加轻量。\n- **训练规模弹性**：原生支持跨 GPU 及计算节点的分布式训练，团队可线性扩展算力资源，快速在 LibriSpeech 等大规模数据集上收敛出 SOTA 模型。\n\nespresso 通过提供模块化、高性能的端到端全链路方案，让团队从繁琐的基础设施构建中解放出来，专注于核心算法优化与业务落地。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ffreewym_espresso_3bd0b82c.png","freewym","Yiming Wang","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Ffreewym_12d00119.jpg",null,"Johns Hopkins University","Bellevue, WA, United States","freewym@gmail.com","https:\u002F\u002Ffreewym.github.io","https:\u002F\u002Fgithub.com\u002Ffreewym",[82,86,90,94,98,102,105],{"name":83,"color":84,"percentage":85},"Python","#3572A5",98.2,{"name":87,"color":88,"percentage":89},"Cuda","#3A4E3A",0.8,{"name":91,"color":92,"percentage":93},"C++","#f34b7d",0.5,{"name":95,"color":96,"percentage":97},"Cython","#fedf5b",0.3,{"name":99,"color":100,"percentage":101},"Shell","#89e051",0.1,{"name":103,"color":104,"percentage":101},"Lua","#000080",{"name":106,"color":107,"percentage":101},"Makefile","#427819",940,116,"2026-02-23T14:30:11","NOASSERTION",4,"Linux, macOS","训练新模型必需 NVIDIA GPU，需安装 NCCL。具体显存大小和 CUDA 版本未在文中明确说明（但需配合 PyTorch >= 1.10.0 使用）。","未说明",{"notes":117,"python":118,"dependencies":119},"该工具基于 fairseq 构建，支持分布式训练。若在 macOS 上从源码安装，需设置 CFLAGS 环境变量。部分功能（如 Switchboard 数据集的处理或混合系统解码）强依赖 Kaldi。若需使用 LF-MMI 训练，需额外编译安装 OpenFst 和 PyChain。建议使用 Hydra 进行实验配置管理。",">=3.8",[120,121,122,123,124,125,126,127,128,129],"PyTorch>=1.10.0","fairseq","torchaudio>=0.10.0 (用于 Transducer 模型)","kaldi_io","sentencepiece","soundfile","Kaldi (用于数据准备、特征提取及部分解码)","OpenFst (可选，用于 LF-MMI 训练)","PyChain (可选，用于 LF-MMI 训练)","NVIDIA apex (可选，用于加速训练)",[131,14],"音频",[133,134,121,135,136,137,138],"python","pytorch","kaldi","end-to-end","speech-recognition","asr","2026-03-27T02:49:30.150509","2026-04-08T12:11:32.110347",[142,147,152,157,162,167],{"id":143,"question_zh":144,"answer_zh":145,"source_url":146},24257,"训练时出现非 ASCII 字符（如 \\xe2\\x96\\x81）且 WER 很高，这是正常现象吗？","这通常与 SentencePiece 包或 Fairseq 的封装有关。建议用户在 Python 交互模式下直接调用 SentencePiece 进行测试，以确认是原始包的问题还是封装层的问题。参考代码可查看：https:\u002F\u002Fgithub.com\u002Fpytorch\u002Ffairseq\u002Fblob\u002Fmaster\u002Fscripts\u002Fspm_train.py#L16。目前该问题在某些内部版本中已修复，但可能受限于 Python 版本（如服务器不支持 Python 3.7）。","https:\u002F\u002Fgithub.com\u002Ffreewym\u002Fespresso\u002Fissues\u002F11",{"id":148,"question_zh":149,"answer_zh":150,"source_url":151},24258,"如何找到或配置 Kaldi 目录？","安装部分提到的 Kaldi 目录需要用户自行指定路径。如果是指论文结果复现，主要差异在于 run.sh 脚本会提取音高特征（输入维度为 83），而 run_torchaudio.sh 不包含此步骤。不过两者最终结果非常接近（实验中差异约为 0.1% WER）。请确保按照 recipe 中的说明正确设置环境变量或路径配置。","https:\u002F\u002Fgithub.com\u002Ffreewym\u002Fespresso\u002Fissues\u002F62",{"id":153,"question_zh":154,"answer_zh":155,"source_url":156},24259,"哪些 Recipe 支持多级语言模型（Multi-level LM）训练和解码？是否可以使用词 + 子词进行多级解码？","具体实现细节建议参考原始论文。关于是否可以使用词（word）+ 子词（subword）进行多级解码，目前官方未提供直接的参数配置示例。若有进一步需求（如调整词 LM 和字符 LM 之间的插值权重），需查阅相关文献或自行修改代码逻辑，当前版本暂无直接可用的参数支持。","https:\u002F\u002Fgithub.com\u002Ffreewym\u002Fespresso\u002Fissues\u002F44",{"id":158,"question_zh":159,"answer_zh":160,"source_url":161},24260,"运行 SWBD Recipe 时在 Stage 2 构建字典和文本分词阶段报错，如何解决？","该错误通常由路径配置或编码问题引起。解决方案包括：1. 修改全局路径脚本以适应本地环境；2. 确保系统区域设置使用 en_US.UTF-8 以避免排序错误；3. 在代码第 38 行添加 encoding 参数（如 encoding='utf-8'）可解决解码问题。修改后重新运行即可。","https:\u002F\u002Fgithub.com\u002Ffreewym\u002Fespresso\u002Fissues\u002F32",{"id":163,"question_zh":164,"answer_zh":165,"source_url":166},24261,"使用 FP16（混合精度）训练时报错 'expected scalar type Float but found Half'，如何修复？","该错误源于 attention 模块中的类型不匹配。解决方法是将 fairseq\u002Fmodules\u002Fspeech_attention.py 第 78 行的代码：\n`attn_scores = utils.softmax(attn_scores, dim=0, onnx_trace=self.onnx_trace).type_as(attn_scores)`\n替换为：\n`attn_scores = F.softmax(attn_scores, dim=0)`\n注意：虽然 LM 部分使用 FP16 可提速 3-4 倍，但 Seq2Seq 部分仅提速 30% 且 WER 可能变差 2%，需权衡使用。","https:\u002F\u002Fgithub.com\u002Ffreewym\u002Fespresso\u002Fissues\u002F13",{"id":168,"question_zh":169,"answer_zh":170,"source_url":171},24262,"在多 GPU 环境下运行 train.py 时出现 SIGSEGV 错误，怎么办？","该问题通常与多进程启动或内存分配有关。虽然原始 Issue 中未给出完整解决方案，但常见排查步骤包括：1. 检查 CUDA 版本与 PyTorch 兼容性；2. 减少 --max-tokens 或 --max-sentences 参数以降低显存压力；3. 确保所有 GPU 驱动正常且无硬件故障；4. 尝试使用单卡先验证流程是否正常。若问题持续，建议升级 PyTorch 或检查系统日志获取更多堆栈信息。","https:\u002F\u002Fgithub.com\u002Ffreewym\u002Fespresso\u002Fissues\u002F12",[]]