[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-NVIDIA-NeMo--NeMo":3,"tool-NVIDIA-NeMo--NeMo":65},[4,17,27,35,48,57],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",158594,2,"2026-04-16T23:34:05",[13,14,15],"开发框架","Agent","语言模型","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,3,"2026-04-06T11:19:32",[15,26,14,13],"图像",{"id":28,"name":29,"github_repo":30,"description_zh":31,"stars":32,"difficulty_score":10,"last_commit_at":33,"category_tags":34,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,15],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":10,"last_commit_at":41,"category_tags":42,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",85092,"2026-04-10T11:13:16",[26,43,44,45,14,46,15,13,47],"数据工具","视频","插件","其他","音频",{"id":49,"name":50,"github_repo":51,"description_zh":52,"stars":53,"difficulty_score":54,"last_commit_at":55,"category_tags":56,"status":16},5784,"funNLP","fighting41love\u002FfunNLP","funNLP 是一个专为中文自然语言处理（NLP）打造的超级资源库，被誉为\"NLP 民工的乐园”。它并非单一的软件工具，而是一个汇集了海量开源项目、数据集、预训练模型和实用代码的综合性平台。\n\n面对中文 NLP 领域资源分散、入门门槛高以及特定场景数据匮乏的痛点，funNLP 提供了“一站式”解决方案。这里不仅涵盖了分词、命名实体识别、情感分析、文本摘要等基础任务的标准工具，还独特地收录了丰富的垂直领域资源，如法律、医疗、金融行业的专用词库与数据集，甚至包含古诗词生成、歌词创作等趣味应用。其核心亮点在于极高的全面性与实用性，从基础的字典词典到前沿的 BERT、GPT-2 模型代码，再到高质量的标注数据和竞赛方案，应有尽有。\n\n无论是刚刚踏入 NLP 领域的学生、需要快速验证想法的算法工程师，还是从事人工智能研究的学者，都能在这里找到急需的“武器弹药”。对于开发者而言，它能大幅减少寻找数据和复现模型的时间；对于研究者，它提供了丰富的基准测试资源和前沿技术参考。funNLP 以开放共享的精神，极大地降低了中文自然语言处理的开发与研究成本，是中文 AI 社区不可或缺的宝藏仓库。",79857,1,"2026-04-08T20:11:31",[15,43,46],{"id":58,"name":59,"github_repo":60,"description_zh":61,"stars":62,"difficulty_score":54,"last_commit_at":63,"category_tags":64,"status":16},6590,"gpt4all","nomic-ai\u002Fgpt4all","GPT4All 是一款让普通电脑也能轻松运行大型语言模型（LLM）的开源工具。它的核心目标是打破算力壁垒，让用户无需依赖昂贵的显卡（GPU）或云端 API，即可在普通的笔记本电脑和台式机上私密、离线地部署和使用大模型。\n\n对于担心数据隐私、希望完全掌控本地数据的企业用户、研究人员以及技术爱好者来说，GPT4All 提供了理想的解决方案。它解决了传统大模型必须联网调用或需要高端硬件才能运行的痛点，让日常设备也能成为强大的 AI 助手。无论是希望构建本地知识库的开发者，还是单纯想体验私有化 AI 聊天的普通用户，都能从中受益。\n\n技术上，GPT4All 基于高效的 `llama.cpp` 后端，支持多种主流模型架构（包括最新的 DeepSeek R1 蒸馏模型），并采用 GGUF 格式优化推理速度。它不仅提供界面友好的桌面客户端，支持 Windows、macOS 和 Linux 等多平台一键安装，还为开发者提供了便捷的 Python 库，可轻松集成到 LangChain 等生态中。通过简单的下载和配置，用户即可立即开始探索本地大模型的无限可能。",77307,"2026-04-11T06:52:37",[15,13],{"id":66,"github_repo":67,"name":68,"description_en":69,"description_zh":70,"ai_summary_zh":70,"readme_en":71,"readme_zh":72,"quickstart_zh":73,"use_case_zh":74,"hero_image_url":75,"owner_login":76,"owner_name":76,"owner_avatar_url":77,"owner_bio":78,"owner_company":79,"owner_location":79,"owner_email":79,"owner_twitter":79,"owner_website":80,"owner_url":81,"languages":82,"stars":109,"forks":110,"last_commit_at":111,"license":112,"difficulty_score":23,"env_os":113,"env_gpu":114,"env_ram":113,"env_deps":115,"category_tags":121,"github_topics":122,"view_count":10,"oss_zip_url":79,"oss_zip_packed_at":79,"status":16,"created_at":133,"updated_at":134,"faqs":135,"releases":164},8381,"NVIDIA-NeMo\u002FNeMo","NeMo","A scalable generative AI framework built for researchers and developers working on Large Language Models, Multimodal, and Speech AI (Automatic Speech Recognition and Text-to-Speech)","NeMo 是 NVIDIA 打造的一款可扩展生成式 AI 框架，专为大型语言模型、多模态交互及语音智能（涵盖自动语音识别与文本转语音）的研发而设计。它主要解决了开发者在构建高质量语音与多模态应用时，面临的模型训练复杂、推理延迟高以及多语言支持不足等挑战。\n\nNeMo 非常适合人工智能研究人员、算法工程师以及希望快速部署语音功能的应用开发者使用。其独特亮点在于提供了如 Nemotron VoiceChat 这样的全双工自然对话模型，支持低延迟且可打断的流畅交流；同时推出了 MagpieTTS，能够以单一模型支持包括中文在内的九种语言的高质量语音合成。此外，Parakeet 系列模型在英语识别中实现了离线与流式推理的统一，兼顾了高精度与低至 160 毫秒的响应速度。近期更新还强化了对欧洲多国语言的识别与翻译支持。作为一个活跃维护的开源项目，NeMo 通过模块化设计和预训练模型库，帮助用户高效地从实验验证走向生产部署，是探索下一代语音与多模态 AI 应用的理想基石。","[![Project Status: Active -- The project has reached a stable, usable state and is being actively developed.](http:\u002F\u002Fwww.repostatus.org\u002Fbadges\u002Flatest\u002Factive.svg)](http:\u002F\u002Fwww.repostatus.org\u002F#active)\n[![Documentation](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA-NeMo_NeMo_readme_6bf48b3e9a6d.png)](https:\u002F\u002Fdocs.nvidia.com\u002Fnemo\u002Fspeech\u002Fnightly\u002F)\n[![CodeQL](https:\u002F\u002Fgithub.com\u002Fnvidia\u002Fnemo\u002Factions\u002Fworkflows\u002Fcodeql.yml\u002Fbadge.svg?branch=main&event=push)](https:\u002F\u002Fgithub.com\u002Fnvidia\u002Fnemo\u002Factions\u002Fworkflows\u002Fcodeql.yml)\n[![NeMo core license and license for collections in this repo](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FLicense-Apache%202.0-brightgreen.svg)](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002FNeMo\u002Fblob\u002Fmaster\u002FLICENSE)\n[![Release version](https:\u002F\u002Fbadge.fury.io\u002Fpy\u002Fnemo-toolkit.svg)](https:\u002F\u002Fbadge.fury.io\u002Fpy\u002Fnemo-toolkit)\n[![Python version](https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fpyversions\u002Fnemo-toolkit.svg)](https:\u002F\u002Fbadge.fury.io\u002Fpy\u002Fnemo-toolkit)\n[![PyPi total downloads](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA-NeMo_NeMo_readme_c3e01ac36221.png)](https:\u002F\u002Fpepy.tech\u002Fproject\u002Fnemo-toolkit)\n[![Code style: black](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fcode%20style-black-000000.svg)](https:\u002F\u002Fgithub.com\u002Fpsf\u002Fblack)\n\n# **NVIDIA NeMo Speech**\nCheckout our [HuggingFace🤗 collection](https:\u002F\u002Fhuggingface.co\u002Fcollections\u002Fnvidia\u002Fnemotron-speech) for the latest open\nweight checkpoints and demos!\n\n## Updates\n\n> The first release of NeMo Speech after NeMo repository split is scheduled for June 2026, as the repo undergoes transformation.\n> For the latest stable released version, please use [the 26.02 NGC container](https:\u002F\u002Fcatalog.ngc.nvidia.com\u002Forgs\u002Fnvidia\u002Fcontainers\u002Fnemo?version=26.02).\n\n- 2026-04: [Parakeet-unified-en-0.6b](https:\u002F\u002Fhuggingface.co\u002Fnvidia\u002Fparakeet-unified-en-0.6b) has been released with high-quality offline and streaming (with a minimum latency of 160ms) inference in one model for English language with punctuation and capitalization support. \n- 2026-03: [Nemotron 3 VoiceChat](https:\u002F\u002Fbuild.nvidia.com\u002Fnvidia\u002Fnemotron-voicechat\u002Fmodelcard) is now released in Early Access. Built on the Nemotron Nano v2 LLM backbone with Nemotron speech and TTS decoder, VoiceChat delivers full-duplex, natural, interruptible conversations with low latency. Try out [the demo](https:\u002F\u002Fbuild.nvidia.com\u002Fnvidia\u002Fnemotron-voicechat) and apply for [early access](https:\u002F\u002Fdeveloper.nvidia.com\u002Fnemotron-voicechat-early-access).\n- 2026-03: [Nemotron-Speech-Streaming v2603](https:\u002F\u002Fhuggingface.co\u002Fnvidia\u002Fnemotron-speech-streaming-en-0.6b) has been\n    updated. It has been trained on a larger and more diverse corpus, resulting in lower WER across all latency modes.\n    Try out [the demo](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fnvidia\u002Fnemotron-speech-streaming-en-0.6b) and check out\n    [the NIM](https:\u002F\u002Fbuild.nvidia.com\u002Fnvidia\u002Fnemotron-asr-streaming).\n- 2026-03: [MagpieTTS v2602](https:\u002F\u002Fhuggingface.co\u002Fnvidia\u002Fmagpie_tts_multilingual_357m) has been released with support\n    for 9 languages(En, Es, De, Fr, Vi, It, Zh, Hi, Ja). Try out\n    [the demo](https:\u002F\u002Fhuggingface.co\u002Fnvidia\u002Fmagpie_tts_multilingual_357m) and check out\n    [the NIM](https:\u002F\u002Fbuild.nvidia.com\u002Fnvidia\u002Fmagpie-tts-multilingual).\n- 2026-01: Nemotron-Speech-Streaming was released: One checkpoint that enables users to pick their optimal point\n    on the latency-accuracy Pareto curve!\n- 2026-01: MagpieTTS was released.\n- 2026: This repo has pivoted to focus on audio, speech, and multimodal LLM. For the last NeMo release with support for more\n    modalities, see [v2.7.0](https:\u002F\u002Fgithub.com\u002FNVIDIA-NeMo\u002FNeMo\u002Freleases\u002Ftag\u002Fv2.7.0)\n- 2025-08: [Parakeet V3](https:\u002F\u002Fhuggingface.co\u002Fnvidia\u002Fparakeet-tdt-0.6b-v3) and\n    [Canary V2](https:\u002F\u002Fhuggingface.co\u002Fnvidia\u002Fcanary-1b-v2) have been released with speech recognition and translation\n    support for 25 European languages.\n- 2025-06: [Canary-Qwen-2.5B](https:\u002F\u002Fhuggingface.co\u002Fnvidia\u002Fcanary-qwen-2.5b) has been released with record-setting\n    5.63% WER on English Open ASR Leaderboard.\n\n## Introduction\n\nNVIDIA NeMo Speech is built for researchers and PyTorch developers working on Speech models including Automatic Speech\nRecognition (ASR), Text to Speech (TTS), and Speech LLMs. It is designed to help you efficiently create, customize, and\ndeploy new AI models by leveraging existing code and pre-trained model checkpoints.\n\nFor technical documentation, please see the\n[NeMo Framework User Guide](https:\u002F\u002Fdocs.nvidia.com\u002Fnemo\u002Fspeech\u002Fnightly\u002F).\n\n## Requirements\n\n- Python 3.12 or above\n- Pytorch 2.6 or above\n- NVIDIA GPU (if you intend to do model training)\n\nAs of [Pytorch 2.6](https:\u002F\u002Fdocs.pytorch.org\u002Fdocs\u002Fstable\u002Fnotes\u002Fserialization.html#torch-load-with-weights-only-true),\n`torch.load` defaults to using `weights_only=True`. Some model checkpoints may require using `weights_only=False`.\nIn this case, you can set the env var `TORCH_FORCE_NO_WEIGHTS_ONLY_LOAD=1` before running code that uses `torch.load`.\nHowever, this should only be done with trusted files. Loading files from untrusted sources with more than weights only\ncan have the risk of arbitrary code execution.\n\n## Developer Documentation\n\n| Version | Status                                                                                                                                                              | Description                                                                                                                    |\n| ------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------ |\n| Latest  | [![Documentation Status](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA-NeMo_NeMo_readme_6bf48b3e9a6d.png)](https:\u002F\u002Fdocs.nvidia.com\u002Fdeeplearning\u002Fnemo\u002Fuser-guide\u002Fdocs\u002Fen\u002Fmain\u002F)     | [Documentation of the latest (i.e. main) branch.](https:\u002F\u002Fdocs.nvidia.com\u002Fnemo\u002Fspeech\u002Fnightly\u002F)          |\n| Stable  | [![Documentation Status](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA-NeMo_NeMo_readme_13d664e1afd7.png)](https:\u002F\u002Fdocs.nvidia.com\u002Fdeeplearning\u002Fnemo\u002Fuser-guide\u002Fdocs\u002Fen\u002Fstable\u002F) | Documentation of the stable (i.e. most recent release) - To be added |\n\n## Install NeMo Speech\n\nNeMo Speech is installable via pip: `pip install 'nemo-toolkit[all]'`\nTo install with extra dependencies for CUDA 12.x or 13.x, use `pip install 'nemo-toolkit[all,cu12]'`\nor `pip install 'nemo-toolkit[all,cu13]'` respectively.\n\n## Contribute to NeMo\n\nWe welcome community contributions! Please refer to\n[CONTRIBUTING.md](https:\u002F\u002Fgithub.com\u002FNVIDIA-NeMo\u002FNeMo\u002Fblob\u002Fmain\u002FCONTRIBUTING.md) for the process.\n\n## Licenses\n\nNeMo is licensed under the [Apache License 2.0](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002FNeMo?tab=Apache-2.0-1-ov-file).\n","[![项目状态：活跃 -- 该项目已达到稳定、可用的状态，并正在积极开发中。](http:\u002F\u002Fwww.repostatus.org\u002Fbadges\u002Flatest\u002Factive.svg)](http:\u002F\u002Fwww.repostatus.org\u002F#active)\n[![文档](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA-NeMo_NeMo_readme_6bf48b3e9a6d.png)](https:\u002F\u002Fdocs.nvidia.com\u002Fnemo\u002Fspeech\u002Fnightly\u002F)\n[![CodeQL](https:\u002F\u002Fgithub.com\u002Fnvidia\u002Fnemo\u002Factions\u002Fworkflows\u002Fcodeql.yml\u002Fbadge.svg?branch=main&event=push)](https:\u002F\u002Fgithub.com\u002Fnvidia\u002Fnemo\u002Factions\u002Fworkflows\u002Fcodeql.yml)\n[![NeMo 核心许可证及本仓库中各集合的许可证](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FLicense-Apache%202.0-brightgreen.svg)](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002FNeMo\u002Fblob\u002Fmaster\u002FLICENSE)\n[![发布版本](https:\u002F\u002Fbadge.fury.io\u002Fpy\u002Fnemo-toolkit.svg)](https:\u002F\u002Fbadge.fury.io\u002Fpy\u002Fnemo-toolkit)\n[![Python 版本](https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fpyversions\u002Fnemo-toolkit.svg)](https:\u002F\u002Fbadge.fury.io\u002Fpy\u002Fnemo-toolkit)\n[![PyPI 总下载量](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA-NeMo_NeMo_readme_c3e01ac36221.png)](https:\u002F\u002Fpepy.tech\u002Fproject\u002Fnemo-toolkit)\n[![代码风格：black](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fcode%20style-black-000000.svg)](https:\u002F\u002Fgithub.com\u002Fpsf\u002Fblack)\n\n# **NVIDIA NeMo Speech**\n请查看我们的 [HuggingFace🤗 集合](https:\u002F\u002Fhuggingface.co\u002Fcollections\u002Fnvidia\u002Fnemotron-speech)，获取最新的开源权重检查点和演示！\n\n## 更新\n\n> 在 NeMo 仓库拆分后，NeMo Speech 的首个版本计划于 2026 年 6 月发布，届时该仓库将完成转型。\n> 如需使用最新稳定发布的版本，请使用 [26.02 NGC 容器](https:\u002F\u002Fcatalog.ngc.nvidia.com\u002Forgs\u002Fnvidia\u002Fcontainers\u002Fnemo?version=26.02)。\n\n- 2026-04：[Parakeet-unified-en-0.6b](https:\u002F\u002Fhuggingface.co\u002Fnvidia\u002Fparakeet-unified-en-0.6b) 已发布，该模型支持英语语言的标点符号和大小写，能够在单个模型中实现高质量的离线推理以及流式推理（最低延迟为 160 毫秒）。\n- 2026-03：[Nemotron 3 VoiceChat](https:\u002F\u002Fbuild.nvidia.com\u002Fnvidia\u002Fnemotron-voicechat\u002Fmodelcard) 现已进入早期访问阶段。VoiceChat 基于 Nemotron Nano v2 LLM 架构，并结合了 Nemotron 语音与 TTS 解码器，能够提供低延迟的全双工、自然且可中断的对话体验。请试用 [演示](https:\u002F\u002Fbuild.nvidia.com\u002Fnvidia\u002Fnemotron-voicechat) 并申请 [早期访问](https:\u002F\u002Fdeveloper.nvidia.com\u002Fnemotron-voicechat-early-access)。\n- 2026-03：[Nemotron-Speech-Streaming v2603](https:\u002F\u002Fhuggingface.co\u002Fnvidia\u002Fnemotron-speech-streaming-en-0.6b) 已更新。它基于更大、更丰富的语料库进行训练，从而在所有延迟模式下都实现了更低的 WER。请试用 [演示](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fnvidia\u002Fnemotron-speech-streaming-en-0.6b) 并查看 [NIM](https:\u002F\u002Fbuild.nvidia.com\u002Fnvidia\u002Fnemotron-asr-streaming)。\n- 2026-03：[MagpieTTS v2602](https:\u002F\u002Fhuggingface.co\u002Fnvidia\u002Fmagpie_tts_multilingual_357m) 已发布，支持 9 种语言（英、西、德、法、越、意、中、印、日）。请试用 [演示](https:\u002F\u002Fhuggingface.co\u002Fnvidia\u002Fmagpie_tts_multilingual_357m) 并查看 [NIM](https:\u002F\u002Fbuild.nvidia.com\u002Fnvidia\u002Fmagpie-tts-multilingual)。\n- 2026-01：Nemotron-Speech-Streaming 发布：一个检查点，使用户能够在延迟-准确率帕累托曲线上选择最佳平衡点！\n- 2026-01：MagpieTTS 发布。\n- 2026 年：本仓库已转向专注于音频、语音及多模态 LLM。如需了解支持更多模态的最后一个 NeMo 版本，请参阅 [v2.7.0](https:\u002F\u002Fgithub.com\u002FNVIDIA-NeMo\u002FNeMo\u002Freleases\u002Ftag\u002Fv2.7.0)。\n- 2025-08：[Parakeet V3](https:\u002F\u002Fhuggingface.co\u002Fnvidia\u002Fparakeet-tdt-0.6b-v3) 和 [Canary V2](https:\u002F\u002Fhuggingface.co\u002Fnvidia\u002Fcanary-1b-v2) 已发布，支持对 25 种欧洲语言的语音识别与翻译。\n- 2025-06：[Canary-Qwen-2.5B](https:\u002F\u002Fhuggingface.co\u002Fnvidia\u002Fcanary-qwen-2.5b) 已发布，在英语公开 ASR 排行榜上创下了 5.63% 的 WER 记录。\n\n## 简介\n\nNVIDIA NeMo Speech 专为从事语音模型研究的科研人员和 PyTorch 开发者设计，涵盖自动语音识别 (ASR)、文本到语音 (TTS) 以及语音 LLM 等领域。它旨在帮助您利用现有代码和预训练模型检查点，高效地创建、定制和部署新的 AI 模型。\n\n有关技术文档，请参阅 [NeMo 框架用户指南](https:\u002F\u002Fdocs.nvidia.com\u002Fnemo\u002Fspeech\u002Fnightly\u002F)。\n\n## 系统要求\n\n- Python 3.12 或更高版本\n- PyTorch 2.6 或更高版本\n- NVIDIA GPU（如果您打算进行模型训练）\n\n自 [PyTorch 2.6](https:\u002F\u002Fdocs.pytorch.org\u002Fdocs\u002Fstable\u002Fnotes\u002Fserialization.html#torch-load-with-weights-only-true) 起，`torch.load` 默认使用 `weights_only=True`。某些模型检查点可能需要使用 `weights_only=False`。在这种情况下，您可以在运行使用 `torch.load` 的代码之前，设置环境变量 `TORCH_FORCE_NO_WEIGHTS_ONLY_LOAD=1`。然而，这仅应针对受信任的文件执行。从不受信任的来源加载包含非权重内容的文件，可能会导致任意代码执行的风险。\n\n## 开发者文档\n\n| 版本 | 状态                                                                                                                                                              | 描述                                                                                                                    |\n| ------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------ |\n| 最新    | [![文档状态](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA-NeMo_NeMo_readme_6bf48b3e9a6d.png)](https:\u002F\u002Fdocs.nvidia.com\u002Fdeeplearning\u002Fnemo\u002Fuser-guide\u002Fdocs\u002Fen\u002Fmain\u002F)     | [最新（即 main 分支）的文档。](https:\u002F\u002Fdocs.nvidia.com\u002Fnemo\u002Fspeech\u002Fnightly\u002F)          |\n| 稳定    | [![文档状态](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA-NeMo_NeMo_readme_13d664e1afd7.png)](https:\u002F\u002Fdocs.nvidia.com\u002Fdeeplearning\u002Fnemo\u002Fuser-guide\u002Fdocs\u002Fen\u002Fstable\u002F) | 稳定版（即最新发布的版本）的文档 - 将陆续添加 |\n\n## 安装 NeMo Speech\n\nNeMo Speech 可通过 pip 安装：`pip install 'nemo-toolkit[all]'`\n若需安装带有 CUDA 12.x 或 13.x 额外依赖的版本，请分别使用 `pip install 'nemo-toolkit[all,cu12]'`\n或 `pip install 'nemo-toolkit[all,cu13]'`。\n\n## 参与 NeMo 贡献\n\n我们欢迎社区贡献！请参阅 [CONTRIBUTING.md](https:\u002F\u002Fgithub.com\u002FNVIDIA-NeMo\u002FNeMo\u002Fblob\u002Fmain\u002FCONTRIBUTING.md) 以了解相关流程。\n\n## 许可证\n\nNeMo 采用 [Apache License 2.0](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002FNeMo?tab=Apache-2.0-1-ov-file) 许可证。","# NVIDIA NeMo Speech 快速上手指南\n\nNVIDIA NeMo Speech 是专为研究人员和 PyTorch 开发者打造的工具包，专注于语音识别 (ASR)、语音合成 (TTS) 及语音大模型 (Speech LLM) 的开发、定制与部署。\n\n## 1. 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n*   **操作系统**: Linux (推荐 Ubuntu)\n*   **Python**: 3.12 或更高版本\n*   **PyTorch**: 2.6 或更高版本\n*   **硬件**: NVIDIA GPU (如需进行模型训练或高性能推理)\n*   **编译器**: GCC\u002FG++ (需与 PyTorch 版本兼容)\n\n> **注意**：自 PyTorch 2.6 起，`torch.load` 默认启用 `weights_only=True`。若加载某些旧版检查点报错，可在运行前设置环境变量：\n> `export TORCH_FORCE_NO_WEIGHTS_ONLY_LOAD=1`\n> *(仅建议对可信文件执行此操作)*\n\n## 2. 安装步骤\n\n推荐使用 `pip` 进行安装。根据您的 CUDA 版本选择对应的安装命令。\n\n### 基础安装 (自动匹配 CUDA 版本)\n```bash\npip install 'nemo-toolkit[all]'\n```\n\n### 指定 CUDA 版本安装\n如果您需要明确指定 CUDA 12.x 或 13.x 的支持：\n\n**CUDA 12.x:**\n```bash\npip install 'nemo-toolkit[all,cu12]'\n```\n\n**CUDA 13.x:**\n```bash\npip install 'nemo-toolkit[all,cu13]'\n```\n\n> **国内加速建议**：\n> 在中国大陆地区，建议使用国内镜像源以加快下载速度。例如使用清华大学镜像源：\n> ```bash\n> pip install -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple 'nemo-toolkit[all]'\n> ```\n\n## 3. 基本使用\n\nNeMo 的核心优势在于利用预训练模型快速构建应用。以下是一个使用 Hugging Face 上的最新模型进行简单推理的示例流程。\n\n### 示例：加载预训练模型进行语音识别 (ASR)\n\n假设您已安装 `transformers` 和 `nemo`，可以使用以下代码加载最新的 **Parakeet** 或 **Canary** 模型（需先下载权重或通过 Hugging Face API 加载）。\n\n```python\nimport nemo.collections.asr as nemo_asr\n\n# 1. 加载预训练的 ASR 模型 (以 Canary 为例，需确保本地有对应权重或配置正确路径)\n# 这里演示从名称加载的标准流程，具体模型名需参考 HuggingFace collection\nasr_model = nemo_asr.models.EncDecCTCModelBPE.from_pretrained(model_name=\"stt_en_canary_1b\")\n\n# 2. 准备音频文件路径 (支持 .wav, .flac 等格式)\naudio_file = \"path\u002Fto\u002Fyour\u002Faudio.wav\"\n\n# 3. 执行推理\ntranscription = asr_model.transcribe(paths2audio_files=[audio_file])\n\n# 4. 输出结果\nprint(f\"识别结果: {transcription[0].text}\")\n```\n\n### 获取最新模型资源\nNVIDIA 已将最新的开源权重和演示集中在 Hugging Face 集合中，建议直接访问获取最新检查点：\n*   **HuggingFace Collection**: [nvidia\u002Fnemotron-speech](https:\u002F\u002Fhuggingface.co\u002Fcollections\u002Fnvidia\u002Fnemotron-speech)\n*   **热门模型**:\n    *   `parakeet-unified-en-0.6b`: 支持离线与流式推理，低延迟。\n    *   `magpie_tts_multilingual_357m`: 支持 9 种语言的高质量语音合成。\n\n更多详细技术文档请参阅：[NeMo Framework User Guide](https:\u002F\u002Fdocs.nvidia.com\u002Fnemo\u002Fspeech\u002Fnightly\u002F)","某跨国电商团队正致力于构建一个支持多语种实时互动的智能客服系统，需同时处理英语、中文及西班牙语的客户语音咨询并生成自然回复。\n\n### 没有 NeMo 时\n- **模型整合困难**：团队需分别寻找独立的语音识别（ASR）、大语言模型（LLM）和语音合成（TTS）方案，接口标准不一，集成耗时极长。\n- **延迟过高影响体验**：由于各模块串行处理且缺乏流式优化，用户说完话后需等待数秒才能听到回复，无法实现自然的“打断”或即时交互。\n- **多语言支持受限**：现有开源方案往往仅精通英语，扩展小语种需重新训练整套管线，数据收集与算力成本高昂。\n- **维护复杂度大**：不同框架的依赖冲突频发，升级任一组件都可能导致整个服务崩溃，运维压力巨大。\n\n### 使用 NeMo 后\n- **全栈统一框架**：利用 NeMo 内置的 Parakeet（ASR）、Nemotron（LLM）和 MagpieTTS 模块，团队在一个框架内即可完成从语音转文字到生成语音的全流程开发。\n- **低延迟流式交互**：借助 Nemotron VoiceChat 的全双工特性与流式推理能力，系统延迟降至毫秒级，支持用户在播报过程中随时插话，对话如真人般流畅。\n- **开箱即用的多语言能力**：直接调用预训练的 MagpieTTS 和 Canary 模型，瞬间获得对中、英、西等九种语言的高质量支持，无需额外训练。\n- **弹性扩展与稳定部署**：基于 NeMo 的微服务架构可轻松在 GPU 集群上横向扩展，配合官方提供的 NIM 微服务，大幅降低了生产环境的部署与维护门槛。\n\nNeMo 将原本碎片化、高延迟的多模态开发链路整合为高效统一的流式工作流，让企业能以最低成本落地接近真人体验的智能语音交互。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA-NeMo_NeMo_76d2f26b.png","NVIDIA-NeMo","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FNVIDIA-NeMo_ef2128b9.png","",null,"https:\u002F\u002Fnvidia.com\u002F","https:\u002F\u002Fgithub.com\u002FNVIDIA-NeMo",[83,87,91,95,99,103,106],{"name":84,"color":85,"percentage":86},"Python","#3572A5",72.8,{"name":88,"color":89,"percentage":90},"Jupyter Notebook","#DA5B0B",26,{"name":92,"color":93,"percentage":94},"Shell","#89e051",1.1,{"name":96,"color":97,"percentage":98},"C++","#f34b7d",0.1,{"name":100,"color":101,"percentage":102},"HTML","#e34c26",0,{"name":104,"color":105,"percentage":102},"CSS","#663399",{"name":107,"color":108,"percentage":102},"Makefile","#427819",17084,3401,"2026-04-16T18:32:50","Apache-2.0","未说明","训练必需 NVIDIA GPU；安装可选 CUDA 12.x 或 13.x 支持",{"notes":116,"python":117,"dependencies":118},"PyTorch 2.6+ 默认启用 weights_only=True，加载部分旧模型检查点时需设置环境变量 TORCH_FORCE_NO_WEIGHTS_ONLY_LOAD=1（仅限可信文件）；该仓库已专注于音频、语音和多模态大模型，其他模态支持请参阅 v2.7.0 版本。","3.12+",[119,120],"torch>=2.6","nemo-toolkit",[15,47],[123,124,125,126,127,128,129,130,131,132],"machine-translation","speaker-recognition","asr","tts","generative-ai","deeplearning","neural-networks","speaker-diariazation","speech-translation","speech-synthesis","2026-03-27T02:49:30.150509","2026-04-17T10:20:40.871752",[136,141,146,151,156,160],{"id":137,"question_zh":138,"answer_zh":139,"source_url":140},37520,"MSDD 推理速度太慢且 GPU 利用率为 0% 怎么办？","这通常是因为输入文件格式问题。如果使用的是 MP3 格式的 mono 文件，可能会导致解码错误和性能低下。请尝试将输入清单（input_manifest.json）中的音频文件转换为 WAV 格式。有用户反馈将格式从 MP3 改为 WAV 后，GPU 利用率恢复正常，处理一小时视频的时间显著减少。","https:\u002F\u002Fgithub.com\u002FNVIDIA-NeMo\u002FNeMo\u002Fissues\u002F7101",{"id":142,"question_zh":143,"answer_zh":144,"source_url":145},37521,"升级 NeMo 版本后 ASR 训练速度变慢（从每秒迭代变为每迭代数秒）如何解决？","训练速度下降可能与数据集读取方式有关。建议根据数据集大小和集群 IO 能力选择数据格式：如果系统难以处理大量小文件，请使用 tarred 数据集。可以先在非 tarred 模式下用小数据集测试，若正式训练显著变慢则切换为 tarred。此外，启用 Bucketing（桶排序）策略可提升高达 2 倍的速度，但可能导致精度轻微下降（0-0.3%）。对于完全随机化（fully_randomized）模式，训练速度慢 20% 但精度损失更小。","https:\u002F\u002Fgithub.com\u002FNVIDIA-NeMo\u002FNeMo\u002Fissues\u002F4083",{"id":147,"question_zh":148,"answer_zh":149,"source_url":150},37522,"使用 FP16 混合精度训练 Conformer 模型时出现 NaN 或不收敛怎么办？","建议在显存较小的显卡（如 RTX 3050）上尝试使用 BF16 代替 FP16。同时，调整训练参数：将 batch size 设置为 1，并增大梯度累积（gradient accumulation）步数。这有助于稳定训练过程并避免数值溢出导致的 NaN 问题。","https:\u002F\u002Fgithub.com\u002FNVIDIA-NeMo\u002FNeMo\u002Fissues\u002F5001",{"id":152,"question_zh":153,"answer_zh":154,"source_url":155},37523,"无法训练 Conformer-Transducer 模型或在小数据集上效果不佳怎么办？","Conformer-Transducer 模型训练难度较大，特别是在小数据集上。需要进行激进的超参数网格搜索（grid search）来寻找最优配置以最小化损失。如果不打算更改模型的 tokenizer，可以考虑使用适配器（adapters）技术进行微调，这通常比全量微调更有效且稳定。","https:\u002F\u002Fgithub.com\u002FNVIDIA-NeMo\u002FNeMo\u002Fissues\u002F7738",{"id":157,"question_zh":158,"answer_zh":159,"source_url":145},37524,"CitriNet 和 Conformer 模型在训练速度上有何区别？","Conformer 模型通常比 CitriNet 慢得多，主要是因为 Conformer 包含 RNN-T 解码器结构。建议初学者先使用 CitriNet 模型进行实验，找到合适的参数和配置组合后，再迁移到 Conformer 模型，以降低调试难度并提高效率。",{"id":161,"question_zh":162,"answer_zh":163,"source_url":145},37525,"如何优化 Bucketing 策略中的 batch size 设置？","在使用 Bucketing 策略时，可以手动设置每个桶的 batch size。建议将最长音频序列所在的桶的 batch size 设置得较小，以防止显存溢出（OOM），而较短序列的桶可以设置较大的 batch size 以提高吞吐量。需要根据具体显存容量进行权衡调整。",[165,170,175,180,185,190,195,200,205,210,214,219,224,229,233,238,243,248,253,258],{"id":166,"version":167,"summary_zh":168,"released_at":169},298056,"v2.7.2","## ASR\n\n\u003Cdetails>\u003Csummary>更新日志\u003C\u002Fsummary>\n\n- cp: 修复 `numba-cuda` 和 `cuda-python` 的安装与使用问题 (#15506)，作者 @chtruong814 :: PR: #15540\n\n\u003C\u002Fdetails>\n\n## 未分类：\n\n\u003Cdetails>\u003Csummary>更新日志\u003C\u002Fsummary>\n\n- 啵啵 🤖：将 nemo 更新至 v2.7.2，作者 @nemo-automation-bot[bot] :: PR: #15535\n\n\u003C\u002Fdetails>\n","2026-03-25T19:47:19",{"id":171,"version":172,"summary_zh":173,"released_at":174},298057,"v2.7.1","## 自动语音识别\n\n\u003Cdetails>\u003Csummary>更新日志\u003C\u002Fsummary>\n\n- cp: `修复 CUDA 图中 cuda-python 的使用问题 (#15416)` 由 @ko3n1g 提供 :: 拉取请求: #15471\n\n\u003C\u002Fdetails>\n\n## 未分类：\n\n\u003Cdetails>\u003Csummary>更新日志\u003C\u002Fsummary>\n\n\n\u003C\u002Fdetails>\n","2026-03-20T23:42:18",{"id":176,"version":177,"summary_zh":178,"released_at":179},298058,"v2.7.0","### 亮点\n\n- 语音\n  - 在 ASR 解码（转换器）中添加逐流短语增强功能 [#15125](https:\u002F\u002Fgithub.com\u002FNVIDIA-NeMo\u002FNeMo\u002Fpull\u002F15125)\n  - 添加对流式语音翻译的支持 #15132\n  - 发布了新的模型 [nemotron-speech-streaming-en-0.6b](https:\u002F\u002Fhuggingface.co\u002Fnvidia\u002Fnemotron-speech-streaming-en-0.6b)，该模型可执行英语流式 ASR\n  - 发布了新的 TTS 模型 [magpie_tts_multilingual_357m](https:\u002F\u002Fhuggingface.co\u002Fnvidia\u002Fmagpie_tts_multilingual_357m)，用于多语言文本到语音转换\n\n从下一个版本 NeMo 2.8.0 开始，以下集合将被移除：avlm、diffusion、llm、multimodal、multimodal-autoregressive、nlp、speechlm、vision、vlm。此后，此代码库将仅专注于语音任务：ASR、TTS、说话人日志记录和语音增强。\n\n### 详细变更日志：\n\n#### ASR\n\n\u003Cdetails>\u003Csummary>变更日志\u003C\u002Fsummary>\n\n- 由 @artbataev 启用流式测试中的 CUDA 图形 :: PR: #14953\n- 由 @chtruong814 更新 ctc-segmentation :: PR: #14991\n- 由 @nithinraok 检查 ASR 模型 :: PR: #14989\n- 统一流式 ASR 推理 :: PR: #14817，由 @naymaraq 提交\n- 由 @chtruong814 将 numba 更新为 numba-cuda，并更新 CUDA Python 绑定的使用 :: PR: #15018\n- 由 @tango4j 修复多说话人管道中的行问题 :: PR: #15030\n- 由 @naymaraq 优化缓存感知管道的推理 :: PR: #15035\n- 由 @nithinraok 修复在使用预训练模型时加载 hyb ctc rnnt bpe 模型的问题 :: PR: #15042\n- 由 @naymaraq 删除旧的缓冲 CTC 脚本 :: PR: #15061\n- 由 @nithinraok 移除与 NLP 相关的笔记本 :: PR: #15070\n- 由 @blisc 使用最新更改更新 MagpieTTS 模型 :: PR: #15031\n- ASR 推理：公开 RNN-T 解码参数以进行上下文偏置 :: PR: #15091，由 @artbataev 提交\n- 由 @nithinraok 更新笔记本 :: PR: #15093\n- 修复：过时属性 [SDE] :: PR: #15105，由 @Jorjeous 提交\n- 由 @KunalDhawan 将 NeMo ASR 教程从 Mozilla\u002FCommonVoice 升级到 Google\u002FFLEURS :: PR: #15103\n- 由 @gaikwadabhishek 添加对 ASR 音频处理的 AIS 批量加载支持 :: PR: #15102\n- 多说话人 Parakeet 流式传输——NeMo 文档和教程笔记本 PR 03 :: PR: #15025，由 @tango4j 提交\n- [修复] 修复多说话人数据模拟和端到端日志记录训练中的笔记本错误 :: PR: #15149，由 @tango4j 提交\n- 流式转换器推理：修复内存使用，提高 WER :: PR: #15148，由 @artbataev 提交\n- 由 @nithinraok 使用子进程列表执行 :: PR: #15165\n- 由 @nune-tadevosyan 修复分块问题 :: PR: #15163\n- ASR 解码：允许回退到无 while 循环的 CUDA 图形 :: PR: #15173，由 @artbataev 提交\n- 由 @dimapihtar 移除 nlp\u002Fmodules :: PR: #14934\n- 由 @nithinraok 修复 Asr numpy 2 的问题 :: PR: #15166\n- 由 @tango4j 为日志记录 Mixin 添加灵活的输入源 :: PR: #15184\n- 由 @naymaraq 添加对流式语音翻译的支持 :: PR: #15132\n- 由 @nune-tadevosyan 修复置信度 get_correct_marks :: PR: #15128\n- 由 @nune-tadevosyan 处理分块的边缘情况 :: PR: #15182\n- 更新子进程","2026-02-26T03:26:25",{"id":181,"version":182,"summary_zh":183,"released_at":184},298059,"v2.6.2","### 亮点\n\n- 本次发布修复了已知的安全问题。有关最新的 NVIDIA 漏洞披露信息，请访问 \u003Chttps:\u002F\u002Fwww.nvidia.com\u002Fen-us\u002Fsecurity\u002F>；如需确认接收，请通过 \u003CPSIRT@nvidia.com> 联系 NVIDIA PSIRT 团队。\n- 更新 Audio Notebook 中的 SDE 教程和导入语句。\n\n### 详细变更日志：\n\n\u003C\u002Fdetails>\n\n#### 未分类：\n\n\u003Cdetails>\u003Csummary>变更日志\u003C\u002Fsummary>\n\n- cp: `更新 SDE 教程，因 Colab 和相关库发生变更 (15137)` 合并至 `r2.6.0`，作者 @chtruong814 :: PR: #15289\n- chore: 将版本号提升至 2.6.2，作者 @chtruong814 :: PR: #15335\n- cp: `取消设置 weights_only=False (15312)` 合并至 `r2.6.0`，作者 @chtruong814 :: PR: #15328\n- cp: 显式指定 torch >= 2.6.0，并移除 weights_only=False (#15314)，合并至 r2.6.0，作者 @chtruong814 :: PR: #15337\n- cp: `更新 Audio Notebook 中的导入语句 (15345)` 合并至 `r2.6.0`，作者 @chtruong814 :: PR: #15346\n- cp: `明确说明何时使用 TORCH_FORCE_NO_WEIGHTS_ONLY_LOAD (15353)` 合并至 `r2.6.0`，作者 @chtruong814 :: PR: #15358\n\n\u003C\u002Fdetails>","2026-02-06T16:40:00",{"id":186,"version":187,"summary_zh":188,"released_at":189},298060,"v2.6.1","### 亮点\n\n- 本次发布修复了已知的安全问题。有关最新的 NVIDIA 漏洞披露信息，请访问 \u003Chttps:\u002F\u002Fwww.nvidia.com\u002Fen-us\u002Fsecurity\u002F>；如需确认，请通过 \u003CPSIRT@nvidia.com> 联系 NVIDIA PSIRT 团队。\n- 为 ASR 启用 NumPy 2.0。\n\n### 详细变更日志：\n\n#### ASR\n\n\u003Cdetails>\u003Csummary>变更日志\u003C\u002Fsummary>\n\n- cp：移除 nlp 模块，作者 @chtruong814，PR：#15258\n- cp：为 ASR 启用 NumPy 2.0，作者 @chtruong814，PR：#15259\n\n\u003C\u002Fdetails>\n\n#### TTS\n\n\u003Cdetails>\u003Csummary>变更日志\u003C\u002Fsummary>\n\n- cp：移除 nlp 模块，作者 @chtruong814，PR：#15258\n\n\u003C\u002Fdetails>\n\n#### NLP \u002F NMT\n\n\u003Cdetails>\u003Csummary>变更日志\u003C\u002Fsummary>\n\n- cp：移除 nlp 模块，作者 @chtruong814，PR：#15258\n\n\u003C\u002Fdetails>\n\n#### Export\n\n\u003Cdetails>\u003Csummary>变更日志\u003C\u002Fsummary>\n\n- cp：修复：在 nemo.export 中抛出异常，而非允许 pickle.loads 执行（#15266），作者 @chtruong814，PR：#15275\n\n\u003C\u002Fdetails>\n\n#### 其他\n\n\u003Cdetails>\u003Csummary>变更日志\u003C\u002Fsummary>\n\n- 版本升级至 2.6.1，作者 @chtruong814，PR：#15244\n- cp：保护 trust_remote_code（#15065），作者 @chtruong814，PR：#15256\n- cp：使用 subprocess 列表执行命令（#15165），作者 @chtruong814，PR：#15257\n- cp：将 pickle.loads 替换为 json.loads（#15232），作者 @chtruong814，PR：#15262\n- cp：更新 subprocess 命令（#15218），作者 @chtruong814，PR：#15263\n- cp：[修复] 修复 fsdp_dtensor 的安全问题（#15227），作者 @chtruong814，PR：#15276\n\n\u003C\u002Fdetails>","2026-01-09T18:03:31",{"id":191,"version":192,"summary_zh":193,"released_at":194},298061,"v2.6.0","### 亮点\n\n- 语音\n  - 为流式 ASR 添加时间戳 [PR](https:\u002F\u002Fgithub.com\u002FNVIDIA-NeMo\u002FNeMo\u002Fpull\u002F14766)\n  - 为 Canary 模型添加流式解码策略（Wait-K 和 AlignAtt）[PR](https:\u002F\u002Fgithub.com\u002FNVIDIA-NeMo\u002FNeMo\u002Fpull\u002F14765)\n  - 添加 NeMo 语音代理 [PR](https:\u002F\u002Fgithub.com\u002FNVIDIA-NeMo\u002FNeMo\u002Fpull\u002F14325)\n  - 支持混合 RNNT-CTC 提示式鹦鹉模型 [PR](https:\u002F\u002Fgithub.com\u002FNVIDIA-NeMo\u002FNeMo\u002Fpull\u002F14561)\n  - [新] MT-鹦鹉流式模型 [发布](https:\u002F\u002Fhuggingface.co\u002Fnvidia\u002Fmultitalker-parakeet-streaming-0.6b-v1)\n- 移除了 Automodel 模块。Automodel 现已在仓库 https:\u002F\u002Fgithub.com\u002FNVIDIA-NeMo\u002FAutomodel 中提供。\n- 移除了 Deploy 模块。导出与部署功能现可在仓库 https:\u002F\u002Fgithub.com\u002FNVIDIA-NeMo\u002FExport-Deploy 中找到。\n- 非语音相关的 NeMo 2.0 系列已弃用，将在后续版本中移除。其功能现已整合至 Megatron Bridge 仓库：https:\u002F\u002Fgithub.com\u002FNVIDIA-NeMo\u002FMegatron-Bridge。\n\n### 已知问题\n\n- NeMo 语音代理 pipecat 连接问题\n\n### 详细变更日志：\n\n#### ASR\n\n\u003Cdetails>\u003Csummary>变更日志\u003C\u002Fsummary>\n\n- 修复转录时内核重启问题，由 @weiqingw4ng 贡献 :: PR: #14665\n- 降低 ASR 教程中的 \"datasets\" 库版本，以确保与 HF Datasets 兼容，由 @KunalDhawan 贡献 :: PR: #14679\n- 修复 Sortformer 训练教程笔记本，由 @tango4j 贡献 :: PR: #14680\n- 修复 \"EncDecRNNTBPEModel transcribe() 出现 TypeError\" 问题，由 @andrusenkoau 贡献 :: PR: #14698\n- 强制将 Jasper Encoder Squeeze-Excite 的激活值和权重转换为 FP32（合并至主分支），由 @erastorgueva-nv 贡献 :: PR: #14743\n- 为 ASR 模型使用 lhotse 数据加载器，以支持多通道录音的清单内通道选择，由 @racoiaws 贡献 :: PR: #14586\n- 添加无对齐的转换器时间戳及流式时间戳，由 @lilithgrigoryan 贡献 :: PR: #14766\n- 为 Sortformer 增加 bf16 训练与推理支持，由 @tango4j 贡献 :: PR: #14627\n- 使用 kaldialign 库替换 texterrors，由 @andrusenkoau 贡献 :: PR: #14775\n- 修复：使用 shutil.copy 备用方案处理文件元数据权限错误，由 @vipnydav 贡献 :: PR: #14639\n- 为缓存感知模型增加自定义能力，由 @artbataev 贡献 :: PR: #14757\n- 关于基于 GPU 的短语增强功能的文档，由 @andrusenkoau 贡献 :: PR: #14800\n- 为 Canary 模型添加流式解码策略（Wait-K 和 AlignAtt），由 @andrusenkoau 贡献 :: PR: #14765\n- 为流式缓冲和缓存感知的转换器模型添加测试，由 @artbataev 贡献 :: PR: #14823\n- 合并多说话者鹦鹉模型、模块、数据加载器和工具的更新 PR 01，由 @weiqingw4ng 贡献 :: PR: #14905\n- 合并多说话者鹦鹉模型的单元测试和 CI 测试更新 PR 02，由 @weiqingw4ng 贡献 :: PR: #14932\n- 添加支持提示的鹦鹉混合 RNNT CTC BPE 模型，由 @ealbasiri 贡献 :: PR: #14561\n- 修复笔记本，由 @nithinraok 贡献 :: PR: #15079\n- 摘要选取 #15070，由 @nithinraok 贡献 :: PR: #15082\n\n\u003C\u002Fdetails>\n\n#### TTS\n\n\u003Cdetails>\u003Csummary>变更日志\u003C\u002Fsummary>\n\n- 移除过时的 TTS 教程，由 @blisc 贡献 :: PR: #14660\n- 添加 KokoroTTS 支持","2025-12-03T21:01:41",{"id":196,"version":197,"summary_zh":198,"released_at":199},298062,"v2.5.3","### 亮点\n\n- 本次发布修复了已知的安全问题。有关最新的 NVIDIA 漏洞披露信息，请访问 \u003Chttps:\u002F\u002Fwww.nvidia.com\u002Fen-us\u002Fsecurity\u002F>；如需确认接收，请联系 NVIDIA PSIRT 团队，邮箱地址为 \u003CPSIRT@nvidia.com>。\n- 更新 nv-one-logger\n- 更新 ctc-segmentation\n\n### 详细变更日志：\n\n\n\u003C\u002Fdetails>\n\n#### 文本归一化 \u002F 反归一化\n\n\u003Cdetails>\u003Csummary>变更日志\u003C\u002Fsummary>\n\n- chore：更新 Lightning 依赖项，由 @liquor233 提交 :: PR：#15005\n\n\u003C\u002Fdetails>\n\n#### 未分类：\n\n\u003Cdetails>\u003Csummary>变更日志\u003C\u002Fsummary>\n\n- cp：将 `Update ctc-segmentation (14991)` 合并至 `r2.5.0`，由 @chtruong814 提交 :: PR：#15020\n- 版本升级至 2.5.3，由 @chtruong814 提交 :: PR：#15022\n\n\u003C\u002Fdetails>","2025-11-10T22:46:48",{"id":201,"version":202,"summary_zh":203,"released_at":204},298063,"v2.5.2","### 详细变更日志：\n\n\n\u003C\u002Fdetails>\n\n#### 文本归一化 \u002F 反文本归一化\n\n\u003Cdetails>\u003Csummary>变更日志\u003C\u002Fsummary>\n\n- cp: `为 mcore lightning 模块添加导入保护` (#14970) 合并至 `r2.5.0`，作者 @chtruong814 :: PR: #14982\n\n\u003C\u002Fdetails>\n\n#### 未分类：\n\n\u003Cdetails>\u003Csummary>变更日志\u003C\u002Fsummary>\n\n- 升级至 2.5.2，作者 @chtruong814 :: PR: #14983\n\n\u003C\u002Fdetails>","2025-10-27T23:25:55",{"id":206,"version":207,"summary_zh":208,"released_at":209},298064,"v2.5.1","### 亮点\n\n- 本次发布修复了已知的安全问题。有关最新的 NVIDIA 漏洞披露信息，请访问 \u003Chttps:\u002F\u002Fwww.nvidia.com\u002Fen-us\u002Fsecurity\u002F>；如需确认接收，请联系 NVIDIA PSIRT 团队，邮箱地址为 \u003CPSIRT@nvidia.com>。\n- 新增 nv-one-logger\n- 添加与 Megatron FSDP 相关的修复\n\n### 详细变更日志：\n\n#### ASR\n\n\u003Cdetails>\u003Csummary>变更日志\u003C\u002Fsummary>\n\n- 补丁：r2.5.0，包含 onelogger 相关更改。提交人：@PeiyuanQi；拉取请求：#14811\n\n\u003C\u002Fdetails>\n\n#### TTS\n\n\u003Cdetails>\u003Csummary>变更日志\u003C\u002Fsummary>\n\n- 补丁：r2.5.0，包含 onelogger 相关更改。提交人：@PeiyuanQi；拉取请求：#14811\n\n\u003C\u002Fdetails>\n\n#### NLP \u002F NMT\n\n\u003Cdetails>\u003Csummary>变更日志\u003C\u002Fsummary>\n\n- 补丁：r2.5.0，包含 onelogger 相关更改。提交人：@PeiyuanQi；拉取请求：#14811\n- Megatron FSDP r2.5.0 的选定提交，由 @BoxiangW 提交；拉取请求：#14922\n\n\u003C\u002Fdetails>\n\n#### 未分类：\n\n\u003Cdetails>\u003Csummary>变更日志\u003C\u002Fsummary>\n\n- 版本升级至 2.5.1，由 @chtruong814 提交；拉取请求：#14898\n- 将 `Feat: 磁盘空间管理：用于 NeMo 安装测试 (14822)` 合并到 `r2.5.0` 中，由 @chtruong814 提交；拉取请求：#14937\n- 将 `Fix：解决检查点加载问题——在某些情况下 onelogger 回调会被多次调用 (14945)` 合并到 `r2.5.0` 中，由 @chtruong814 提交；拉取请求：#14948\n\n\u003C\u002Fdetails>","2025-10-22T20:06:00",{"id":211,"version":212,"summary_zh":79,"released_at":213},298065,"25.09-alpha.rc2","2025-10-07T19:58:40",{"id":215,"version":216,"summary_zh":217,"released_at":218},298066,"v2.5.0","### 亮点\n\n- 模型库：\n  - 大语言模型\n    - Nano v2 12B 和 9B\n  - 语音模型\n    - 新增 SpeechLM2 模型库\n    - 流式 Softformer 模型\n    - 废弃 Confidence Ensemble 模型\n    - parakeet-tdt-0.6b-v3 和 canary-1b-v2 模型\n    - 为基于 canary 的模型添加了 .transcribe() 方法的分块推理支持\n    - 启用流式 ASR 的时间戳预测功能\n    - 提升 ASR 模型对填充和批次大小的不变性\n    - 支持 Qwen 提示词格式，并修复 SALM 生成相关问题\n    - 高层次 SALM model.generate API 更加接近 Hugging Face 模型\n    - 优化 SALM 模型初始化的时间和内存消耗\n    - SpeechLM2：修复过度填充问题，支持 SALM 的实时重采样\n\n- Automodel 和 Export-Deploy 功能已分别迁移到各自的独立仓库中，并在 NeMo2 中被废弃。\n\n### 详细变更日志：\n\n#### 自动语音识别 (ASR)\n\n\u003Cdetails>\u003Csummary>变更日志\u003C\u002Fsummary>\n\n- 由 @emmanuel-ferdman 实现的日志接口现代化 :: PR: #13783\n- 由 @pzelasko 提供的 SALM.generate 高层次 API :: PR: #14034\n- 由 @lilithgrigoryan 添加\u002F重构的 ASR LM 自定义文档 :: PR: #14088\n- 由 @MahmoudAshraf97 改进 NEST GPU 利用率 1\u002FN :: PR: #14086\n- 由 @pzelasko 提升 ASR 模型对填充和批次大小的不变性 :: PR: #13827\n- 由 @artbataev 清理 Transducer 解码初始化代码 :: PR: #14112\n- 由 @MahmoudAshraf97 改进 NEST GPU 利用率 2\u002FN :: PR: #14089\n- 由 @andrusenkoau 实现的 AED 解码 GPU 加速短语增强 (GPU-PB) :: PR: #14108\n- 修复训练时使用 ngpu-lm 进行解码的问题 (#13994) :: PR: #13995\n- 由 @lilithgrigoryan 修复 eval_beamsearch_ngram_ctc 脚本 :: PR: #14238\n- 由 @andrusenkoau 修复 ctc-ws 上下文图的错误类型标注 :: PR: #14262\n- 由 @stevehuang52 修复帧级 VAD 问题 :: PR: #14337\n- 由 @MahmoudAshraf97 改进 NEST GPU 利用率 3\u002FN :: PR: #14234\n- 由 @lilithgrigoryan 移除 confidence ensemble 模型 :: PR: #14343\n- 由 @artbataev 修复训练中 CUDA 图导致的 ASR 解码问题 :: PR: #14184\n- 流式 Sortformer 发布 PR01：上传 Bug 修复、变量重构及 YAML 文件名更改 :: PR: #14416\n- 流式 Sortformer 发布 PR02：流式模型和模块的单元测试 :: PR: #14417\n- 由 @andrusenkoau 实现的 CTC、RNN-T 和 TDT 解码 GPU 加速短语增强 (GPU-PB) :: PR: #14277\n- 由 @monica-sekoyan 修复子采样分块测试 :: PR: #14452\n- 由 @monica-sekoyan 实现的带有 NFA 的 Canary2 :: PR: #14121\n- 由 @nune-tadevosyan 完成的初始分块工作 :: PR: #14321\n- 由 @nune-tadevosyan 修复分块问题 :: PR: #14482\n- 由 @nune-tadevosyan 更新教程和文档 :: PR: #14484\n- 流式 Sortformer 发布 PR03：NeMo 文档和教程笔记本 :: PR: #14388\n- 由 @nune-tadevosyan 添加 wget_from_nemo 功能 :: PR: #14623\n- 降低 ASR 教程中 \"datasets\" 库的版本，以确保与 Hugging Face Datasets 兼容 :: PR: #14685\n- 由 @nune-tadevosyan 修复 Canary 教程 :: PR: #14708\n- 强制激活值和权重","2025-10-07T00:36:22",{"id":220,"version":221,"summary_zh":222,"released_at":223},298067,"v2.4.1","### Detailed Changelogs:\n\n#### Uncategorized:\n\n\u003Cdetails>\u003Csummary>Changelog\u003C\u002Fsummary>\n\n- Update package_info.py by @ko3n1g :: PR: #14400\n- Patch to address issue 14392 by @youngeunkwon0405 :: PR: #14398\n- Cherry pick `Fix callbacks in DSV3 script (14350)` into `r2.4.0` by @chtruong814 :: PR: #14370\n- Cherry pick `Change Llama Embedding Tutorial to use SFT by default (14231)` into `r2.4.0` by @chtruong814 :: PR: #14303\n- Cherrypick `calculate_per_token_loss requirement for context parallel` (#14065) (#14282) into `r2.4.0` by @chtruong814 :: PR: #14448\n- Pin nvidia-lm-eval to 25.6.1 by @chtruong814 :: PR: #14470\n\n\u003C\u002Fdetails>","2025-09-30T17:10:30",{"id":225,"version":226,"summary_zh":227,"released_at":228},298068,"v2.3.3","- This release addresses known security issues. For the latest NVIDIA Vulnerability Disclosure Information visit \u003Chttps:\u002F\u002Fwww.nvidia.com\u002Fen-us\u002Fsecurity\u002F>, for acknowledgement please reach out to the NVIDIA PSIRT team at \u003CPSIRT@nvidia.com>\n- Pin nvidia-lm-eval to 25.5","2025-09-25T22:10:51",{"id":230,"version":231,"summary_zh":79,"released_at":232},298069,"25.09-alpha.rc1","2025-10-03T14:36:16",{"id":234,"version":235,"summary_zh":236,"released_at":237},298070,"v2.5.0rc0","Prerelease: NVIDIA Neural Modules 2.5.0rc0 (2025-08-03)","2025-08-03T16:50:14",{"id":239,"version":240,"summary_zh":241,"released_at":242},298071,"v2.4.0","### Highlights\n\n- Collections:\n  - Speech  \n    - Batched beam search for transducers (RNN-T and TDT)  \n      - RNNT\u002FTDT buffered\u002Fstreaming inference \\+ batched decoding support in cache-aware  \n      - add support for CTC batched beam search with GPU-LM  \n      - Key fixes  \n        - Punctuation Marks in Timestamps  \n        - Fix timestamps when cuda graphs enabled  \n        - Fix masking of \\\u003Cpad\\> tokens in AED inference  \n        - TDT streaming inference fix\n  - LLM\n    - Qwen 3 235B-A22B Perf Optimized  \n    - DeepSeek V3 Perf Optimized  \n    - Gemma3 support from Google  \n    - Embedding and Reranker models  \n  - MM\n    - Llama 4  \n    - AVLM\n- Training performance (speed)  \n  - NVL sharp \\+ IB sharp for DP\u002FFSDP-communications on H100 and B200  \n  - MXFP8 with TP communication overlap  \n  - MXFP8 with reduced memory allocation  \n  - FP8 sub-channel recipe (128x128 for weight and 1x128 for activation)  \n  - cudnn fused attention for MLA (both Hopper and Blackwell)  \n  - Advanced custom asymmetric pipelining (for MTP, loss func, and embd)  \n  - BF16 optimizer for model memory saving  \n  - CUDA graph fix for fine-tuning benchmarks  \n  - CUDA graph support for LLAMA4\n  \n### Detailed Changelogs\n\n#### ASR\n\n\u003Cdetails>\u003Csummary>Changelog\u003C\u002Fsummary>\n\n- ci: Fix ASR container by @ko3n1g :: PR: #13288\n- Set L2_Segmentation_Tool_Parallel_ctc_segmentation test to be optional by @chtruong814 :: PR: #13296\n- Revert \"WebDataset URL refactoring\" by @ko3n1g :: PR: #13421\n- Update flagged docs links by @erastorgueva-nv :: PR: #13391\n- [Docs] Fix incorrectly formatted reference tags by @erastorgueva-nv :: PR: #13445\n- Update CP by @pablo-garay :: PR: #13532\n- Tdt buffered inference fix by @hainan-xv :: PR: #13500\n- Fix transcribe when nbest hypotheses are returned by @lilithgrigoryan :: PR: #13540\n- Set ASR test to be optional by @chtruong814 :: PR: #13633\n- Enabling chunked inference for AED models in asr_evaluator by @melllinia :: PR: #13674\n- Ko3n1g\u002Fchore\u002Fasr only by @ko3n1g :: PR: #13704\n- decompressing joblib file before checking it by @Ssofja :: PR: #13732\n- Revert \"decompressing joblib file before checking it (#13732)\" by @chtruong814 :: PR: #13791\n- Punctuation Marks in Timestamps by @monica-sekoyan :: PR: #13353\n- AIStore with Webdataset by @monica-sekoyan :: PR: #13604\n- Update to add default for dataclass variables by @nithinraok :: PR: #13814\n- This PR addresses to known security issues by @Ssofja :: PR: #13804\n- remove model_stride var by @nithinraok :: PR: #13867\n- add CTC batched beam search by @lilithgrigoryan :: PR: #13337\n- Clean up streaming ASR script and tests by @artbataev :: PR: #13894\n- add NGPU-LM fusion during CTC greedy by @lilithgrigoryan :: PR: #13917\n\n\u003C\u002Fdetails>\n\n#### TTS\n\n\u003Cdetails>\u003Csummary>Changelog\u003C\u002Fsummary>\n\n- Revert \"WebDataset URL refactoring\" by @ko3n1g :: PR: #13421\n- Update flagged docs links by @erastorgueva-nv :: PR: #13391\n- [Docs] Fix incorrectly formatted reference tags by @erastorgueva-nv :: PR: #13445\n- Update CP by @pablo-garay :: PR: #13532\n- fix: vpp stage refactoring to match mcore  by @ZhiyuLi-Nvidia :: PR: #13673\n- AIStore with Webdataset by @monica-sekoyan :: PR: #13604\n\n\u003C\u002Fdetails>\n\n#### NLP \u002F NMT\n\n\u003Cdetails>\u003Csummary>Changelog\u003C\u002Fsummary>\n\n- Migrate Hyena to Megatron inference_context. by @cspades :: PR: #13436\n- Update CP by @pablo-garay :: PR: #13532\n- fix broken links by @dimapihtar :: PR: #13544\n- Add nlp import checks by @thomasdhc :: PR: #13563\n- PTQ model support, quant_cfg, and documentation updates by @janekl :: PR: #13519\n- feat - GPTSFTChatDataset alignment with OpenAI Messages, compatibility with packed sequences by @soluwalana :: PR: #13367\n- fix: vpp stage refactoring to match mcore  by @ZhiyuLi-Nvidia :: PR: #13673\n- Fix resume with MegatronPretrainingBatchSampler by @ashors1 :: PR: #13565\n- Punctuation Marks in Timestamps by @monica-sekoyan :: PR: #13353\n- Revert `Adding more doc-strings to megatron_parallel.py #12767` by @ko3n1g :: PR: #13824\n- reasoning model evaluation mmlu gpqa by @ruchaa-apte :: PR: #13880\n- Remove unused DynamicRetrievalServer and Bert dataset loader classes by @dimapihtar :: PR: #14209\n- Huvu\u002Favlm qafix cherrypick from  by @huvunvidia :: PR: #14253\n\n\u003C\u002Fdetails>\n\n#### Export\n\n\u003Cdetails>\u003Csummary>Changelog\u003C\u002Fsummary>\n\n- Improve Nemo2Exporter for Models Using Custom Modelling Files on HF by @suiyoubi :: PR: #13400\n- Adding more export tests by @oyilmaz-nvidia :: PR: #13410\n- Add Warning to Export when output_path exists by @suiyoubi :: PR: #13465\n- Move libsox-fmt-all from Dockerfile.ci.export_deploy to Dockerfile.ci by @chtruong814 :: PR: #13452\n- ci: Remove trt-llm breakpoint by @ko3n1g :: PR: #13499\n- Add Qwen2VL export_ckpt by @AtsunoriFujita :: PR: #13398\n- Add MLlama export_ckpt by @AtsunoriFujita :: PR: #13346\n- Update vLLMExporter to use vLLM V1 by @janekl :: PR: #13498\n- Add vLLM Mixtral and TRT-LLM qnemo export tests (plus a couple of bugfixes) by @janekl :: PR: #13697\n- Fix Qwen3 export + misc by @cuichenx :: PR: #13679\n- Extra in","2025-07-25T18:12:41",{"id":244,"version":245,"summary_zh":246,"released_at":247},298072,"v2.3.2","This release addresses known security issues. For the latest NVIDIA Vulnerability Disclosure Information visit https:\u002F\u002Fwww.nvidia.com\u002Fen-us\u002Fsecurity\u002F, for acknowledgement please reach out to the NVIDIA PSIRT team at PSIRT@nvidia.com","2025-07-08T22:29:39",{"id":249,"version":250,"summary_zh":251,"released_at":252},298073,"v2.4.0rc2","Prerelease: NVIDIA Neural Modules 2.4.0rc2 (2025-07-09)","2025-07-09T00:37:07",{"id":254,"version":255,"summary_zh":256,"released_at":257},298074,"v2.4.0rc1","Prerelease: NVIDIA Neural Modules 2.4.0rc1 (2025-07-02)","2025-07-02T20:49:32",{"id":259,"version":260,"summary_zh":261,"released_at":262},298075,"v2.4.0rc0","Prerelease: NVIDIA Neural Modules 2.4.0rc0 (2025-06-27)","2025-06-27T17:40:59"]