NVIDIA NeMo Speech

请查看我们的 HuggingFace🤗 集合，获取最新的开源权重检查点和演示！

更新

在 NeMo 仓库拆分后，NeMo Speech 的首个版本计划于 2026 年 6 月发布，届时该仓库将完成转型。 如需使用最新稳定发布的版本，请使用 26.02 NGC 容器。

• 2026-04：Parakeet-unified-en-0.6b 已发布，该模型支持英语语言的标点符号和大小写，能够在单个模型中实现高质量的离线推理以及流式推理（最低延迟为 160 毫秒）。
• 2026-03：Nemotron 3 VoiceChat 现已进入早期访问阶段。VoiceChat 基于 Nemotron Nano v2 LLM 架构，并结合了 Nemotron 语音与 TTS 解码器，能够提供低延迟的全双工、自然且可中断的对话体验。请试用 演示 并申请 早期访问。
• 2026-03：Nemotron-Speech-Streaming v2603 已更新。它基于更大、更丰富的语料库进行训练，从而在所有延迟模式下都实现了更低的 WER。请试用 演示 并查看 NIM。
• 2026-03：MagpieTTS v2602 已发布，支持 9 种语言（英、西、德、法、越、意、中、印、日）。请试用 演示 并查看 NIM。
• 2026-01：Nemotron-Speech-Streaming 发布：一个检查点，使用户能够在延迟-准确率帕累托曲线上选择最佳平衡点！
• 2026-01：MagpieTTS 发布。
• 2026 年：本仓库已转向专注于音频、语音及多模态 LLM。如需了解支持更多模态的最后一个 NeMo 版本，请参阅 v2.7.0。
• 2025-08：Parakeet V3 和 Canary V2 已发布，支持对 25 种欧洲语言的语音识别与翻译。
• 2025-06：Canary-Qwen-2.5B 已发布，在英语公开 ASR 排行榜上创下了 5.63% 的 WER 记录。

简介

NVIDIA NeMo Speech 专为从事语音模型研究的科研人员和 PyTorch 开发者设计，涵盖自动语音识别 (ASR)、文本到语音 (TTS) 以及语音 LLM 等领域。它旨在帮助您利用现有代码和预训练模型检查点，高效地创建、定制和部署新的 AI 模型。

有关技术文档，请参阅 NeMo 框架用户指南。

系统要求

• Python 3.12 或更高版本
• PyTorch 2.6 或更高版本
• NVIDIA GPU（如果您打算进行模型训练）

自 PyTorch 2.6 起，torch.load 默认使用 weights_only=True。某些模型检查点可能需要使用 weights_only=False。在这种情况下，您可以在运行使用 torch.load 的代码之前，设置环境变量 TORCH_FORCE_NO_WEIGHTS_ONLY_LOAD=1。然而，这仅应针对受信任的文件执行。从不受信任的来源加载包含非权重内容的文件，可能会导致任意代码执行的风险。

开发者文档

版本	状态	描述
最新		最新（即 main 分支）的文档。
稳定		稳定版（即最新发布的版本）的文档 - 将陆续添加

安装 NeMo Speech

NeMo Speech 可通过 pip 安装：pip install 'nemo-toolkit[all]' 若需安装带有 CUDA 12.x 或 13.x 额外依赖的版本，请分别使用 pip install 'nemo-toolkit[all,cu12]' 或 pip install 'nemo-toolkit[all,cu13]'。

参与 NeMo 贡献

我们欢迎社区贡献！请参阅 CONTRIBUTING.md 以了解相关流程。

许可证

NeMo 采用 Apache License 2.0 许可证。

NVIDIA NeMo Speech 快速上手指南

NVIDIA NeMo Speech 是专为研究人员和 PyTorch 开发者打造的工具包，专注于语音识别 (ASR)、语音合成 (TTS) 及语音大模型 (Speech LLM) 的开发、定制与部署。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu)
• Python: 3.12 或更高版本
• PyTorch: 2.6 或更高版本
• 硬件: NVIDIA GPU (如需进行模型训练或高性能推理)
• 编译器: GCC/G++ (需与 PyTorch 版本兼容)

注意：自 PyTorch 2.6 起，torch.load 默认启用 weights_only=True。若加载某些旧版检查点报错，可在运行前设置环境变量： export TORCH_FORCE_NO_WEIGHTS_ONLY_LOAD=1 (仅建议对可信文件执行此操作)

2. 安装步骤

推荐使用 pip 进行安装。根据您的 CUDA 版本选择对应的安装命令。

基础安装 (自动匹配 CUDA 版本)

pip install 'nemo-toolkit[all]'

指定 CUDA 版本安装

如果您需要明确指定 CUDA 12.x 或 13.x 的支持：

CUDA 12.x:

pip install 'nemo-toolkit[all,cu12]'

CUDA 13.x:

pip install 'nemo-toolkit[all,cu13]'

国内加速建议： 在中国大陆地区，建议使用国内镜像源以加快下载速度。例如使用清华大学镜像源：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple 'nemo-toolkit[all]'

3. 基本使用

NeMo 的核心优势在于利用预训练模型快速构建应用。以下是一个使用 Hugging Face 上的最新模型进行简单推理的示例流程。

示例：加载预训练模型进行语音识别 (ASR)

假设您已安装 transformers 和 nemo，可以使用以下代码加载最新的 Parakeet 或 Canary 模型（需先下载权重或通过 Hugging Face API 加载）。

import nemo.collections.asr as nemo_asr

# 1. 加载预训练的 ASR 模型 (以 Canary 为例，需确保本地有对应权重或配置正确路径)
# 这里演示从名称加载的标准流程，具体模型名需参考 HuggingFace collection
asr_model = nemo_asr.models.EncDecCTCModelBPE.from_pretrained(model_name="stt_en_canary_1b")

# 2. 准备音频文件路径 (支持 .wav, .flac 等格式)
audio_file = "path/to/your/audio.wav"

# 3. 执行推理
transcription = asr_model.transcribe(paths2audio_files=[audio_file])

# 4. 输出结果
print(f"识别结果: {transcription[0].text}")

获取最新模型资源

NVIDIA 已将最新的开源权重和演示集中在 Hugging Face 集合中，建议直接访问获取最新检查点：

• HuggingFace Collection: nvidia/nemotron-speech
• 热门模型:
  • parakeet-unified-en-0.6b: 支持离线与流式推理，低延迟。
  • magpie_tts_multilingual_357m: 支持 9 种语言的高质量语音合成。

更多详细技术文档请参阅：NeMo Framework User Guide