支持的功能

语音识别	语音合成	声源分离
✔️	✔️	✔️

说话人辨识	说话人日志	说话人验证
✔️	✔️	✔️

口语语言辨识	音频标签	语音活动检测
✔️	✔️	✔️

关键词检测	添加标点符号	语音增强
✔️	✔️	✔️

支持的平台

架构	安卓	iOS	Windows	macOS	Linux	鸿蒙OS
x64	✔️		✔️	✔️	✔️	✔️
x86	✔️		✔️
arm64	✔️	✔️	✔️	✔️	✔️	✔️
arm32	✔️				✔️	✔️
riscv64					✔️

支持的编程语言

1. C++	2. C	3. Python	4. JavaScript
✔️	✔️	✔️	✔️

5. Java	6. C#	7. Kotlin	8. Swift
✔️	✔️	✔️	✔️

9. Go	10. Dart	11. Rust	12. Pascal
✔️	✔️	✔️	✔️

它还支持 WebAssembly。

支持的 NPU

1. 瑞芯微 NPU (RKNN)	2. 高通 NPU (QNN)	3. 华为昇腾 NPU
✔️	✔️	✔️

4. 艾拉科技 NPU
✔️

加入我们的 Discord

简介

本仓库支持在本地运行以下功能：

• 语音转文本（即 ASR）；支持流式和非流式处理
• 文本转语音（即 TTS）
• 说话人日志
• 说话人辨识
• 说话人验证
• 口语语言辨识
• 音频标签
• VAD（例如 silero-vad）
• 语音增强（例如 gtcrn、DPDFNet）
• 关键词检测
• 声源分离（例如 spleeter、UVR）

可在以下平台和操作系统上运行：

• x86、x86_64、32位 ARM、64位 ARM（arm64、aarch64）、RISC-V（riscv64）、RK NPU、昇腾 NPU
• Linux、macOS、Windows、openKylin
• 安卓、WearOS
• iOS
• 鸿蒙OS
• NodeJS
• WebAssembly
• NVIDIA Jetson Orin NX（支持在 CPU 和 GPU 上运行）
• NVIDIA Jetson Nano B01（支持在 CPU 和 GPU 上运行）
• 树莓派
• RV1126
• LicheePi4A
• VisionFive 2
• 旭日X3派
• 爱芯派
• RK3588
• SpacemiT-K1
• SpacemiT-K3
• 等等

并提供以下 API：

• C++、C、Python、Go、C#
• Java、Kotlin、JavaScript
• Swift、Rust
• Dart、Object Pascal

Hugging Face Spaces 链接

您可以通过访问以下 Hugging Face Spaces 来试用 Sherpa-onnx，无需任何安装。您只需要一个浏览器即可。

描述	URL	中国镜像
发言人分离	点击我	镜像
语音识别	点击我	镜像
使用 Whisper 的语音识别	点击我	镜像
语音合成	点击我	镜像
生成字幕	点击我	镜像
音频标签	点击我	镜像
声源分离	点击我	镜像
使用 Whisper 进行的口语语言识别	点击我	镜像

我们还有使用 WebAssembly 构建的空间，列表如下：

描述	Hugging Face Space	ModelScope Space
使用 silero-vad 的语音活动检测	点击我	地址
使用 Zipformer 的实时语音识别（中文 + 英文）	点击我	地址
使用 Paraformer 的实时语音识别（中文 + 英文）	点击我	地址
使用 Paraformer-large 的实时语音识别（中文 + 英文 + 粤语）	点击我	地址
实时语音识别（英文）	点击我	地址
VAD + 语音识别（中文）与 Zipformer CTC	点击我	地址
VAD + 语音识别（中文 + 英文 + 韩语 + 日语 + 粤语）与 SenseVoice	点击我	地址
VAD + 语音识别（英文）与 Whisper tiny.en	点击我	地址
VAD + 语音识别（英文）与 Moonshine tiny	点击我	地址
VAD + 语音识别（英文）与使用 GigaSpeech 训练的 Zipformer	点击我	地址
VAD + 语音识别（中文）与使用 WenetSpeech 训练的 Zipformer	点击我	地址
VAD + 语音识别（日语）与使用 ReazonSpeech 训练的 Zipformer	点击我	地址
VAD + 语音识别（泰语）与使用 GigaSpeech2 训练的 Zipformer	点击我	地址
VAD + 语音识别（中文多种方言）与 a TeleSpeech-ASR CTC 模型	点击我	地址
VAD + 语音识别（英文 + 中文，及多种中文方言）与 Paraformer-large	点击我	地址
VAD + 语音识别（英文 + 中文，及多种中文方言）与 Paraformer-small	点击我	地址
VAD + 语音识别（多语种及多种中文方言）与 Dolphin-base	点击我	地址
语音合成（Piper，英文）	点击我	地址
语音合成（Piper，德语）	点击我	地址
语音合成（Matcha，中文）	点击我	地址
语音合成（Matcha，英文）	点击我	地址
语音合成（Matcha，中英双语）	点击我	地址
发言人分离	点击我	地址
使用 ZipVoice（中文+英文）进行声音克隆	点击我	地址
使用 Pocket TTS（英文）进行声音克隆	点击我	地址

预编译的 Android APK 下载链接

您可以在下表中找到此仓库的预编译 Android APK

描述	URL	中国用户
发言人分离	地址	点击此处
流式语音识别	地址	点击此处
模拟流式语音识别	地址	点击此处
文本转语音	地址	点击此处
语音活动检测 (VAD)	地址	点击此处
VAD + 非流式语音识别	地址	点击此处
两步法语音识别	地址	点击此处
音频标签	地址	点击此处
音频标签（WearOS）	地址	点击此处
发言人辨识	地址	点击此处
口语语言辨识	地址	点击此处
关键词检测	地址	点击此处

预编译的 Flutter APP 下载链接

实时语音识别

描述	URL	中国用户
流式语音识别	地址	点击此处

文本转语音

描述	URL	中国用户
安卓（arm64-v8a、armeabi-v7a、x86_64）	地址	点击此处
Linux（x64）	地址	点击此处
macOS（x64）	地址	点击此处
macOS（arm64）	地址	点击此处
Windows（x64）	地址	点击此处

注：iOS 需要从源码构建。

预编译的 Lazarus APP 下载链接

生成字幕

描述	URL	中国用户
生成字幕 (生成字幕)	地址	点击此处

预训练模型下载链接

描述	URL
语音识别（语音转文本，ASR）	地址
文本转语音（TTS）	地址
VAD	地址
关键词检测	地址
音频标签	地址
发言人辨识（Speaker ID）	地址
口语语言辨识（Language ID)	参见多语言 Whisper ASR 模型，来自 语音识别
标点符号	地址
发言人分割	地址
语音增强	地址
声源分离	地址

部分预训练 ASR 模型（流式）

请参阅：

• https://k2-fsa.github.io/sherpa/onnx/pretrained_models/online-transducer/index.html
• https://k2-fsa.github.io/sherpa/onnx/pretrained_models/online-paraformer/index.html
• https://k2-fsa.github.io/sherpa/onnx/pretrained_models/online-ctc/index.html

以获取更多模型。下表仅列出其中的 部分。

名称	支持的语言	描述
sherpa-onnx-streaming-zipformer-bilingual-zh-en-2023-02-20	中文、英文	参见 此处
sherpa-onnx-streaming-zipformer-small-bilingual-zh-en-2023-02-16	中文、英文	参见 此处
sherpa-onnx-streaming-zipformer-zh-14M-2023-02-23	中文	适用于Cortex A7 CPU。参见 此处
sherpa-onnx-streaming-zipformer-en-20M-2023-02-17	英文	适用于Cortex A7 CPU。参见 此处
sherpa-onnx-streaming-zipformer-korean-2024-06-16	韩语	参见 此处
sherpa-onnx-streaming-zipformer-fr-2023-04-14	法语	参见 此处

一些非流式预训练 ASR 模型

请参阅：

• https://k2-fsa.github.io/sherpa/onnx/pretrained_models/offline-transducer/index.html
• https://k2-fsa.github.io/sherpa/onnx/pretrained_models/offline-paraformer/index.html
• https://k2-fsa.github.io/sherpa/onnx/pretrained_models/offline-ctc/index.html
• https://k2-fsa.github.io/sherpa/onnx/pretrained_models/telespeech/index.html
• https://k2-fsa.github.io/sherpa/onnx/pretrained_models/whisper/index.html

以获取更多模型。下表仅列出其中的 部分。

名称	支持的语言	描述
sherpa-onnx-nemo-parakeet-tdt-0.6b-v2-int8	英语	由 https://huggingface.co/nvidia/parakeet-tdt-0.6b-v2 转换而来
Whisper tiny.en	英语	参见 此处
Moonshine tiny	英语	参见 此处
sherpa-onnx-zipformer-ctc-zh-int8-2025-07-03	中文	一个 Zipformer CTC 模型
sherpa-onnx-sense-voice-zh-en-ja-ko-yue-2024-07-17	中文、粤语、英语、韩语、日语	支持多种中文方言。参见 此处
sherpa-onnx-paraformer-zh-2024-03-09	中文、英语	同样支持多种中文方言。参见 此处
sherpa-onnx-zipformer-ja-reazonspeech-2024-08-01	日语	参见 此处
sherpa-onnx-nemo-transducer-giga-am-russian-2024-10-24	俄语	参见 此处
sherpa-onnx-nemo-ctc-giga-am-russian-2024-10-24	俄语	参见 此处
sherpa-onnx-zipformer-ru-2024-09-18	俄语	参见 此处
sherpa-onnx-zipformer-korean-2024-06-24	韩语	参见 此处
sherpa-onnx-zipformer-thai-2024-06-20	泰语	参见 此处
sherpa-onnx-telespeech-ctc-int8-zh-2024-06-04	中文	支持多种方言。参见 此处

有用链接

• 文档：https://k2-fsa.github.io/sherpa/onnx/
• Bilibili 演示视频：https://search.bilibili.com/all?keyword=%E6%96%B0%E4%B8%80%E4%BB%A3Kaldi

如何联系我们

请访问 https://k2-fsa.github.io/sherpa/social-groups.html 以加入新一代 Kaldi 微信交流群 和 QQ 交流群。

使用 sherpa-onnx 的项目

Speed of Sound

一款用于 Linux 桌面（GTK4/Adwaita）的语音输入应用。 它捕获麦克风音频，使用 Sherpa ONNX ASR 模型进行离线转录， 可选地通过 LLM 对文本进行润色，并通过 XDG 远程桌面门户的键盘模拟功能将结果输入到当前活动窗口中。

VoxSherpa TTS

VoxSherpa TTS 是一款 100% 离线的 Android 文本转语音应用，由 Sherpa-ONNX 提供支持。 它支持 Kokoro-82M、Piper 和 VITS 引擎，并提供多语言支持，包括印地语、英语、英式英语、日语、中文以及 50 多种其他语言。

• 下载 APK v1.0-beta 版
• 需 Android 11 或更高版本 · 100% 离线 · 无遥测数据

---

BreezeApp 来自 MediaTek Research

BreezeAPP 是一款为 Android 和 iOS 平台开发的移动 AI 应用程序。 用户可以直接从 App Store 下载，并在离线状态下享受多种功能， 包括语音转文本、文本转语音、基于文本的聊天机器人交互以及图像问答。

• 下载 BreezeAPP 的 APK
• 中国镜像 APK

1	2	3

Open-LLM-VTuber

通过免手持语音交互、语音打断以及 Live2D 技术，在本地跨平台运行任何 LLM 的面部动画。

更多信息请参见 https://github.com/t41372/Open-LLM-VTuber/pull/50

voiceapi

基于 FastAPI 的流式 ASR 和 TTS

展示了如何使用 FastAPI 结合 ASR 和 TTS 的 Python API。

腾讯会议摸鱼工具 TMSpeech

采用 C# 实现流式 ASR，并配有图形用户界面。

中文视频演示：【开源】Windows实时字幕软件（网课/开会必备）

lol互动助手

该应用使用 sherpa-onnx 的 JavaScript API，并结合 Electron。

中文视频演示：爆了！炫神教你开打字挂！真正影响胜率的英雄联盟工具！英雄联盟的最后一块拼图！和游戏中的每个人无障碍沟通！

Sherpa-ONNX 语音识别服务器

基于 Node.js 的服务器，提供用于语音识别的 Restful API。

QSmartAssistant

一个模块化、全程可离线、低资源占用的对话机器人/智能音箱。

它使用 QT 框架。其中既包含了 ASR 也包含了 TTS。

Flutter-EasySpeechRecognition

它扩展了 ./flutter-examples/streaming_asr，通过在应用内下载模型来减小应用体积。

注：[Team B] Sherpa AI 后端 也在 Flutter 应用中使用了 sherpa-onnx。

sherpa-onnx-unity

在 Unity 中使用 sherpa-onnx。更多信息请参见 #1695, #1892, 和 #1859。

xiaozhi-esp32-server

该项目为 xiaozhi-esp32 提供后端服务，帮助您快速搭建 ESP32 设备控制服务器。

更多信息请参见：

• ASR 新增轻量级 sherpa-onnx-asr
• 特性：ASR 增加 sherpa-onnx 模型

KaithemAutomation

纯 Python 编写，专注于 GUI 的家庭自动化/消费级 SCADA 系统。

它使用 sherpa-onnx 的 TTS 功能。更多信息请参见 ✨ 使用全新全局配置的 TTS 模型发出语音指令。

Open-XiaoAI KWS

为小爱音箱启用自定义唤醒词。

中文视频演示：小爱同学启动～˶╹ꇴ╹˶！

C++ WebSocket ASR 服务器

它基于 C++ 构建了一个 WebSocket 服务器，用于使用 sherpa-onnx 进行语音识别。

Go WebSocket 服务器

它基于 Go 语言构建了一个 WebSocket 服务器，专用于 sherpa-onnx。

制作机器人派蒙，第 10 集“AI 部分 1”

这是一段 YouTube 视频, 展示了作者如何尝试利用 AI 与派蒙进行对话。

它使用 sherpa-onnx 进行语音转文本和文本转语音。

1

TtsReader - 桌面应用

一款使用 Kotlin Multiplatform 构建的桌面文本转语音应用程序。

MentraOS

智能眼镜操作系统，内置数十款应用。用户可以获得 AI 助手、通知、翻译、屏幕镜像、字幕等功能。开发者只需编写一次应用，即可在任何一副智能眼镜上运行。

它使用 sherpa-onnx 在 iOS 和 Android 设备上进行实时语音识别。 更多信息请参见 https://github.com/Mentra-Community/MentraOS/pull/861

该系统使用 Swift 开发 iOS 版本，Java 开发 Android 版本。

flet_sherpa_onnx

基于 sherpa-onnx 的 Flet ASR/STT 组件。 示例 聊天框代理

achatbot-go

一款基于 Go 语言的多模态聊天机器人，使用 sherpa-onnx 的语音库 API。

fcitx5-vinput

Local offline voice input plugin for Fcitx5 (Linux input method framework). It uses C++ with offline ASR for speech recognition, supporting push-to-talk, command mode, and optional LLM post-processing.

Video demo in Chinese: fcitx5-vinput

Wake Word

A VS Code extension for hands-free voice-activated coding. It uses sherpa-onnx for real-time keyword spotting (KWS) to detect custom wake phrases and trigger VS Code commands by voice. Audio capture is handled by decibri, a cross-platform Node.js microphone streaming library with prebuilt native binaries.

• VS Code Marketplace
• Open VSX
• decibri integration guides for sherpa-onnx

Sherpa-onnx 快速上手指南

Sherpa-onnx 是一个专注于本地运行的开源语音处理工具库，支持语音识别（ASR）、语音合成（TTS）、说话人日志、声纹识别等多种功能。它基于 ONNX Runtime，无需联网即可在多种架构（x86, ARM, RISC-V）和平台（Linux, Windows, macOS, Android, iOS, HarmonyOS）上高效运行，并支持国产 NPU（如瑞芯微 RKNN、华为昇腾 Ascend）。

环境准备

系统要求

Sherpa-onnx 支持广泛的操作系统和硬件架构：

• 操作系统: Linux (包括 openKylin), macOS, Windows, Android, iOS, HarmonyOS。
• 硬件架构: x86, x86_64, ARM32, ARM64 (aarch64), RISC-V (riscv64)。
• NPU 加速: 支持 Rockchip (RKNN), Qualcomm (QNN), Ascend (昇腾), Axera 等 NPU。
• 特殊设备: 树莓派 (Raspberry Pi), NVIDIA Jetson 系列，以及各类国产开发板（如 RV1126, RK3588, 旭日 X3 派等）。

前置依赖

最快捷的上手方式是使用 Python 接口。请确保您的环境中已安装：

• Python 3.8 或更高版本
• pip 包管理工具

提示：如果您在中国大陆，建议配置 pip 国内镜像源以加速下载：

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

方法一：通过 PyPI 安装（推荐）

这是最简单的安装方式，适用于大多数通用平台（Linux, Windows, macOS）。

pip install sherpa-onnx

方法二：预编译模型下载

Sherpa-onnx 本身是推理引擎，使用时需要配合具体的模型文件。您可以从 Hugging Face 或 ModelScope（魔搭）下载预训练模型。

推荐国内用户使用 ModelScope 下载模型，速度更快。例如下载一个中文语音识别模型：

# 安装 modelscope 客户端
pip install modelscope

# 下载示例模型 (以 Paraformer 流式模型为例)
modelscope download --model_dir ./models iic/SenseVoiceSmall

注：具体模型仓库地址请参考官方文档或 ModelScope 社区，不同任务（ASR/TTS/VAD）对应不同模型。

基本使用

以下是一个使用 Python 进行离线语音识别的最简示例。假设您已经下载了一个支持的模型（此处以通用的 sherpa-onnx-zipformer 类模型结构为例，实际路径请替换为您下载的模型文件夹）。

1. 语音识别 (ASR) 示例

import sherpa_onnx

# 配置识别器参数
# 请将 './path/to/your/model' 替换为实际下载的模型路径
config = sherpa_onnx.OfflineRecognizerConfig(
    feat_config=sherpa_onnx.FeatureConfig(
        sample_rate=16000,
        feature_dim=80
    ),
    model_config=sherpa_onnx.OfflineModelConfig(
        transducer=sherpa_onnx.OfflineTransducerModelConfig(
            encoder_filename="./path/to/your/model/encoder.onnx",
            decoder_filename="./path/to/your/model/decoder.onnx",
            joiner_filename="./path/to/your/model/joiner.onnx",
        ),
        tokens="./path/to/your/model/tokens.txt",
        num_threads=4,
        provider="cpu", # 如有 GPU 或 NPU 可改为 "cuda" 或 "rknn" 等
        modeling_unit="bpe", # 根据模型类型调整，有些模型不需要此项
    ),
    decoding_method="greedy_search",
)

recognizer = sherpa_onnx.OfflineRecognizer(config)

# 读取音频文件 (必须是 16kHz 单声道 WAV 格式)
stream = recognizer.create_stream()
stream.accept_waveform(16000, "./test.wav") 

recognizer.decode_stream(stream)

print("识别结果:", stream.result.text)

2. 语音合成 (TTS) 示例

import sherpa_onnx

# 配置合成器参数
config = sherpa_onnx.OfflineTtsConfig(
    model=sherpa_onnx.OfflineTtsModelConfig(
        vits=sherpa_onnx.OfflineTtsVitsModelConfig(
            model="./path/to/your/tts_model.onnx",
            tokens="./path/to/your/tts_tokens.txt",
        ),
        provider="cpu",
        num_threads=4,
    ),
    max_num_sentences=2,
)

tts = sherpa_onnx.OfflineTts(config)

# 合成语音
text = "你好，这是一个测试。"
audio = tts.generate(text, sid=0, speed=1.0)

# 保存为 WAV 文件 (需自行实现保存逻辑，或使用 scipy/soundfile)
# import soundfile as sf
# sf.write("output.wav", audio.samples, audio.sample_rate)
print(f"合成完成，采样率：{audio.sample_rate}, 时长：{len(audio.samples)/audio.sample_rate:.2f}秒")

3. 在线体验与更多资源

如果您不想在本地配置环境，可以直接访问以下国内镜像站点体验功能：

• 语音识别体验: ModelScope 空间 - 语音识别 (搜索 sherpa-onnx)
• 语音合成体验: ModelScope 空间 - 语音合成
• 说话人日志: ModelScope 空间 - 说话人日志

对于 Android 开发者，项目提供了预编译的 APK 演示程序，可在相关发布页面直接下载安装测试。