支持的功能

实时语音识别	语音合成	语音活动检测
✔️	✔️	✔️

支持的平台

架构	安卓	iOS	Windows	macOS	Linux
x64	✔️		✔️	✔️	✔️
x86	✔️		✔️
arm64	✔️	✔️	✔️	✔️	✔️
arm32	✔️				✔️
riscv64					✔️

支持的编程语言

1. C++	2. C	3. Python	4. JavaScript
✔️	✔️	✔️	✔️

5. Go	6. C#	7. Kotlin	8. Swift
✔️	✔️	✔️	✔️

它还支持 WebAssembly。

简介

本仓库支持在本地运行以下功能：

• 流式语音转文本（即实时语音识别）
• 文本转语音（例如来自 piper 的 vits 模型）
• VAD（例如 silero-vad）

可在以下平台和操作系统上运行：

• x86、x86_64、32位 ARM、64位 ARM（arm64、aarch64）、RISC-V（riscv64）
• Linux、macOS、Windows、openKylin
• 安卓、WearOS
• iOS
• NodeJS
• WebAssembly
• 树莓派
• RV1126
• LicheePi4A
• VisionFive 2
• 旭日X3派
• 等等

并提供以下 API 支持：

• C++、C、Python、Go、C#
• Kotlin
• JavaScript
• Swift

我们支持 ncnn 所有支持的平台。

所有内容均可通过静态链接从源代码编译。生成的可执行文件仅依赖于系统库。

提示：它不依赖于 PyTorch 或其他推理框架，仅依赖于 ncnn。

请参阅文档 https://k2-fsa.github.io/sherpa/ncnn/index.html 了解安装和使用方法，例如：

• 如何构建 Android 应用程序
• 如何下载和使用预训练模型

我们提供了一些 YouTube 视频，演示使用 sherpa-ncnn 和麦克风进行实时语音识别：

• 英语： https://www.bilibili.com/video/BV1TP411p7dh/

• 中文： https://www.bilibili.com/video/BV1214y177vu

• 多语言（中文 + 英语）带端点检测的 Python 示例： https://www.bilibili.com/video/BV1eK411y788/

• Android 演示

• 多语言（中文 + 英语）Android 演示 1： https://www.bilibili.com/video/BV1Ge411A7XS

• 多语言（中文 + 英语）Android 演示 2： https://www.bilibili.com/video/BV1eK411y788/

• 带背景噪声的中文 Android 演示： https://www.bilibili.com/video/BV1GR4y167fx

• 中文 Android 演示： https://www.bilibili.com/video/BV1744y1Z76H

• 背景音乐下的中文诗歌 Android 演示： https://www.bilibili.com/video/BV1vR4y1k7eo

预编译 Android APK 下载链接

描述	URL
流式语音识别	地址

预训练模型下载链接

https://github.com/k2-fsa/sherpa-ncnn/releases/tag/models

有用链接

• 文档： https://k2-fsa.github.io/sherpa/ncnn/
• Bilibili 演示视频： https://search.bilibili.com/all?keyword=%E6%96%B0%E4%B8%80%E4%BB%A3Kaldi

联系我们

请访问 https://k2-fsa.github.io/sherpa/social-groups.html 以加入新一代 Kaldi 微信交流群 和 QQ 交流群。

参见

• https://github.com/k2-fsa/sherpa-onnx
• https://github.com/k2-fsa/sherpa

Sherpa-ncnn 快速上手指南

Sherpa-ncnn 是一个基于 ncnn 推理框架的开源工具，支持在多种平台（Linux, macOS, Windows, Android, iOS, RISC-V 等）上离线运行实时语音识别、语音合成 (TTS) 和语音活动检测 (VAD)。它不依赖 PyTorch 或其他重型推理框架，生成的可执行文件仅依赖系统库，非常适合嵌入式设备和移动端部署。

1. 环境准备

系统要求

Sherpa-ncnn 支持广泛的架构和操作系统：

• 架构: x86, x86_64, ARM32, ARM64 (aarch64), RISC-V (riscv64)
• 操作系统: Linux, macOS, Windows, openKylin, Android, WearOS, iOS
• 开发语言支持: C++, C, Python, JavaScript, Go, C#, Kotlin, Swift

前置依赖

• CMake: 版本 3.13 或更高
• 编译器: 支持 C++17 的编译器 (GCC, Clang, MSVC 等)
• Python (可选): 如果使用 Python API，需安装 Python 3.6+
• Node.js (可选): 如果使用 JavaScript API

注意: 本项目静态链接 ncnn，无需单独安装 ncnn，构建时会自动下载或编译。

2. 安装步骤

以下以最常见的 Linux/macOS 环境下通过源码编译安装为例（支持 Python 和 C++）。

步骤一：克隆仓库

git clone https://github.com/k2-fsa/sherpa-ncnn.git
cd sherpa-ncnn

步骤二：创建构建目录并配置

使用 CMake 配置项目。默认会启用 Python 支持。如果需要纯 C++ 构建，可添加 -DBUILD_SHARED_LIBS=OFF 等参数，但通常默认配置即可满足大多数需求。

mkdir build
cd build
cmake -DCMAKE_BUILD_TYPE=Release ..

提示: 如果网络较慢导致下载子模块失败，请确保网络通畅，或手动配置 git 代理。目前官方未提供特定的国内构建镜像源，但模型文件可从国内加速节点下载（见下文）。

步骤三：编译与安装

# 编译 (根据 CPU 核心数调整 -j 参数，例如 -j4)
make -j4

# 安装到系统目录 (可选，需要 sudo 权限)
sudo make install

# 或者仅在 build 目录内使用，无需安装

对于 Android 或 iOS 开发，请参考官方文档中关于交叉编译的具体章节，或使用提供的预编译 APK 进行体验。

3. 基本使用

使用前需要先下载预训练模型。

3.1 下载模型

访问官方模型发布页下载适合你的模型（例如中文流式识别模型）：

• 模型下载地址: https://github.com/k2-fsa/sherpa-ncnn/releases/tag/models
• 推荐模型示例: sherpa-ncnn-streaming-zipformer-bilingual-zh-en-2023-02-13 (中英双语流式模型)

解压模型到本地目录，假设路径为 ./model。

3.2 Python 快速示例

确保已安装 sherpa_ncnn 包（如果之前执行了 sudo make install 且配置了 Python 路径，或者在 build 目录中设置 PYTHONPATH）。

import sherpa_ncnn
import soundfile as sf

# 1. 创建识别器配置
config = sherpa_ncnn.RecognizerConfig(
    feat_config=sherpa_ncnn.FeatureExtractorConfig(
        sampling_rate=16000,
        feature_dim=80
    ),
    model_config=sherpa_ncnn.ModelConfig(
        transducer=sherpa_ncnn.TransducerModelConfig(
            encoder_param="./model/encoder_jit_trace-pnnx.ncnn.param",
            encoder_bin="./model/encoder_jit_trace-pnnx.ncnn.bin",
            decoder_param="./model/decoder_jit_trace-pnnx.ncnn.param",
            decoder_bin="./model/decoder_jit_trace-pnnx.ncnn.bin",
            joiner_param="./model/joiner_jit_trace-pnnx.ncnn.param",
            joiner_bin="./model/joiner_jit_trace-pnnx.ncnn.bin",
            num_threads=2,
            provider="cpu",
        ),
        tokens="./model/tokens.txt",
    ),
    enable_tracing=False,
    sample_rate=16000,
    feature_dim=80,
    decoding_method="greedy_search",
    max_active_paths=4,
)

# 2. 创建识别器实例
recognizer = sherpa_ncnn.Recognizer(config)

# 3. 读取音频文件并进行识别
# 假设有一个 16kHz 单声道的 wav 文件
wave, sample_rate = sf.read("test.wav", dtype="float32")
assert sample_rate == 16000, f"Expected 16000, got: {sample_rate}"

stream = recognizer.create_stream()
stream.accept_waveform(sample_rate, wave)

recognizer.decode_stream(stream)

print("识别结果:", stream.result.text)

3.3 C++ 快速示例

在 build 目录下编译一个简单的 C++ 示例（假设已有 main.cpp）：

g++ main.cpp -o demo \
  -I../sherpa-ncnn/csrc \
  -I../sherpa-ncnn/build/_deps/kaldi-native-fbfs-src/kaldi-native-fbfs/csrc \
  -L. -lsherpa-ncnn-c-api \
  -Wl,-rpath,.

运行程序：

./demo --tokens=./model/tokens.txt \
       --encoder-param=./model/encoder_jit_trace-pnnx.ncnn.param \
       --encoder-bin=./model/encoder_jit_trace-pnnx.ncnn.bin \
       --decoder-param=./model/decoder_jit_trace-pnnx.ncnn.param \
       --decoder-bin=./model/decoder_jit_trace-pnnx.ncnn.bin \
       --joiner-param=./model/joiner_jit_trace-pnnx.ncnn.param \
       --joiner-bin=./model/joiner_jit_trace-pnnx.ncnn.bin \
       --sound-file=test.wav

---

更多资源:

• 详细文档: https://k2-fsa.github.io/sherpa/ncnn/
• 演示视频 (Bilibili): 搜索 "新一代 Kaldi"
• 社区交流: 微信/QQ 群请访问 https://k2-fsa.github.io/sherpa/social-groups.html