夏尔巴人

sherpa 是一个基于 PyTorch 的开源语音-文本-文本推理框架，专门 用于端到端（E2E）模型，即基于转换器和 CTC 的模型。它同时提供了 C++ 和 Python API。

本项目专注于部署，即使用预训练模型进行语音转写。如果您对如何训练或微调自己的模型感兴趣，请参阅 icefall。

我们还有其他类似的项目，但不依赖于 PyTorch：

• sherpa-onnx
• sherpa-ncnn

sherpa-onnx 和 sherpa-ncnn 还支持 iOS、Android 以及嵌入式系统。

安装与使用

请参阅 https://k2-fsa.github.io/sherpa/ 上的 文档。

在浏览器中试用

无需安装任何东西，即可在浏览器中试用 sherpa： https://huggingface.co/spaces/k2-fsa/automatic-speech-recognition

Sherpa 快速上手指南

Sherpa 是一个基于 PyTorch 的开源端到端（E2E）语音识别推理框架，专注于 Transducer 和 CTC 模型。它提供 C++ 和 Python API，旨在高效部署预训练模型进行语音转文字任务。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux (推荐 Ubuntu 18.04+) 或 macOS。Windows 用户建议使用 WSL2。
• Python 版本：Python 3.8 - 3.11。
• 核心依赖：
  • PyTorch (需匹配您的 CUDA 版本或 CPU 版本)
  • k2 (FSA 库，Sherpa 的核心依赖)
  • torchaudio

提示：如果您需要在移动端（iOS/Android）或嵌入式设备上运行，且不依赖 PyTorch，请参考该项目旗下的 sherpa-onnx 或 sherpa-ncnn。

安装步骤

推荐使用 pip 进行安装。为了获得更快的下载速度，国内开发者可以使用清华或阿里镜像源。

1. 安装 PyTorch

首先安装与您硬件匹配的 PyTorch 版本。以下是 CPU 版本的示例（生产环境通常建议安装 CUDA 版本）：

pip install torch torchaudio --index-url https://download.pytorch.org/whl/cpu

如需 CUDA 版本，请访问 PyTorch 官网 获取对应命令。

2. 安装 Sherpa

使用国内镜像源安装 sherpa 及其依赖：

pip install sherpa -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

以下是一个最简单的 Python 示例，展示如何加载预训练模型并转录音频文件。

代码示例

import sherpa

# 1. 创建识别器 (使用一个免费的预训练模型)
# 这里以康奈尔大学的英文流式模型为例
recognizer = sherpa.OnlineRecognizer(
    transducer_model_files=[
        "https://huggingface.co/csukuangfj/sherpa-english-streaming-transducer-large/resolve/main/encoder.onnx",
        "https://huggingface.co/csukuangfj/sherpa-english-streaming-transducer-large/resolve/main/decoder.onnx",
        "https://huggingface.co/csukuangfj/sherpa-english-streaming-transducer-large/resolve/main/joiner.onnx",
    ],
    tokens="https://huggingface.co/csukuangfj/sherpa-english-streaming-transducer-large/resolve/main/tokens.txt",
    num_threads=2,
    decoding_method="greedy_search",
    sample_rate=16000,
    feature_dim=80,
    enable_tracing=False,
)

# 2. 创建流式处理对象
stream = recognizer.create_stream()

# 3. 读取音频文件 (假设文件为 16kHz 单声道 WAV)
# 实际使用中请使用 soundfile 或 torchaudio 读取波形数据
import soundfile as sf
waveform, sample_rate = sf.read("test.wav", dtype="float32")

# 确保采样率为 16k
if sample_rate != 16000:
    raise ValueError("Sample rate must be 16000Hz")

# 4. 输入音频数据并进行识别
stream.accept_waveform(sample_rate, waveform)
while recognizer.is_ready(stream):
    recognizer.decode_stream(stream)

# 5. 输出最终结果
result = recognizer.get_result(stream)
print(f"识别结果：{result.text}")

在线体验

如果您不想在本地安装任何依赖，可以直接在浏览器中尝试 Sherpa 的功能： https://huggingface.co/spaces/k2-fsa/automatic-speech-recognition

注意：本指南仅涵盖推理（Deployment）部分。如果您需要训练或微调自己的模型，请参阅 icefall 项目。详细文档请访问：https://k2-fsa.github.io/sherpa/