(简体中文|English)

FunASR 致力于搭建语音识别领域学术研究与工业应用之间的桥梁。通过支持工业级语音识别模型的训练与微调，研究人员和开发者能够更便捷地开展语音识别模型的研究与生产工作，从而推动语音识别生态的发展。让语音识别充满乐趣！

亮点 | 新闻 | 安装 | 快速入门 | 教程 | 运行时环境 | 模型库 | 联系我们

亮点

• FunASR 是一款基础的语音识别工具包，提供多种功能，包括语音识别（ASR）、语音活动检测（VAD）、标点符号恢复、语言模型、说话人验证、说话人日志以及多说话人 ASR 等。FunASR 提供便捷的脚本和教程，支持预训练模型的推理与微调。
• 我们已在 ModelScope 和 Hugging Face 上发布了大量学术与工业领域的预训练模型，可通过我们的 模型库 获取。其中具有代表性的 Paraformer-large 是一种非自回归的端到端语音识别模型，具有高精度、高效率和部署便捷等优势，可支持快速构建语音识别服务。有关服务部署的更多详情，请参阅 服务部署文档。

最新动态：

• 2025年12月15日：Fun-ASR-Nano-2512 是一款基于数千万小时真实语音数据训练的端到端语音识别大模型。它支持低延迟实时转写，并覆盖31种语言。
• 2024年10月29日：实时转录服务1.12版本发布，双遍离线模式支持 SensevoiceSmall 模型；（文档）；
• 2024年10月10日：新增对 Whisper-large-v3-turbo 模型的支持，该模型是一款多任务模型，可实现多语言语音识别、语音翻译和语言识别等功能。用户可以从 ModelScope 和 OpenAI 下载该模型。
• 2024年9月26日：离线文件转录服务4.6版本、英语离线文件转录服务1.7版本以及实时转录服务1.11版本发布，修复了内存泄漏问题，并支持 SensevoiceSmall ONNX 模型；同时发布了文件转录服务2.0 GPU版本，解决了 GPU 内存泄漏问题；（文档）；
• 2024年9月25日：新增关键词检测模型支持。现支持四种模型的微调与推理：fsmn_kws、fsmn_kws_mt、sanm_kws 和 sanm_kws_streaming。
• 2024年7月4日：SenseVoice 是一款具备多种语音理解能力的基础模型，包括 ASR、LID、SER 和 AED 等。

安装

• 需求

python>=3.8
torch>=1.13
torchaudio

• 通过 pypi 安装

pip3 install -U funasr

• 或者从源代码安装

git clone https://github.com/alibaba/FunASR.git && cd FunASR
pip3 install -e ./

• 安装 modelscope 或 huggingface_hub 以获取预训练模型（可选）

pip3 install -U modelscope huggingface_hub

模型库

FunASR 已在工业级数据上开源了大量预训练模型。您可以在模型许可协议的许可下自由使用、复制、修改和分享 FunASR 模型。以下是一些代表性模型，更多模型请参阅模型库。

（注：⭐ 表示 ModelScope 模型库，🤗 表示 Huggingface 模型库，🍀 表示 OpenAI 模型库）

快速入门

以下是快速入门教程。测试音频文件（普通话，英语)。

命令行使用

funasr ++model=paraformer-zh ++vad_model="fsmn-vad" ++punc_model="ct-punc" ++input=asr_example_zh.wav

注意：支持单个音频文件的识别，也支持Kaldi风格的wav.scp格式的文件列表：wav_id wav_pat。

语音识别（非流式）

Fun-ASR-Nano

from funasr import AutoModel

model_dir = "FunAudioLLM/Fun-ASR-Nano-2512"

model = AutoModel(
    model=model_dir,
    vad_model="fsmn-vad",
    vad_kwargs={"max_single_segment_time": 30000},
    device="cuda:0",
)
res = model.generate(input=[wav_path], cache={}, batch_size_s=0)
text = res[0]["text"]
print(text)

参数说明：

• model_dir：模型名称，或本地磁盘上模型的路径。
• vad_model：表示启用VAD（语音活动检测）。VAD的作用是将长音频分割成较短的片段。在这种情况下，推理时间包括VAD和SenseVoice的总耗时，代表端到端延迟。如果希望单独测试SenseVoice模型的推理时间，可以禁用VAD模型。
• vad_kwargs：指定VAD模型的配置。max_single_segment_time：表示vad_model进行音频分割的最大时长，单位为毫秒（ms）。
• batch_size_s：表示使用动态批处理，其中批次中音频的总时长以秒（s）为单位。

SenseVoice

from funasr import AutoModel
from funasr.utils.postprocess_utils import rich_transcription_postprocess

model_dir = "iic/SenseVoiceSmall"

model = AutoModel(
    model=model_dir,
    vad_model="fsmn-vad",
    vad_kwargs={"max_single_segment_time": 30000},
    device="cuda:0",
)

# 英语
res = model.generate(
    input=f"{model.model_path}/example/en.mp3",
    cache={},
    language="auto",  # "zn", "en", "yue", "ja", "ko", "nospeech"
    use_itn=True,
    batch_size_s=60,
    merge_vad=True,  #
    merge_length_s=15,
)
text = rich_transcription_postprocess(res[0]["text"])
print(text)

参数说明：

• model_dir：模型名称，或本地磁盘上模型的路径。
• vad_model：表示启用VAD（语音活动检测）。VAD的作用是将长音频分割成较短的片段。在这种情况下，推理时间包括VAD和SenseVoice的总耗时，代表端到端延迟。如果希望单独测试SenseVoice模型的推理时间，可以禁用VAD模型。
• vad_kwargs：指定VAD模型的配置。max_single_segment_time：表示vad_model进行音频分割的最大时长，单位为毫秒（ms）。
• use_itn：输出结果是否包含标点符号和逆文本规范化。
• batch_size_s：表示使用动态批处理，其中批次中音频的总时长以秒（s）为单位。
• merge_vad：是否合并由VAD模型分割的短音频片段，合并后的长度为merge_length_s，单位为秒（s）。
• ban_emo_unk：是否禁止输出emo_unk标记。

Paraformer

from funasr import AutoModel
# paraformer-zh 是一个多功能的ASR模型
# 根据需要选择是否使用vad、punc、spk等
model = AutoModel(model="paraformer-zh",  vad_model="fsmn-vad",  punc_model="ct-punc",
                  # spk_model="cam++",
                  )
res = model.generate(input=f"{model.model_path}/example/asr_example.wav",
                     batch_size_s=300,
                     hotword='魔搭')
print(res)

注：hub表示模型仓库，ms代表选择ModelScope下载，hf代表选择Huggingface下载。

语音识别（流式）

from funasr import AutoModel

chunk_size = [0, 10, 5] #[0, 10, 5] 600ms, [0, 8, 4] 480ms
encoder_chunk_look_back = 4 #编码器自注意力回看的块数
decoder_chunk_look_back = 1 #解码器交叉注意力回看的编码器块数

model = AutoModel(model="paraformer-zh-streaming")

import soundfile
import os

wav_file = os.path.join(model.model_path, "example/asr_example.wav")
speech, sample_rate = soundfile.read(wav_file)
chunk_stride = chunk_size[1] * 960 # 600ms

cache = {}
total_chunk_num = int(len((speech)-1)/chunk_stride+1)
for i in range(total_chunk_num):
    speech_chunk = speech[i*chunk_stride:(i+1)*chunk_stride]
    is_final = i == total_chunk_num - 1
    res = model.generate(input=speech_chunk, cache=cache, is_final=is_final, chunk_size=chunk_size, encoder_chunk_look_back=encoder_chunk_look_back, decoder_chunk_look_back=decoder_chunk_look_back)
    print(res)

注：chunk_size是流式延迟的配置。[0,10,5]表示实时显示的粒度为10*60=600ms，前瞻信息为5*60=300ms。每次推理输入为600ms（采样点为16000*0.6=960），输出为对应的文本。对于最后一段语音输入，需设置is_final=True，以强制输出最后一个词。

from funasr import AutoModel

model = AutoModel(model="fsmn-vad")
wav_file = f"{model.model_path}/example/vad_example.wav"
res = model.generate(input=wav_file)
print(res)

from funasr import AutoModel

chunk_size = 200 # 毫秒
model = AutoModel(model="fsmn-vad")

import soundfile

wav_file = f"{model.model_path}/example/vad_example.wav"
speech, sample_rate = soundfile.read(wav_file)
chunk_stride = int(chunk_size * sample_rate / 1000)

cache = {}
total_chunk_num = int(len((speech)-1)/chunk_stride+1)
for i in range(total_chunk_num):
    speech_chunk = speech[i*chunk_stride:(i+1)*chunk_stride]
    is_final = i == total_chunk_num - 1
    res = model.generate(input=speech_chunk, cache=cache, is_final=is_final, chunk_size=chunk_size)
    if len(res[0]["value"]):
        print(res)

from funasr import AutoModel

model = AutoModel(model="ct-punc")
res = model.generate(input="那今天的会就到这里吧 happy new year 明年见")
print(res)

from funasr import AutoModel

model = AutoModel(model="fa-zh")
wav_file = f"{model.model_path}/example/asr_example.wav"
text_file = f"{model.model_path}/example/text.txt"
res = model.generate(input=(wav_file, text_file), data_type=("sound", "text"))
print(res)

from funasr import AutoModel

model = AutoModel(model="emotion2vec_plus_large")

wav_file = f"{model.model_path}/example/test.wav"

res = model.generate(wav_file, output_dir="./outputs", granularity="utterance", extract_embedding=False)
print(res)

导出 ONNX

命令行使用

funasr-export ++model=paraformer ++quantize=false ++device=cpu

Python

from funasr import AutoModel

model = AutoModel(model="paraformer", device="cpu")

res = model.export(quantize=False)

测试 ONNX

# pip3 install -U funasr-onnx
from pathlib import Path
from runtime.python.onnxruntime.funasr_onnx.paraformer_bin import Paraformer


home_dir = Path.home()

model_dir = "damo/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-pytorch"
model = Paraformer(model_dir, batch_size=1, quantize=True)

wav_path = [f"{home_dir}/.cache/modelscope/hub/models/damo/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-pytorch/example/asr_example.wav"]

result = model(wav_path)
print(result)

更多示例参考 demo

部署服务

FunASR 支持部署预训练或进一步微调后的模型以提供服务。目前支持以下类型的服务部署：

• 文件转写服务，普通话，CPU 版本，已完成
• 实时转写服务，普通话（CPU），已完成
• 文件转写服务，英语，CPU 版本，已完成
• 文件转写服务，普通话，GPU 版本，正在进行中
• 以及其他。

更多详细信息，请参阅 服务部署文档。

社区交流

如果您在使用过程中遇到问题，可以直接在 GitHub 页面上提交 Issue。

您也可以扫描下方的钉钉群二维码，加入社区群进行交流和讨论。

钉钉群

贡献者

贡献者名单请参见 贡献者列表

许可证

本项目采用 MIT 许可证 开源。FunASR 还包含多种第三方组件，以及基于其他开源许可证修改的部分代码。 预训练模型的使用受 模型许可证 约束。

引用

@inproceedings{gao2023funasr,
  author={Zhifu Gao and Zerui Li and Jiaming Wang and Haoneng Luo and Xian Shi and Mengzhe Chen and Yabin Li and Lingyun Zuo and Zhihao Du and Zhangyu Xiao and Shiliang Zhang},
  title={FunASR: A Fundamental End-to-End Speech Recognition Toolkit},
  year={2023},
  booktitle={INTERSPEECH},
}
@inproceedings{An2023bat,
  author={Keyu An and Xian Shi and Shiliang Zhang},
  title={BAT: Boundary aware transducer for memory-efficient and low-latency ASR},
  year={2023},
  booktitle={INTERSPEECH},
}
@inproceedings{gao22b_interspeech,
  author={Zhifu Gao and ShiLiang Zhang and Ian McLoughlin and Zhijie Yan},
  title={Paraformer: Fast and Accurate Parallel Transformer for Non-autoregressive End-to-End Speech Recognition},
  year=2022,
  booktitle={Proc. Interspeech 2022},
  pages={2063--2067},
  doi={10.21437/Interspeech.2022-9996}
}
@inproceedings{shi2023seaco,
  author={Xian Shi and Yexin Yang and Zerui Li and Yanni Chen and Zhifu Gao and Shiliang Zhang},
  title={SeACo-Paraformer: A Non-Autoregressive ASR System with Flexible and Effective Hotword Customization Ability},
  year={2023},
  booktitle={ICASSP2024}
}

FunASR 快速上手指南

FunASR 是一款由阿里巴巴达摩院开源的基础性端到端语音识别工具包，旨在连接学术研究与工业应用。它支持语音识别（ASR）、语音活动检测（VAD）、标点恢复、说话人验证、说话人日记以及多说话人 ASR 等多种功能，并提供丰富的工业级预训练模型。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS, Windows
• Python 版本：>= 3.8
• 核心依赖：
  • PyTorch >= 1.13
  • torchaudio

安装步骤

1. 安装 FunASR

推荐使用 pip 直接安装最新稳定版：

pip3 install -U funasr

如果您需要从源码安装以获取最新特性：

git clone https://github.com/alibaba/FunASR.git && cd FunASR
pip3 install -e ./

2. 安装模型下载工具（可选但推荐）

FunASR 的预训练模型主要托管在 ModelScope（魔搭社区）和 HuggingFace 上。为了更方便地下载模型（尤其是国内用户推荐使用 ModelScope），建议安装以下库：

pip3 install -U modelscope huggingface_hub

基本使用

FunASR 提供了极简的 Python API 来加载预训练模型并进行推理。以下是一个使用中文语音识别模型（Paraformer-large）进行文件转录的最简单示例。

示例：语音文件转文字

from funasr import AutoModel

# 初始化模型
# model_name: 模型名称，支持自动从 ModelScope 或 HuggingFace 下载
# device: 运行设备，"cuda" 或 "cpu"
model = AutoModel(model="paraformer-zh", device="cuda")

# 执行推理
# input: 音频文件路径，支持单文件或文件列表
res = model.generate(input="example.wav")

# 打印结果
print(res)

代码说明：

• AutoModel 会自动处理模型的下载、加载和设备配置。
• 首次运行时，如果本地没有模型，它会自动从 ModelScope 下载（若已安装 modelscope）或 HuggingFace。
• generate 方法返回包含识别文本、时间戳等信息的字典列表。

进阶：批量处理与参数调整

from funasr import AutoModel

model = AutoModel(model="paraformer-zh", device="cuda")

# 批量处理多个文件
files = ["audio_1.wav", "audio_2.wav"]
res = model.generate(input=files, batch_size_s=300)

for item in res:
    print(f"File: {item.get('filename', 'unknown')}, Text: {item['text']}")

通过以上步骤，您即可快速搭建起基于 FunASR 的语音识别服务。更多高级功能（如 VAD、标点恢复、说话人日记等）可参考官方教程文档。