(简体中文|English|日本語)

简介

SenseVoice 是一款具备多种语音理解能力的语音基础模型，包括自动语音识别 (ASR)、语音语言识别 (LID)、语音情感识别 (SER) 以及音频事件检测 (AED)。

亮点 🎯

SenseVoice 专注于高精度多语言语音识别、语音情感识别和音频事件检测。

• 多语言语音识别： 基于超过40万小时的数据训练，支持50多种语言，其识别性能超越了 Whisper 模型。
• 丰富转录功能：
  • 具备出色的情感识别能力，在测试数据上达到并超越当前最佳的情感识别模型的效果。
  • 提供声音事件检测功能，能够检测多种常见的人机交互事件，如背景音乐、掌声、笑声、哭声、咳嗽和打喷嚏等。
• 高效推理： SenseVoice-Small 模型采用非自回归端到端框架，推理延迟极低。处理10秒音频仅需70毫秒，速度是 Whisper-Large 的15倍。
• 便捷微调： 提供便捷的微调脚本和策略，用户可根据自身业务场景轻松解决长尾样本问题。
• 服务部署： 提供服务部署流水线，支持多并发请求，客户端语言包括 Python、C++、HTML、Java 和 C# 等。

最新动态 🔥

• 2024年11月：新增基于 CTC 对齐的时间戳支持。
• 2024年7月：增加了针对 ONNX 和 libtorch 的导出功能，以及 Python 版本运行时：funasr-onnx-0.4.0、funasr-torch-0.1.1。
• 2024年7月：开源了 SenseVoice-Small 语音理解模型，该模型具备高精度的多语言语音识别、情感识别和音频事件检测能力，支持普通话、粤语、英语、日语和韩语，并且推理延迟极低。
• 2024年7月：推出了用于自然语音生成的 CosyVoice，可实现多语言、音色和情感控制。CosyVoice 在多语言语音生成、零样本语音生成、跨语言语音克隆以及指令跟随方面表现出色。CosyVoice 仓库 和 CosyVoice 空间。
• 2024年7月：FunASR 是一款基础语音识别工具包，提供多种功能，包括语音识别 (ASR)、语音活动检测 (VAD)、标点符号恢复、语言模型、说话人验证、说话人分离以及多说话人 ASR。

基准测试 📝

多语言语音识别

我们在开源基准数据集（包括 AISHELL-1、AISHELL-2、Wenetspeech、LibriSpeech 和 Common Voice）上对比了 SenseVoice 和 Whisper 的多语言语音识别性能。在中文和粤语识别方面，SenseVoice-Small 模型具有优势。

语音情感识别

由于目前缺乏广泛使用的语音情感识别基准和方法，我们对多个测试集进行了多维度评估，并与近期各类基准测试中的大量结果进行了全面比较。所选测试集涵盖了中英文数据，包含表演、电影和自然对话等多种风格。在未针对目标数据进行微调的情况下，SenseVoice 已经达到了甚至超越了当前最佳语音情感识别模型的性能。

此外，我们还在这些测试集上对比了多个开源语音情感识别模型，结果显示 SenseVoice-Large 模型在几乎所有数据集上都取得了最佳成绩，而 SenseVoice-Small 模型也在大多数数据集上超越了其他开源模型。

音频事件检测

尽管 SenseVoice 仅使用语音数据进行训练，但它仍然可以作为独立的事件检测模型使用。我们将其在环境声音分类数据集 ESC-50 上的表现与业界广泛使用的 BEATS 和 PANN 模型进行了比较。SenseVoice 模型在这些任务上取得了令人满意的结果。然而，由于训练数据和方法的限制，其事件分类性能与专门的 AED 模型相比仍存在一定差距。

计算效率

SenseVoice-Small 模型采用了非自回归端到端架构，因此推理延迟极低。在参数量与 Whisper-Small 相近的情况下，它的推理速度比 Whisper-Small 快5倍以上，比 Whisper-Large 快15倍。

系统要求

pip install -r requirements.txt

使用方法

推理

支持任意格式和任意时长的音频输入。

from funasr import AutoModel
from funasr.utils.postprocess_utils import rich_transcription_postprocess

model_dir = "iic/SenseVoiceSmall"


model = AutoModel(
    model=model_dir,
    trust_remote_code=True,
    remote_code="./model.py",    
    vad_model="fsmn-vad",
    vad_kwargs={"max_single_segment_time": 30000},
    device="cuda:0",
)

# zh
res = model.generate(
    input=f"{model.model_path}/example/en.mp3",
    cache={},
    language="auto",  # "zh", "en", "yue", "ja", "ko", "nospeech"
    use_itn=True,
    batch_size_s=60,
    merge_vad=True,  #
    merge_length_s=15,
)
text = rich_transcription_postprocess(res[0]["text"])
print(text)

如果所有输入均为短音频（<30秒），且需要通过批处理推理来提高效率，则可以移除 VAD 模型，并相应地设置 batch_size。

model = AutoModel(model=model_dir, trust_remote_code=True, device="cuda:0")

res = model.generate(
    input=f"{model.model_path}/example/en.mp3",
    cache={},
    language="zh", # "zh", "en", "yue", "ja", "ko", "nospeech"
    use_itn=False,
    batch_size=64, 
)

更多用法请参考 文档

直接推理

支持任意格式的音频输入，输入时长限制为 30 秒或更短。

from model import SenseVoiceSmall
from funasr.utils.postprocess_utils import rich_transcription_postprocess

model_dir = "iic/SenseVoiceSmall"
m, kwargs = SenseVoiceSmall.from_pretrained(model=model_dir, device="cuda:0")
m.eval()

res = m.inference(
    data_in=f"{kwargs['model_path']}/example/en.mp3",
    language="auto", # "zh", "en", "yue", "ja", "ko", "nospeech"
    use_itn=False,
    ban_emo_unk=False,
    **kwargs,
)

text = rich_transcription_postprocess(res[0][0]["text"])
print(text)

导出与测试

# pip3 install -U funasr funasr-onnx
from pathlib import Path
from funasr_onnx import SenseVoiceSmall
from funasr_onnx.utils.postprocess_utils import rich_transcription_postprocess


model_dir = "iic/SenseVoiceSmall"

model = SenseVoiceSmall(model_dir, batch_size=10, quantize=True)

# 推理
wav_or_scp = ["{}/.cache/modelscope/hub/{}/example/en.mp3".format(Path.home(), model_dir)]

res = model(wav_or_scp, language="auto", use_itn=True)
print([rich_transcription_postprocess(i) for i in res])

from pathlib import Path
from funasr_torch import SenseVoiceSmall
from funasr_torch.utils.postprocess_utils import rich_transcription_postprocess


model_dir = "iic/SenseVoiceSmall"

model = SenseVoiceSmall(model_dir, batch_size=10, device="cuda:0")

wav_or_scp = ["{}/.cache/modelscope/hub/{}/example/en.mp3".format(Path.home(), model_dir)]

res = model(wav_or_scp, language="auto", use_itn=True)
print([rich_transcription_postprocess(i) for i in res])

服务

使用 FastAPI 部署

export SENSEVOICE_DEVICE=cuda:0
fastapi run --port 50000

微调

需求

git clone https://github.com/alibaba/FunASR.git && cd FunASR
pip3 install -e ./

🐳 Docker 支持

SenseVoice 可以通过 Docker 构建和运行，从而简化部署、确保可重复性，并支持 CPU 和 GPU 推理。

使用 Docker 构建

docker build -t sensevoice .

运行（GPU，默认）

docker run --gpus all -p 50000:50000 sensevoice

运行（仅 CPU）

docker run -e SENSEVOICE_DEVICE=cpu -p 50000:50000 sensevoice

Docker Compose

Docker Compose 提供了一种更简便的方式运行 SenseVoice，同时支持持久化模型缓存、网络等功能。

启动堆栈

docker compose up --build

数据准备

数据示例

{"key": "YOU0000008470_S0000238_punc_itn", "text_language": "<|en|>", "emo_target": "<|NEUTRAL|>", "event_target": "<|Speech|>", "with_or_wo_itn": "<|withitn|>", "target": "Including legal due diligence, subscription agreement, negotiation.", "source": "/cpfs01/shared/Group-speech/beinian.lzr/data/industrial_data/english_all/audio/YOU0000008470_S0000238.wav", "target_len": 7, "source_len": 140}
{"key": "AUD0000001556_S0007580", "text_language": "<|en|>", "emo_target": "<|NEUTRAL|>", "event_target": "<|Speech|>", "with_or_wo_itn": "<|woitn|>", "target": "there is a tendency to identify the self or take interest in what one has got used to", "source": "/cpfs01/shared/Group-speech/beinian.lzr/data/industrial_data/english_all/audio/AUD0000001556_S0007580.wav", "target_len": 18, "source_len": 360}

完整参考 data/train_example.jsonl

BAC009S0764W0121 甚至出现交易几乎停滞的情况
BAC009S0916W0489 湖北一公司以员工名义贷款数十员工负债千万
asr_example_cn_en 所有只要处理 data 不管你是做 machine learning 做 deep learning 做 data analytics 做 data science 也好 scientist 也好通通都要都做的基本功啊那 again 先先对有一些>也许对
ID0012W0014 he tried to think how it could be

BAC009S0764W0121 https://isv-data.oss-cn-hangzhou.aliyuncs.com/ics/MaaS/ASR/test_audio/BAC009S0764W0121.wav
BAC009S0916W0489 https://isv-data.oss-cn-hangzhou.aliyuncs.com/ics/MaaS/ASR/test_audio/BAC009S0916W0489.wav
asr_example_cn_en https://isv-data.oss-cn-hangzhou.aliyuncs.com/ics/MaaS/ASR/test_audio/asr_example_cn_en.wav
ID0012W0014 https://isv-data.oss-cn-hangzhou.aliyuncs.com/ics/MaaS/ASR/test_audio/asr_example_en.wav

BAC009S0764W0121 <|zh|>
BAC009S0916W0489 <|zh|>
asr_example_cn_en <|zh|>
ID0012W0014 <|en|>

BAC009S0764W0121 <|NEUTRAL|>
BAC009S0916W0489 <|NEUTRAL|>
asr_example_cn_en <|NEUTRAL|>
ID0012W0014 <|NEUTRAL|>

BAC009S0764W0121 <|Speech|>
BAC009S0916W0489 <|Speech|>
asr_example_cn_en <|Speech|>
ID0012W0014 <|Speech|>

# 从wav.scp、text.txt、text_language.txt、emo_target.txt、event_target.txt生成train.jsonl和val.jsonl
sensevoice2jsonl \
++scp_file_list='["../../../data/list/train_wav.scp", "../../../data/list/train_text.txt", "../../../data/list/train_text_language.txt", "../../../data/list/train_emo.txt", "../../../data/list/train_event.txt"]' \
++data_type_list='["source", "target", "text_language", "emo_target", "event_target"]' \
++jsonl_file_out="../../../data/list/train.jsonl"

# 从wav.scp和text.txt生成train.jsonl和val.jsonl
sensevoice2jsonl \
++scp_file_list='["../../../data/list/train_wav.scp", "../../../data/list/train_text.txt"]' \
++data_type_list='["source", "target"]' \
++jsonl_file_out="../../../data/list/train.jsonl" \
++model_dir='iic/SenseVoiceSmall'

微调

请确保在 finetune.sh 中将 train_tool 修改为你之前设置的 FunASR 安装目录下的 funasr/bin/train_ds.py 的绝对路径。

bash finetune.sh

WebUI

python webui.py

值得关注的第三方工作

• Triton（GPU）部署最佳实践：使用 Triton + TensorRT，经 FP32 测试，在 V100 GPU 上实现了 526 倍加速。FP16 支持正在进行中。仓库
• Sherpa-onnx 部署最佳实践：支持以 C++、C、Python、C#、Go、Swift、Kotlin、Java、JavaScript 和 Dart 等 10 种编程语言使用 SenseVoice。还支持在 iOS、Android 和 Raspberry Pi 等平台上部署 SenseVoice。仓库
• SenseVoice.cpp。基于 GGML 的纯 C/C++ 版本的 SenseVoice 推理，支持 3 位、4 位、5 位、8 位量化等，无第三方依赖。
• streaming-sensevoice 采用分块推理方式。为实现伪流式传输，它使用了截断注意力机制，牺牲了一定的准确性。此外，该技术还支持 CTC 前缀束搜索和热词增强功能。
• OmniSenseVoice 针对闪电般的快速推理和批处理流程进行了优化。
• SenseVoice Hotword，神经网络热词增强，基于上下文短语预测网络的上下文化端到端语音识别。

社区

如果在使用过程中遇到问题，可以直接在 GitHub 页面上提交 Issue。

你也可以扫描以下钉钉群二维码加入社区群，进行交流和讨论。

FunASR

SenseVoice 快速上手指南

SenseVoice 是一个多功能语音基础模型，支持自动语音识别（ASR）、语种识别（LID）、情感识别（SER）和音频事件检测（AED）。该模型支持 50+ 种语言，推理速度极快（比 Whisper-Large 快 15 倍），并提供丰富的微调和服务部署方案。

环境准备

• 操作系统：Linux / macOS / Windows
• Python 版本：3.8 - 3.10
• 硬件要求：
  • GPU 推理（推荐）：NVIDIA GPU + CUDA 11.x+
  • CPU 推理：支持，但速度较慢
• 前置依赖：
  • torch (建议 2.0+)
  • funasr 核心库
  • 可选：onnxruntime, libtorch (用于导出加速)

安装步骤

推荐使用国内镜像源加速安装。

1. 安装基础依赖

pip install -r requirements.txt

若需手动安装核心库，可使用以下命令（推荐阿里云/清华源）：

pip install funasr -i https://mirrors.aliyun.com/pypi/simple/
pip install modelscope -i https://mirrors.aliyun.com/pypi/simple/

2. 验证安装

确保能够导入相关模块且无报错：

from funasr import AutoModel
print("Installation successful!")

基本使用

以下示例展示如何使用 AutoModel 接口进行最简单的语音转文字及情感分析。该方式自动处理长音频切片（VAD），支持任意时长和格式的音频输入。

快速推理示例

from funasr import AutoModel
from funasr.utils.postprocess_utils import rich_transcription_postprocess

# 模型目录，可自动从 ModelScope 下载
model_dir = "iic/SenseVoiceSmall"

# 初始化模型
model = AutoModel(
    model=model_dir,
    trust_remote_code=True,
    remote_code="./model.py",    
    vad_model="fsmn-vad",                # 启用 VAD 处理长音频
    vad_kwargs={"max_single_segment_time": 30000}, # 最大切片时长 30s
    device="cuda:0",                     # 若无 GPU 请改为 "cpu"
)

# 执行推理
res = model.generate(
    input=f"{model.model_path}/example/en.mp3", # 替换为你的音频路径
    cache={},
    language="auto",   # 支持："zh", "en", "yue", "ja", "ko", "nospeech", "auto"
    use_itn=True,      # 是否开启逆文本标准化（标点、数字格式化）
    batch_size_s=60,   # 动态批处理，单位秒
    merge_vad=True,    # 合并 VAD 切片
    merge_length_s=15, # 合并阈值
)

# 后处理并打印结果
text = rich_transcription_postprocess(res[0]["text"])
print(text)

短音频批量推理（高性能模式）

如果所有输入音频均小于 30 秒且需要高吞吐批量处理，可关闭 VAD 以提升效率：

from funasr import AutoModel

model_dir = "iic/SenseVoiceSmall"

# 不加载 VAD 模型
model = AutoModel(model=model_dir, trust_remote_code=True, device="cuda:0")

res = model.generate(
    input=f"{model.model_path}/example/en.mp3",
    cache={},
    language="zh",     # 指定语种
    use_itn=False,
    batch_size=64,     # 静态批处理数量
)

print(res)

参数说明简述

• language: 指定识别语种，设为 "auto" 可自动检测。
• use_itn: 设为 True 可输出带标点且数字格式化的文本（如"一百"转为"100"）。
• device: 根据硬件环境选择 "cuda:0" 或 "cpu"。