Silero VAD

Silero VAD - 预训练的企业级语音活动检测器（也可参阅我们的STT模型）。

实时示例

https://user-images.githubusercontent.com/36505480/144874384-95f80f6d-a4f1-42cc-9be7-004c891dd481.mp4

请注意，只有登录您的 GitHub 账户时视频才会加载。

快速入门

依赖项

在 x86-64 系统上运行 Python 示例的系统要求：

• python 3.8+;
• 1G+ 内存；
• 具有 AVX、AVX2、AVX-512 或 AMX 指令集的现代 CPU。

依赖项：

• torch>=1.12.0;
• torchaudio>=0.12.0（仅用于 I/O）；
• onnxruntime>=1.16.1（用于使用 ONNX 模型）。

Silero VAD 使用 torchaudio 库进行音频 I/O（torchaudio.info、torchaudio.load 和 torchaudio.save），因此需要合适的音频后端：

• 选项 №1 - FFmpeg 后端。conda install -c conda-forge 'ffmpeg<7'；
• 选项 №2 - sox_io 后端。apt-get install sox，TorchAudio 已在 libsox 14.4.2 上测试过；
• 选项 №3 - soundfile 后端。pip install soundfile。

如果您计划仅使用 onnx-runtime 运行 VAD，则它可以在任何支持 onnx-runtime 的其他系统架构上运行。在这种情况下，请注意：

• 您需要实现 I/O；
• 您需要根据自己的用例调整现有的封装/示例/后处理。

使用 pip： pip install silero-vad

from silero_vad import load_silero_vad, read_audio, get_speech_timestamps
model = load_silero_vad()
wav = read_audio('path_to_audio_file')
speech_timestamps = get_speech_timestamps(
  wav,
  model,
  return_seconds=True,  # 返回以秒为单位的语音时间戳（默认为样本）
)

使用 torch.hub：

import torch
torch.set_num_threads(1)

model, utils = torch.hub.load(repo_or_dir='snakers4/silero-vad', model='silero_vad')
(get_speech_timestamps, _, read_audio, _, _) = utils

wav = read_audio('path_to_audio_file')
speech_timestamps = get_speech_timestamps(
  wav,
  model,
  return_seconds=True,  # 返回以秒为单位的语音时间戳（默认为样本）
)

主要特性

• 卓越的准确性

  Silero VAD 在语音检测任务上具有优异的表现。

• 快速

  一个音频片段（30+ 毫秒）耗时不到 1 毫秒 即可在单个 CPU 线程上处理完毕。使用批处理或 GPU 也可以显著提高性能。在特定条件下，ONNX 甚至可以快 4-5 倍。

• 轻量级

  JIT 模型大小约为两兆字节。

• 通用性

  Silero VAD 在包含超过 6000 种语言的大规模语料库上进行了训练，并且在来自不同领域、具有各种背景噪声和质量水平的音频上表现良好。

• 灵活的采样率

  Silero VAD 支持 8000 Hz 和 16000 Hz 的采样率。

• 高度可移植性

  Silero VAD 受益于围绕 PyTorch 和 ONNX 构建的丰富生态系统，在这些运行时环境可用的任何地方都能运行。

• 无附加条件

  Silero VAD 采用宽松的 MIT 许可证发布，没有任何附加条件——没有遥测、没有密钥、没有注册、没有内置到期日期、也没有密钥或供应商锁定。

典型应用场景

• 用于物联网/边缘计算/移动设备的语音活动检测
• 数据清洗与准备，一般语音检测
• 电话及呼叫中心自动化，语音机器人
• 语音交互界面

相关链接

• 示例与依赖项
• 质量指标
• 性能指标
• 版本与可用模型
• 拓展阅读
• 常见问题解答

联系我们

试用我们的模型，创建一个issue，发起一个讨论，加入我们的 Telegram 聊天，给我们发送邮件，阅读我们的新闻。

请参阅我们的wiki以获取相关信息，并直接给我们发送邮件。

引用

@misc{Silero VAD,
  author = {Silero Team},
  title = {Silero VAD：预训练的企业级语音活动检测器 (VAD)、数字检测器和语言分类器},
  year = {2024},
  publisher = {GitHub},
  journal = {GitHub 仓库},
  howpublished = {\url{https://github.com/snakers4/silero-vad}},
  commit = {insert_some_commit_here},
  email = {hello@silero.ai}
}

示例及基于VAD的社区应用

• 在C++中使用VAD ONNX Runtime模型的示例

• 在C++中使用VAD ExecuTorch模型的示例

• 使用ONNX Runtime Web实现的[浏览器]端语音活动检测(github链接)

• Rust、Rust (wavekat-vad)、Go、Java、C++、C#以及其他社区示例

Silero VAD 快速上手指南

Silero VAD 是一款预训练的企业级语音活动检测（Voice Activity Detector）模型，具有高精度、低延迟和轻量级的特点，支持 8000Hz 和 16000Hz 采样率，适用于物联网、呼叫中心自动化及语音接口等场景。

环境准备

系统要求

• 操作系统：x86-64 架构系统（若仅使用 ONNX Runtime 可支持更多架构）。
• Python 版本：3.8 及以上。
• 内存：1GB 以上。
• CPU：支持 AVX、AVX2、AVX-512 或 AMX 指令集的现代处理器。

前置依赖

Silero VAD 依赖 torch 和 torchaudio 进行音频读写。请确保安装合适的音频后端（任选其一）：

1. FFmpeg 后端（推荐）：

   conda install -c conda-forge 'ffmpeg<7'
   

2. sox_io 后端：

   apt-get install sox
   

3. soundfile 后端：

   pip install soundfile
   

注意：核心依赖库版本要求为 torch>=1.12.0 和 torchaudio>=0.12.0。国内用户建议使用清华源或阿里源加速安装。

安装步骤

推荐使用 pip 进行安装：

pip install silero-vad

若需使用国内镜像加速：

pip install silero-vad -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

以下是最简单的使用示例，演示如何加载模型并获取音频中的语音时间戳。

方式一：使用 pip 安装包

from silero_vad import load_silero_vad, read_audio, get_speech_timestamps

# 加载模型
model = load_silero_vad()

# 读取音频文件
wav = read_audio('path_to_audio_file')

# 获取语音时间戳 (return_seconds=True 表示返回秒数，默认为采样点数)
speech_timestamps = get_speech_timestamps(
  wav,
  model,
  return_seconds=True,
)

print(speech_timestamps)

方式二：使用 torch.hub 动态加载

无需预先安装 silero-vad 包，直接通过 PyTorch Hub 加载：

import torch
torch.set_num_threads(1)

# 从 GitHub 仓库加载模型和工具函数
model, utils = torch.hub.load(repo_or_dir='snakers4/silero-vad', model='silero_vad')
(get_speech_timestamps, _, read_audio, _, _) = utils

# 读取音频文件
wav = read_audio('path_to_audio_file')

# 获取语音时间戳
speech_timestamps = get_speech_timestamps(
  wav,
  model,
  return_seconds=True,
)

print(speech_timestamps)