基于 OpenAI Whisper 的说话人分离

基于 OpenAI Whisper 的说话人分离流水线

如果您欣赏我对社区的贡献，请在 GitHub 上为该项目点赞（见右上角）！

是什么

该仓库将 Whisper ASR 功能与语音活动检测 (VAD) 和说话人嵌入相结合，以识别 Whisper 生成的转录中每句话的说话人。首先从音频中提取人声，以提高说话人嵌入的准确性；然后使用 Whisper 生成转录；接着利用 ctc-forced-aligner 校正并对齐时间戳，从而减少因时间偏移导致的分离错误。随后，音频被送入 MarbleNet 进行 VAD 和分段处理，以排除静音部分；再使用 TitaNet 提取说话人嵌入，识别每个片段的说话人；最后将结果与 ctc-forced-aligner 生成的时间戳关联，根据时间戳检测每个词的说话人，并通过标点符号模型重新对齐，以补偿细微的时间偏移。

Whisper 和 NeMo 的参数已编码到 diarize.py 和 helpers.py 中，后续我会添加 CLI 参数以便修改这些设置。

安装

需要 Python >= 3.10，虽然 3.9 也能运行，但您需要手动逐个安装依赖项。

安装依赖项前需先安装 FFMPEG 和 Cython：

pip install cython

或

sudo apt update && sudo apt install cython3

# 在 Ubuntu 或 Debian 上
sudo apt update && sudo apt install ffmpeg

# 在 Arch Linux 上
sudo pacman -S ffmpeg

# 在 MacOS 上使用 Homebrew (https://brew.sh/)
brew install ffmpeg

# 在 Windows 上使用 Chocolatey (https://chocolatey.org/)
choco install ffmpeg

# 在 Windows 上使用 Scoop (https://scoop.sh/)
scoop install ffmpeg

# 在 Windows 上使用 WinGet (https://github.com/microsoft/winget-cli)
winget install ffmpeg

pip install -c constraints.txt -r requirements.txt

使用方法

python diarize.py -a AUDIO_FILE_NAME

如果您的系统拥有足够的显存（>=10GB），可以改用 diarize_parallel.py，其区别在于它会并行运行 NeMo 和 Whisper。在某些情况下，这种方式可能更有优势，且由于两个模型相互独立，最终结果相同。不过目前这仍处于实验阶段，可能会存在一些问题和不足之处，欢迎提出您的反馈意见。

命令行选项

• -a AUDIO_FILE_NAME: 待处理的音频文件名
• --no-stem: 禁用音源分离
• --whisper-model: 用于 ASR 的模型，默认为 medium.en
• --suppress_numerals: 将数字转写为其发音字母而非数字形式，有助于提高对齐精度
• --device: 指定使用的设备，默认为“cuda”（如可用）
• --language: 手动选择语言，适用于语言检测失败的情况
• --batch-size: 批量推理时的批次大小，若内存不足可调小，设为 0 则进行非批量推理

已知限制

• 对于重叠说话的情况尚未解决。一种可能的方法是将音频文件分离，只保留一位说话人的部分，再将其输入到流程中，但这需要更多的计算资源。
• 可能会出现一些错误，如有遇到请提交问题。

未来改进方向

• 实现 SRT 文件中每句话的最大长度限制。

致谢

特别感谢 @adamjonas 对本项目的大力支持。 本工作基于 OpenAI's Whisper、Faster Whisper、Nvidia NeMo 以及 Facebook's Demucs。

引用

如果您在研究中使用了本项目，请引用如下：

@unpublished{hassouna2024whisperdiarization,
  title={Whisper Diarization: 基于 OpenAI Whisper 的说话人分离},
  author={Ashraf, Mahmoud},
  year={2024}
}

Whisper-Diarization 快速上手指南

Whisper-Diarization 是一个基于 OpenAI Whisper 的说话人日志（Speaker Diarization）工具。它能识别音频中不同说话人的身份，并将说话人标签与 Whisper 生成的转录文本逐句对齐。该流程结合了语音活动检测（VAD）、说话人嵌入提取以及时间戳强制对齐技术，有效提升了多人对话场景下的识别准确度。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux (Ubuntu/Debian, Arch), macOS, 或 Windows
• Python 版本：推荐 3.10 及以上（3.9 也可用，但需手动逐个安装依赖）
• 硬件要求：
  • 推荐使用 NVIDIA GPU（显存 >= 4GB 可运行基础模型，>= 10GB 可尝试并行加速模式）。
  • 若无 GPU，可使用 CPU 运行，但速度较慢。
• 前置依赖：必须安装 FFMPEG 和 Cython。

安装前置依赖

1. 安装 Cython

pip install cython
# 或在 Ubuntu/Debian 上
sudo apt update && sudo apt install cython3

2. 安装 FFMPEG 请根据您的操作系统选择对应的安装命令：

• Ubuntu / Debian:

  sudo apt update && sudo apt install ffmpeg
  

• Arch Linux:

  sudo pacman -S ffmpeg
  

• macOS (使用 Homebrew):

  brew install ffmpeg
  

• Windows (使用 Chocolatey):

  choco install ffmpeg
  

• Windows (使用 Scoop):

  scoop install ffmpeg
  

• Windows (使用 WinGet):

  winget install ffmpeg
  

提示：国内用户若遇到 pip 下载慢的问题，建议在安装 Python 依赖时添加清华或阿里镜像源，例如：pip install -c constraints.txt -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

完成前置依赖安装后，克隆项目并安装 Python 依赖包：

# 克隆仓库
git clone https://github.com/MahmoudAshraf97/whisper-diarization.git
cd whisper-diarization

# 安装核心依赖
pip install -c constraints.txt -r requirements.txt

基本使用

最简单的使用示例

对单个音频文件进行说话人分离和转录，运行以下命令：

python diarize.py -a AUDIO_FILE_NAME

将 AUDIO_FILE_NAME 替换为您的实际音频文件路径（支持 mp3, wav, m4a 等常见格式）。

常用参数说明

您可以根据需求添加以下参数优化结果：

• 指定语言（若自动检测失败）：

  python diarize.py -a AUDIO_FILE_NAME --language zh
  

• 更换 Whisper 模型（默认为 medium.en，中文建议用 medium 或 large）：

  python diarize.py -a AUDIO_FILE_NAME --whisper-model large
  

• 禁用音源分离（加快处理速度，但可能降低嘈杂环境下的准确率）：

  python diarize.py -a AUDIO_FILE_NAME --no-stem
  

• 显存优化（若显存不足，减小 batch size 或设为 0）：

  python diarize.py -a AUDIO_FILE_NAME --batch-size 0
  

进阶：并行加速模式

如果您的显卡显存充足（>= 10GB），可以尝试使用并行脚本 diarize_parallel.py，它能同时运行 NeMo 和 Whisper 模型以提升效率（实验性功能）：

python diarize_parallel.py -a AUDIO_FILE_NAME

程序运行结束后，将在输出目录生成包含说话人标签的转录文件（通常为 SRT 或 TXT 格式）。