tinydiarize 🐥🗣️

• 说话人分离 是指在转录文本中标注出是谁说了什么（例如，说话人A、说话人B等）。这对于会议或播客等对话类转录文本来说至关重要。
• tinydiarize 旨在成为 OpenAI 的 Whisper 模型的一个极简且可解释的扩展，通过少量额外依赖实现说话人分离功能（灵感来源于 minGPT）。
• 该方法使用了一个经过微调的模型，在其中加入了用于标记说话人切换的特殊标记[1,2,3,4]。它能够同时利用语音和语义上下文来区分不同的说话人，这是该方法的独特优势。
• 您可以参考 tdrz_dev 获取详细的性能分析。请注意，这目前仍是一个原型/概念验证项目。
• 此外，实验性支持也已添加到 whisper.cpp，因此可以在 MacBook 和 iPhone 等消费级硬件上运行。只需对原始推理代码进行微小改动（不到 50 行），即可实现简单且低成本的说话人分割，相比传统方法更具优势。

演示

https://user-images.githubusercontent.com/13268767/229617067-eca0f614-d334-480d-9801-7c30d88acdc6.mp4

您也可以使用此笔记本在 YouTube 上的其他类似视频中试用。

快速入门

按照 原仓库 的说明安装 ffmpeg，然后运行：

pip install -e .
whisper --model small.en-tdrz AUDIO 

唯一的区别在于使用了 small.en-tdrz 模型，而不是 small.en。就这么简单！🎉

包含哪些内容？

• small.en-tdrz 模型的微调检查点（位于 whisper/init.py）以及示例推理代码（相关修改见 [#4] 和 [#11]）。该模型与原始 Whisper 仓库具有相同的依赖项。
• 用于比较和分析的工具（位于 /tdrz_dev 目录下）：
  • 一个评分工具，可以以易于理解的方式衡量和比较您自己的数据上的准确率。
  • 一个参考脚本，用于运行和比较各种说话人分离流程。
  • 一个 Jupyter 笔记本，用于详细比较和理解性能。
• 更多信息请参阅 路线图。

我们的目标是展示一个起点，使任何人（甚至包括 OpenAI 自身）都能够提升性能并扩展支持范围（如多语言、语音翻译等）。

性能

指标	small.en	small.en-tdrz
说话人轮次精确率	-	97.7
说话人轮次召回率	-	70.8
整体词错率 (WER)	11.0	10.3
说话人切换词错率 (WER)	15.0	15.5

在一组包含 3 场 财报电话会议 的小型基准测试集中，tdrz 实现了接近完美的说话人轮次精确率，同时保持了相当不错的召回率。整体词错率与原始模型基本持平。对于这样一个小型的微调设置而言，表现已经相当不错，而且推理成本仅增加了不到 10%！

有关性能分析和比较的详细信息，请参阅 tdrz_dev。

更多信息

• Whisper 的 small.en 检查点是在约 100 小时的 AMI 会议数据集 上，使用 HuggingFace 的 Transformers 和 Datasets 进行微调的。
• 通过一些技巧，仅需 30 分钟的单 GPU 训练就能产生不错的效果。确实非常“tiny”😊。
• 我们在微调数据准备以及性能分析过程中，借鉴了 pyannote（最早的开源说话人分离工具包）中的实用工具。
• 在评分和分析方面，我们使用了优秀的开源工具 revdotcom/fstalign。

注意事项

请注意，这仍然是一个早期的概念验证项目，存在一些需要留意的地方：

• 目前仅对 small.en 英语模型进行了微调。
• 词错率 (WER) 与原始模型相近，但尚未经过广泛测试。临时检查显示，在时间戳行为（片段较长）或删除错误方面存在一些差异。详情请参阅 tdrz_dev 下的笔记本。
• 由于微调规模较小，未来仍有很大的精度提升空间。
• 目前仅实现了局部说话人分离（即按说话人轮次分割）。后续计划扩展为全局说话人分离（说话人聚类）。
• 当前的实现仍较为粗糙，可能会发生变化，因此请耐心等待！🐎

路线图

• 推理代码及演示
• 评分与分析工具
• whisper.cpp 集成
• 可重复的数据准备与微调*
• 博客文章说明*
• HuggingFace 集成
• 使用 LoRa 技术改进的 small.en 检查点
• 或许可以结合 NME-SC 进行聚类？
• 或许可以开发 large-v2 检查点？

* 表示当前仓库的状态。请参阅 https://github.com/akashmjn/tinydiarize/issues/14 以获取最新的计划更新。简而言之：目前项目已被暂停 :/

参考文献

[1] 基于序列转换的联合语音识别与说话人分离 [2] 面向端到端重叠语音识别的序列化输出训练 [3] Turn-to-Diarize：基于 Transformer Transducer 说话人轮次检测约束的在线说话人分离 [4] 多语言 ASR 模型在处理多说话人场景下的适应性

有关底层 Whisper 模型的信息，请参阅 原始文档（版本：20230308）。

许可证

代码和模型权重采用 MIT 许可证发布。更多详情请参阅 LICENSE。

引用

如果您希望在研究中使用本项目，可以按以下方式引用：

@software{mahajan2023tinydiarize,
  author = {Mahajan, Akash},
  month = {08},
  title = {tinydiarize：使用特殊标记实现说话人分割的 Whisper 极简扩展},
  url = {https://github.com/akashmjn/tinyDiarize},
  year = {2023}
}

tinydiarize 快速上手指南

tinydiarize 是 OpenAI Whisper 模型的极简扩展，旨在通过添加特殊标记来实现说话人日记化（Speaker Diarization），即识别录音中“谁在什么时候说了什么”。它利用语音和语义上下文区分说话人，且依赖极少，适合在消费级硬件（如 MacBook、iPhone）上运行。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux, macOS 或 Windows (WSL)。
• Python 版本：建议 Python 3.8 及以上。
• 前置依赖：必须安装 ffmpeg 工具用于音频处理。
  • Ubuntu/Debian: sudo apt update && sudo apt install ffmpeg
  • macOS: brew install ffmpeg
  • Windows: 下载并安装 ffmpeg.exe，并将其添加到系统环境变量 PATH 中。

安装步骤

1. 克隆仓库 首先从 GitHub 获取源代码：

   git clone https://github.com/akashmjn/tinydiarize.git
   cd tinydiarize
   

2. 安装依赖 使用 pip 以可编辑模式安装项目及其依赖。 注：国内用户若遇到下载慢的问题，可添加 -i https://pypi.tuna.tsinghua.edu.cn/simple 参数加速。

   pip install -e .
   

基本使用

安装完成后，使用方法与原声 Whisper 几乎一致，只需将模型名称后缀改为 -tdrz 即可启用说话人区分功能。

命令格式：

whisper --model <模型名>-tdrz <音频文件路径>

示例： 使用 small.en-tdrz 模型处理名为 meeting.wav 的音频文件：

whisper --model small.en-tdrz meeting.wav

执行后，输出的文本中将自动包含说话人标签（如 [SPEAKER_0], [SPEAKER_1]），清晰展示不同发言者的内容。

注意：目前仅支持对 small.en 英文模型进行微调（即 small.en-tdrz）。其他语言或多语种模型暂未提供预训练的 tdrz 版本。