🌿 轻松构建基于 AI 的实时音频应用 🌿

⚡ 快速简介

Diart 是一个用于构建基于 AI 的实时音频应用的 Python 框架。其核心功能是以最先进的性能实时识别不同的说话人，这一任务通常被称为“说话人分离”。

管道 diart.SpeakerDiarization 结合了说话人分割模型和说话人嵌入模型，驱动增量聚类算法，随着对话的进行，准确性会不断提高：

借助 Diart，你还可以创建自己的自定义 AI 管道、对其进行基准测试、调整超参数，甚至通过 WebSockets 将其部署到网络上。

我们提供以下预训练管道：

• 说话人分离
• 语音活动检测
• 转录（即将推出）(coming soon)
• 说话人感知转录（即将推出）(coming soon)

💾 安装

1) 确保你的系统满足以下依赖项：

ffmpeg < 4.4
portaudio == 19.6.X
libsndfile >= 1.2.2

或者，我们提供了一个用于预配置 Conda 环境的 environment.yml 文件：

conda env create -f diart/environment.yml
conda activate diart

2) 安装软件包：

pip install diart

获取 🎹 pyannote 模型的访问权限

默认情况下，Diart 基于来自 huggingface 中心的 pyannote.audio 模型。要使用这些模型，请按照以下步骤操作：

1. 接受 pyannote/segmentation 模型的用户条款
2. 接受 pyannote/segmentation-3.0 最新模型的用户条款
3. 接受 pyannote/embedding 模型的用户条款
4. 安装 huggingface-cli 并使用你的用户访问令牌登录（或在 Diart CLI 或 API 中手动提供）。

🎙️ 流式传输音频

从命令行

录制的对话：

diart.stream /path/to/audio.wav

实时对话：

# 使用 "microphone:ID" 来选择非默认设备
# 可通过 `python -m sounddevice` 查看可用设备
diart.stream microphone

默认情况下，Diart 运行的是说话人分离管道，相当于设置了 --pipeline SpeakerDiarization，但你也可以将其设置为 --pipeline VoiceActivityDetection。更多选项请参阅 diart.stream -h。

从 Python

使用 StreamingInference 在音频源上运行管道，并将结果写入磁盘：

from diart import SpeakerDiarization
from diart.sources import MicrophoneAudioSource
from diart.inference import StreamingInference
from diart.sinks import RTTMWriter

pipeline = SpeakerDiarization()
mic = MicrophoneAudioSource()
inference = StreamingInference(pipeline, mic, do_plot=True)
inference.attach_observers(RTTMWriter(mic.uri, "/output/file.rttm"))
prediction = inference()

对于数据集上的推理和评估，我们建议使用 Benchmark（请参阅关于 可重复性 的说明）。

🧠 模型

你可以使用 --segmentation 和 --embedding 参数来指定其他模型。或者在 Python 中：

import diart.models as m

segmentation = m.SegmentationModel.from_pretrained("model_name")
embedding = m.EmbeddingModel.from_pretrained("model_name")

预训练模型

以下是 diart 当前支持的所有模型列表：

模型名称	模型类型	CPU 时间*	GPU 时间*
🤗 pyannote/segmentation（默认）	分割	12ms	8ms
🤗 pyannote/segmentation-3.0	分割	11ms	8ms
🤗 pyannote/embedding（默认）	嵌入	26ms	12ms
🤗 hbredin/wespeaker-voxceleb-resnet34-LM（ONNX）	嵌入	48ms	15ms
🤗 pyannote/wespeaker-voxceleb-resnet34-LM（PyTorch）	嵌入	150ms	29ms
🤗 speechbrain/spkrec-xvect-voxceleb	嵌入	41ms	15ms
🤗 speechbrain/spkrec-ecapa-voxceleb	嵌入	41ms	14ms
🤗 speechbrain/spkrec-ecapa-voxceleb-mel-spec	嵌入	42ms	14ms
🤗 speechbrain/spkrec-resnet-voxceleb	嵌入	41ms	16ms
🤗 nvidia/speakerverification_en_titanet_large	嵌入	91ms	16ms

分割模型的延迟是在 VAD 流水线中测量的（5 秒分块）。

嵌入模型的延迟是在使用 pyannote/segmentation 的日耳曼化流水线中测量的（同样为 5 秒分块）。

* CPU：AMD Ryzen 9 - GPU：RTX 4060 Max-Q

自定义模型

可以通过提供加载函数来集成第三方模型：

from diart import SpeakerDiarization, SpeakerDiarizationConfig
from diart.models import EmbeddingModel、SegmentationModel

def segmentation_loader():
    # 应该接收波形并返回分割张量
    return load_pretrained_model("my_model.ckpt")

def embedding_loader():
    # 应该接收（波形，权重）并返回每位说话人的嵌入向量
    return load_pretrained_model("my_other_model.ckpt")

segmentation = SegmentationModel(segmentation_loader)
embedding = EmbeddingModel(embedding_loader)
config = SpeakerDiarizationConfig(
    segmentation=segmentation,
    embedding=embedding,
)
pipeline = SpeakerDiarization(config)

如果你有一个 ONNX 模型，可以使用 from_onnx()：

from diart.models import EmbeddingModel

embedding = EmbeddingModel.from_onnx(
    model_path="my_model.ckpt",
    input_names=["x", "w"],  # 默认为 ["waveform", "weights"]
    output_name="output",  # 默认为 "embedding"
)

📈 调整超参数

Diart 实现了一个基于 optuna 的优化器，允许你根据自己的需求调整流水线的超参数。

通过命令行

diart.tune /wav/dir --reference /rttm/dir --output /output/dir

更多选项请参阅 diart.tune -h。

通过 Python

from diart.optim import Optimizer

optimizer = Optimizer("/wav/dir", "/rttm/dir", "/output/dir")
optimizer(num_iter=100)

这会将结果写入 /output/dir 中的一个 sqlite 数据库。

分布式调优

对于更大的数据集，有时并行运行多个优化进程更为方便。为此，可以在一个 推荐的 DBMS 上创建一个研究（例如 MySQL 或 PostgreSQL），确保研究和数据库名称一致：

mysql -u root -e "CREATE DATABASE IF NOT EXISTS example"
optuna create-study --study-name "example" --storage "mysql://root@localhost/example"

现在你可以运行多个指向该数据库的相同优化器：

diart.tune /wav/dir --reference /rttm/dir --storage mysql://root@localhost/example

或者在 Python 中：

from diart.optim import Optimizer
from optuna.samplers import TPESampler
import optuna

db = "mysql://root@localhost/example"
study = optuna.load_study("example", db, TPESampler())
optimizer = Optimizer("/wav/dir", "/rttm/dir", study)
optimizer(num_iter=100)

🧠🔗 构建流水线

为了更高级的用法，diart 还提供了可组合以创建自定义流水线的构建模块。流媒体由 RxPY 提供支持，但 blocks 模块完全独立，可以单独使用。

示例

从麦克风流中获取重叠感知的说话人嵌入：

import rx.operators as ops
import diart.operators as dops
from diart.sources import MicrophoneAudioSource、FileAudioSource
from diart.blocks import SpeakerSegmentation、OverlapAwareSpeakerEmbedding

segmentation = SpeakerSegmentation.from_pretrained("pyannote/segmentation")
embedding = OverlapAwareSpeakerEmbedding.from_pretrained("pyannote/embedding")

source = MicrophoneAudioSource()
# 如果要从文件输入：
# source = FileAudioSource("<filename>", sample_rate=16000)

# 确保模型已使用此采样率进行训练
print(source.sample_rate)

stream = mic.stream.pipe(
    # 将流重新格式化为 5 秒时长、500 毫秒步长
    dops.rearrange_audio_stream(sample_rate=source.sample_rate),
    ops.map(lambda wav: (wav, segmentation(wav))),
    ops.starmap(embedding)
).subscribe(on_next=lambda emb: print(emb.shape))

source.read()

输出：

# 形状为 (batch_size, num_speakers, embedding_dim)
torch.Size([1, 3, 512])
torch.Size([1, 3, 512])
torch.Size([1, 3, 512])
...

🌐 WebSockets

Diart 还兼容 WebSocket 协议，可在 Web 上提供流水线服务。

通过命令行

diart.serve --host 0.0.0.0 --port 7007
diart.client microphone --host <server-address> --port 7007

注意： 确保客户端使用的 step 和 sample_rate 与服务器一致，可通过 --step 和 -sr 设置。

更多选项请参阅 -h。

从 Python 中

对于自定义解决方案，也可以使用 WebSocketAudioSource 在 Python 中创建一个服务器：

from diart import SpeakerDiarization
from diart.sources import WebSocketAudioSource
from diart.inference import StreamingInference

pipeline = SpeakerDiarization()
source = WebSocketAudioSource(pipeline.config.sample_rate, "localhost", 7007)
inference = StreamingInference(pipeline, source)
inference.attach_hooks(lambda ann_wav: source.send(ann_wav[0].to_rttm()))
prediction = inference()

🔬 由研究驱动

Diart 是论文 基于端到端局部分割的重叠感知低延迟在线说话人日志 的官方实现，该论文由 Juan Manuel Coria、 Hervé Bredin、 Sahar Ghannay 和 Sophie Rosset 共同撰写。

我们提出将在线说话人日志问题视为增量聚类与局部日志相结合的方法，应用于每 500 毫秒更新一次的滚动缓冲区。所提出的流水线中的每一步都旨在充分利用最近提出的一种端到端重叠感知分割模型的强大能力，以检测并分离重叠的说话人。特别是，我们提出了一种修改后的统计池化层（最初在 x-vector 架构中引入），以降低分割模型预测为同时说话的帧的权重。此外，我们从初始分割步骤中推导出“不可链接”约束，以防止在增量聚类步骤中错误地合并两个局部说话人。最后，我们展示了如何将所提方法的延迟调整至 500 毫秒到 5 秒之间，以满足特定用例的需求，并系统地分析了延迟对整体性能的影响（在 AMI、DIHARD 和 VoxConverse 数据集上）。

引用

如果您觉得 Diart 很有用，请务必引用我们的论文：

@inproceedings{diart,  
  author={Coria, Juan M. and Bredin, Hervé and Ghannay, Sahar and Rosset, Sophie},  
  booktitle={2021 IEEE Automatic Speech Recognition and Understanding Workshop (ASRU)},   
  title={Overlap-Aware Low-Latency Online Speaker Diarization Based on End-to-End Local Segmentation}, 
  year={2021},
  pages={1139-1146},
  doi={10.1109/ASRU51503.2021.9688044},
}

可重复性

重要提示： 为了重现这些结果，我们强烈建议安装 pyannote.audio<3.1。 更多信息请参阅 此议题。

Diart 的目标是轻量级，并且能够在实际场景中进行实时流处理。其性能非常接近论文中报告的结果（有时甚至略好一些）。

为了获得最佳效果，请确保使用以下超参数：

数据集	延迟	tau	rho	delta
DIHARD III	任意	0.555	0.422	1.517
AMI	任意	0.507	0.006	1.057
VoxConverse	任意	0.576	0.915	0.648
DIHARD II	1s	0.619	0.326	0.997
DIHARD II	5s	0.555	0.422	1.517

diart.benchmark 和 diart.inference.Benchmark 可以运行、评估并测量流水线的实时延迟。例如，对于 DIHARD III 配置：

diart.benchmark /wav/dir --reference /rttm/dir --tau-active=0.555 --rho-update=0.422 --delta-new=1.517 --segmentation pyannote/segmentation@Interspeech2021

或者使用推理 API：

from diart.inference import Benchmark, Parallelize
from diart import SpeakerDiarization, SpeakerDiarizationConfig
from diart.models import SegmentationModel

benchmark = Benchmark("/wav/dir", "/rttm/dir")

model_name = "pyannote/segmentation@Interspeech2021"
model = SegmentationModel.from_pretrained(model_name)
config = SpeakerDiarizationConfig(
    # 设置论文中使用的分割模型
    segmentation=model,
    step=0.5,
    latency=0.5,
    tau_active=0.555,
    rho_update=0.422,
    delta_new=1.517
)
benchmark(SpeakerDiarization, config)

# 并行运行相同的基准测试
p_benchmark = Parallelize(benchmark, num_workers=4)
if __name__ == "__main__":  # 多进程需要
    p_benchmark(SpeakerDiarization, config)

这会预先以批处理方式计算模型输出，因此运行速度会快很多。更多选项请参阅 diart.benchmark -h。

为方便起见并便于未来比较，我们还提供了论文实现的 预期输出， 格式为 RTTM，涵盖表 1 和图 5 中的每一项。其中包括 VBx 离线最优结果以及我们提出的在线方法，延迟分别为 500 毫秒、1 秒、2 秒、3 秒、4 秒和 5 秒。

📑 许可证

MIT 许可证

版权所有 © 2021 巴黎-萨克雷大学
版权所有 © 2021 法国国家科学研究中心

特此授予任何人免费获取本软件及其相关文档文件（以下简称“软件”）副本的权利，允许其在不受限制的情况下处理软件，包括但不限于使用、复制、修改、合并、发布、分发、再许可和/或销售软件副本的权利，以及允许向任何接收者提供软件以供其执行的权利，但须遵守以下条件：

上述版权声明和本许可声明应包含在软件的所有副本或实质性部分中。

软件按“原样”提供，不提供任何形式的担保，无论是明示的还是暗示的，包括但不限于适销性、特定用途适用性和非侵权性的担保。在任何情况下，作者或版权所有者均不对任何索赔、损害或其他责任负责，无论这些责任是因合同行为、侵权行为或其他原因引起的，也无论这些责任是否与软件或其使用有关。

标志由 DesignEvo 免费标志设计工具 生成

Diart 快速上手指南

Diart 是一个用于构建 AI 驱动实时音频应用的 Python 框架，核心功能是实时说话人日记（Speaker Diarization），即实时区分对话中的不同说话人。

1. 环境准备

在开始之前，请确保您的系统满足以下依赖要求：

• Python 版本: 3.10, 3.11 或 3.12
• 系统依赖:
  • ffmpeg < 4.4
  • portaudio == 19.6.X
  • libsndfile >= 1.2.2

推荐方式：使用项目提供的 Conda 环境配置文件自动安装所有依赖。

2. 安装步骤

方法 A：使用 Conda（推荐）

一键创建并激活预配置的环境：

conda env create -f diart/environment.yml
conda activate diart

方法 B：手动安装

如果已具备上述系统依赖，可直接通过 pip 安装：

pip install diart

获取 Pyannote 模型权限

Diart 默认使用 Hugging Face 上的 pyannote.audio 模型。使用前需完成以下步骤：

1. 访问以下链接并接受用户协议（需登录 Hugging Face 账号）：
   • pyannote/segmentation
   • pyannote/segmentation-3.0
   • pyannote/embedding
2. 安装 huggingface-cli 并登录：

   pip install huggingface-cli
   huggingface-cli login
   

   (按提示输入您的 Access Token)

3. 基本使用

命令行模式

处理录音文件：

diart.stream /path/to/audio.wav

实时麦克风输入：

# 使用默认麦克风
diart.stream microphone

# 指定特定设备 ID (查看可用设备：python -m sounddevice)
diart.stream microphone:ID

默认运行说话人日记管道，可通过 --pipeline VoiceActivityDetection 切换为语音活动检测。

Python 代码模式

以下示例展示如何从麦克风采集音频，实时进行说话人区分，并将结果保存为 RTTM 文件：

from diart import SpeakerDiarization
from diart.sources import MicrophoneAudioSource
from diart.inference import StreamingInference
from diart.sinks import RTTMWriter

# 初始化管道和音源
pipeline = SpeakerDiarization()
mic = MicrophoneAudioSource()

# 创建流式推理实例 (do_plot=True 可开启实时可视化)
inference = StreamingInference(pipeline, mic, do_plot=True)

# 绑定输出写入器
inference.attach_observers(RTTMWriter(mic.uri, "/output/file.rttm"))

# 开始推理
prediction = inference()