torchcrepe

CREPE [1] 音高跟踪器的 PyTorch 实现。原始的 TensorFlow 实现可以在这里找到 here。提供的模型权重是通过使用开源模型管理框架 MMdnn 转换“tiny”和“full”模型得到的。

安装

按照 这里 的说明进行与系统相关的 PyTorch 安装。

pip install torchcrepe

使用方法

从音频中计算音高和周期性

import torchcrepe


# 加载音频
audio, sr = torchcrepe.load.audio( ... )

# 这里我们使用 5 毫秒的跳帧长度
hop_length = int(sr / 200.)

# 为你的领域提供一个合理的频率范围（上限为 2006 Hz）
# 对于语音来说，这是一个合理的范围
fmin = 50
fmax = 550

# 选择一个模型容量——“tiny”或“full”之一
model = 'tiny'

# 选择用于推理的设备
device = 'cuda:0'

# 选择一个在你的 GPU 上不会导致内存错误的批量大小
batch_size = 2048

# 使用第一个 GPU 计算音高
pitch = torchcrepe.predict(audio,
                           sr,
                           hop_length,
                           fmin,
                           fmax,
                           model,
                           batch_size=batch_size,
                           device=device)

通过向 torchcrepe.predict 传递 return_periodicity=True，也可以提取类似于 Crepe 置信度分数的周期性度量。

解码

默认情况下，torchcrepe 对网络输出的 softmax 使用维特比解码。这与原始实现不同，后者在二元交叉熵概率的 argmax 附近使用加权平均。argmax 操作可能会导致双倍/一半频率的错误。这些错误可以通过维特比解码时对大幅音高跳跃进行惩罚来消除。decode 子模块提供了一些解码选项。

# 使用维特比解码（默认）
torchcrepe.predict(..., decoder=torchcrepe.decode.viterbi)

# 使用加权 argmax 解码（如原始实现）
torchcrepe.predict(..., decoder=torchcrepe.decode.weighted_argmax)

# 使用 argmax 解码
torchcrepe.predict(..., decoder=torchcrepe.decode.argmax)

滤波和阈值处理

当周期性较低时，音高的可靠性也较低。对于某些问题，屏蔽这些可靠性较低的音高值是有意义的。然而，周期性可能比较嘈杂，且音高存在量化误差。torchcrepe 提供了 filter 和 threshold 子模块来实现这一目的。滤波器和阈值参数应根据你的数据进行调整。对于清晰的语音，10–20 毫秒的窗口和 0.21 的阈值效果较好。

# 假设跳帧长度为 5 毫秒，我们将使用 15 毫秒的窗口
win_length = 3

# 对噪声置信度值进行中值滤波
periodicity = torchcrepe.filter.median(periodicity, win_length)

# 移除非谐波区域
pitch = torchcrepe.threshold.At(.21)(pitch, periodicity)

# 可选地平滑音高以去除量化误差
pitch = torchcrepe.filter.mean(pitch, win_length)

若需更精细地控制音高阈值，可参阅 torchcrepe.threshold.Hysteresis。这对于去除由周期性值中的噪声引起的虚假发声区域特别有用，但该方法参数较多，可能需要更多地根据你的数据进行手动调优。

CREPE 并未在静音音频上进行训练。因此，它有时会在静音区域为音高 bin 分配较高的置信度。你可以使用 torchcrepe.threshold.Silence 将静音区域的周期性手动设置为零。

periodicity = torchcrepe.threshold.Silence(-60.)(periodicity,
                                                 audio,
                                                 sr,
                                                 hop_length)

计算 CREPE 模型输出激活

batch = next(torchcrepe.preprocess(audio, sr, hop_length))
probabilities = torchcrepe.infer(batch)

计算 CREPE 嵌入空间

如同可微分数字信号处理 [2] 中所述，这里使用第五个最大池化层的输出作为预训练的音高嵌入。

embeddings = torchcrepe.embed(audio, sr, hop_length)

从文件中计算

torchcrepe 定义了以下函数，方便直接从磁盘上的音频文件进行预测。每个函数还接受一个 device 参数，可用于指定设备位置（例如，device='cuda:0'）。

torchcrepe.predict_from_file(audio_file, ...)
torchcrepe.predict_from_file_to_file(
    audio_file, output_pitch_file, output_periodicity_file, ...)
torchcrepe.predict_from_files_to_files(
    audio_files, output_pitch_files, output_periodicity_files, ...)

torchcrepe.embed_from_file(audio_file, ...)
torchcrepe.embed_from_file_to_file(audio_file, output_file, ...)
torchcrepe.embed_from_files_to_files(audio_files, output_files, ...)

命令行界面

用法：python -m torchcrepe
    [-h]
    --audio_files AUDIO_FILES [AUDIO_FILES ...]
    --output_files OUTPUT_FILES [OUTPUT_FILES ...]
    [--hop_length HOP_LENGTH]
    [--output_periodicity_files OUTPUT_PERIODICITY_FILES [OUTPUT_PERIODICITY_FILES ...]]
    [--embed]
    [--fmin FMIN]
    [--fmax FMAX]
    [--model MODEL]
    [--decoder DECODER]
    [--gpu GPU]
    [--no_pad]

可选参数：
  -h, --help            显示此帮助信息并退出
  --audio_files AUDIO_FILES [AUDIO_FILES ...]
                        要处理的音频文件
  --output_files OUTPUT_FILES [OUTPUT_FILES ...]
                        保存音高或嵌入的文件
  --hop_length HOP_LENGTH
                        分析窗口的跳帧长度
  --output_periodicity_files OUTPUT_PERIODICITY_FILES [OUTPUT_PERIODICITY_FILES ...]
                        保存周期性的文件
  --embed               执行嵌入而不是音高预测
  --fmin FMIN           允许的最低频率
  --fmax FMAX           允许的最高频率
  --model MODEL         模型容量。可以是“tiny”或“full”
  --decoder DECODER     使用的解码器。可以是“argmax”、“viterbi”或“weighted_argmax”
  --gpu GPU             用于执行推理的 GPU
  --no_pad              是否对音频进行填充

测试

该模块的测试可以按以下方式运行。

pip install pytest
pytest

参考文献

[1] J. W. Kim、J. Salamon、P. Li 和 J. P. Bello，“Crepe：用于音高估计的卷积表示”，载于 2018 年 IEEE 国际声学、语音与信号处理会议（ICASSP）。

[2] J. H. Engel、L. Hantrakul、C. Gu 和 A. Roberts，“DDSP：可微分数字信号处理”，载于 2020 年国际学习表征会议（ICLR）。

torchcrepe 快速上手指南

环境准备

• 系统要求：Python 3.6+
• 前置依赖：需先安装 PyTorch（根据 PyTorch 官方指南 安装，推荐使用国内镜像加速）

安装步骤

pip install torchcrepe -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

以下是最简示例（假设音频文件已存在）：

import torchcrepe

# 加载音频文件（替换为实际路径）
audio, sr = torchcrepe.load.audio("example.wav")

# 设置参数（5ms hop length，语音频率范围）
hop_length = int(sr / 200.)
fmin = 50
fmax = 550
model = 'tiny'
device = 'cuda:0'  # 无GPU时设为 'cpu'
batch_size = 2048

# 计算音高
pitch = torchcrepe.predict(
    audio,
    sr,
    hop_length,
    fmin,
    fmax,
    model,
    batch_size=batch_size,
    device=device
)