安装

pip install auraloss

如果您想使用 MelSTFTLoss() 或 FIRFilter()，则需要安装额外的依赖项（librosa 和 scipy）。

pip install auraloss[all]

使用方法

import torch
import auraloss

mrstft = auraloss.freq.MultiResolutionSTFTLoss()

input = torch.rand(8,1,44100)
target = torch.rand(8,1,44100)

loss = mrstft(input, target)

新增：基于梅尔尺度谱图的感知加权功能。

bs = 8
chs = 1
seq_len = 131072
sample_rate = 44100

# 您想要比较的一些音频数据
target = torch.rand(bs, chs, seq_len)
pred = torch.rand(bs, chs, seq_len)

# 定义损失函数
loss_fn = auraloss.freq.MultiResolutionSTFTLoss(
    fft_sizes=[1024, 2048, 8192],
    hop_sizes=[256, 512, 2048],
    win_lengths=[1024, 2048, 8192],
    scale="mel",
    n_bins=128,
    sample_rate=sample_rate,
    perceptual_weighting=True,
)

# 计算损失
loss = loss_fn(pred, target)

引用

如果您在工作中使用了本代码，请考虑引用我们。

@inproceedings{steinmetz2020auraloss,
    title={auraloss: {A}udio focused loss functions in {PyTorch}},
    author={Steinmetz, Christian J. and Reiss, Joshua D.},
    booktitle={Digital Music Research Network One-day Workshop (DMRN+15)},
    year={2020}
}

损失函数

我们将损失函数分为时域和频域两类。此外，还包含了感知变换相关的损失函数。

损失函数	接口	参考文献
时域
误差与信号比（ESR）	auraloss.time.ESRLoss()	Wright & Välimäki, 2019
直流误差（DC）	auraloss.time.DCLoss()	Wright & Välimäki, 2019
双曲余弦对数（Log-cosh）	auraloss.time.LogCoshLoss()	Chen et al., 2019
信噪比（SNR）	auraloss.time.SNRLoss()
尺度不变信干比（SI-SDR）	auraloss.time.SISDRLoss()	Le Roux et al., 2018
尺度相关信干比（SD-SDR）	auraloss.time.SDSDRLoss()	Le Roux et al., 2018
频域
聚合 STFT	auraloss.freq.STFTLoss()	Arik et al., 2018
聚合梅尔尺度 STFT	auraloss.freq.MelSTFTLoss(sample_rate)
多分辨率 STFT	auraloss.freq.MultiResolutionSTFTLoss()	Yamamoto et al., 2019*
随机分辨率 STFT	auraloss.freq.RandomResolutionSTFTLoss()	Steinmetz & Reiss, 2020
和差 STFT 损失	auraloss.freq.SumAndDifferenceSTFTLoss()	Steinmetz et al., 2020
感知变换
和差信号变换	auraloss.perceptual.SumAndDifference()
FIR 预加重滤波器	auraloss.perceptual.FIRFilter()	Wright & Välimäki, 2019

* Wang 等人，2019 年也提出了一种多分辨率频谱损失（该方法被 Engel 等人，2020 年沿用），但他们并未包含由 Arik 等人，2018 年首次提出的对数幅度（L1 距离）和频谱收敛项，而这些内容后来在 Yamamoto 等人，2019 年的多分辨率版本中得到了扩展。

示例

目前我们提供了一个使用一组损失函数来训练 TCN 模型以模拟模拟动态范围压缩器的示例。 有关详细信息，请参阅 examples/compressor 中的说明。

我们提供了预训练模型、用于计算论文中指标的评估脚本（论文链接：DMRN15__auraloss__Audio_focused_loss_functions_in_PyTorch.pdf），以及用于重新训练模型的脚本。

基于 STFTLoss 类，您还可以进行一些更高级的操作。例如，您可以像 Engel 等人, 2020 那样同时计算线性和对数尺度的 STFT 误差。在这种情况下，我们不包含频谱收敛项：

stft_loss = auraloss.freq.STFTLoss(
    w_log_mag=1.0, 
    w_lin_mag=1.0, 
    w_sc=0.0,
)

此外，还有一种梅尔尺度的 STFT 损失，它有一些特殊的要求。这种损失需要您设置采样率，并指定正确的设备：

sample_rate = 44100
melstft_loss = auraloss.freq.MelSTFTLoss(sample_rate, device="cuda")

您也可以轻松构建一个具有 64 个频带的多分辨率梅尔尺度 STFT 损失。请确保将要比较的张量放置在正确的设备上：

loss_fn = auraloss.freq.MultiResolutionSTFTLoss(
    scale="mel", 
    n_bins=64,
    sample_rate=sample_rate,
    device="cuda"
)

如果您正在处理立体声音频的损失计算，可以考虑使用和差（中/侧）损失。下面展示了如何结合感知加权和梅尔尺度来进一步提升感知相关性：

target = torch.rand(8, 2, 44100)
pred = torch.rand(8, 2, 44100)

loss_fn = auraloss.freq.SumAndDifferenceSTFTLoss(
    fft_sizes=[1024, 2048, 8192],
    hop_sizes=[256, 512, 2048],
    win_lengths=[1024, 2048, 8192],
    perceptual_weighting=True,
    sample_rate=44100,
    scale="mel",
    n_bins=128,
)

loss = loss_fn(pred, target)

开发

您可以在本地使用 pytest 运行测试：

python -m pytest

auraloss 快速上手指南

auraloss 是一个基于 PyTorch 的音频专用损失函数集合，广泛应用于音频生成、语音合成及音乐处理任务中。它提供了时域、频域及感知变换等多种损失计算方式。

环境准备

• 操作系统：Linux, macOS, Windows
• Python 版本：建议 Python 3.7+
• 核心依赖：
  • torch (PyTorch)
• 可选依赖（若需使用 MelSTFTLoss 或 FIRFilter）：
  • librosa
  • scipy

安装步骤

基础安装

仅安装核心功能（时域和部分频域损失函数）：

pip install auraloss

国内加速建议：如遇下载缓慢，可使用清华或阿里镜像源：

pip install auraloss -i https://pypi.tuna.tsinghua.edu.cn/simple

完整安装

若需使用梅尔频谱（Mel-scaled）相关功能或 FIR 滤波器，请安装包含额外依赖的版本：

pip install auraloss[all]

国内加速建议：

pip install "auraloss[all]" -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

以下示例演示如何导入库并使用最常用的 多分辨率短时傅里叶变换损失 (MultiResolutionSTFTLoss) 来计算预测音频与目标音频之间的差异。

import torch
import auraloss

# 初始化损失函数
mrstft = auraloss.freq.MultiResolutionSTFTLoss()

# 创建模拟输入数据 (Batch=8, Channel=1, Length=44100)
input = torch.rand(8, 1, 44100)
target = torch.rand(8, 1, 44100)

# 计算损失值
loss = mrstft(input, target)

print(f"Loss value: {loss.item()}")

进阶：带感知加权的梅尔频谱损失

如果需要更符合人耳听觉特性的损失计算（支持梅尔刻度及感知加权），可按以下方式配置：

bs = 8
chs = 1
seq_len = 131072
sample_rate = 44100

# 模拟音频数据
target = torch.rand(bs, chs, seq_len)
pred = torch.rand(bs, chs, seq_len)

# 定义带有感知加权和梅尔刻度的多分辨率损失函数
loss_fn = auraloss.freq.MultiResolutionSTFTLoss(
    fft_sizes=[1024, 2048, 8192],
    hop_sizes=[256, 512, 2048],
    win_lengths=[1024, 2048, 8192],
    scale="mel",
    n_bins=128,
    sample_rate=sample_rate,
    perceptual_weighting=True,
)

# 计算损失
loss = loss_fn(pred, target)