LEAF：一种可学习的音频前端

LEAF 是一种可学习的音频特征替代方案，可用于替代梅尔滤波器组等传统特征。它可以初始化为接近梅尔滤波器组的形式，随后针对特定任务进行训练，且仅需极少量的参数。

有关该系统的完整描述，请参阅我们最近发表在 ICLR 上的论文：链接。

依赖项

• Python 3.8
• TensorFlow
• TensorFlow 数据集
• Gin
• Lingvo

内容

本库包含用于以下内容的 TensorFlow/Keras 代码：

• LEAF 前端，以及梅尔滤波器组、SincNet 和 时域滤波器组
• 用于 PANN、PCEN 和 SpecAugment 的 Keras 模型
• 使用 gin 的示例训练循环，用于在 TensorFlow 数据集上训练采用不同前端和架构的模型。

正在寻找 PyTorch 版本吗？请查看此 仓库（不由 Google Research 维护）。

安装

从仓库根目录运行以下命令：

pip3 install -e .

创建 Leaf 前端

我们提供了可学习和固定两种类型的前端，均为 Keras 模型。使用默认参数实例化 Leaf 将构建一个窗口大小为 25 毫秒、步长为 10 毫秒、压缩函数为 sPCEN、滤波器按梅尔尺度初始化的 LEAF 前端，如论文所述。为方便起见，我们还提供了时域滤波器组、SincNet 和 SincNet+ 作为 Leaf 的特殊实例，具有不同的层和初始化方式。

import leaf_audio.frontend as frontend

leaf = frontend.Leaf()
melfbanks = frontend.MelFilterbanks()
tfbanks = frontend.TimeDomainFilterbanks()
sincnet = frontend.SincNet()
sincnet_plus = frontend.SincNetPlus()

前端接收一批波形序列作为输入，并输出一批时频表示。

import tensorflow as tf
import tensorflow_datasets as tfds

dataset = iter(tfds.load('speech_commands', split='train', shuffle_files=True))
# 音频数据为 int16 格式，我们将其归一化到 [-1; 1]。
audio_sample = next(dataset)['audio'] / tf.int16.max
# 前端期望输入形状为 [B, T] 或 [B, T, C]。
audio_sample = audio_sample[tf.newaxis, :]

leaf_representation = leaf(audio_sample)
melfbanks_representation = melfbanks(audio_sample)
tfbanks_representation = tfbanks(audio_sample)
sincnet_representation = sincnet(audio_sample)
sincnet_plus_representation = sincnet_plus(audio_sample)

自定义前端架构

用户可以通过调整滤波器数量、窗口大小、压缩函数、采样率等参数，轻松构建新的 LEAF 前端。此时，应使用自定义参数实例化 Leaf。例如，以下 custom_leaf 前端与默认 LEAF 的区别在于：

• 使用 64 个滤波器而非 40 个，
• 窗口大小为 32 毫秒而非 25 毫秒，
• 音频采样率为 24kHz，
• 包含可学习的预加重层，
• 使用对数压缩而非 PCEN，
• 不包含可学习的池化层。

由于初始化依赖于采样率，我们还需重新定义 complex_conv_init。

import functools
from leaf_audio import frontend, initializers

n_filters = 64
window_len = 32
sample_rate = 24000
preemp = True
compression_fn = functools.partial(frontend.log_compression, log_offset=1e-5)
complex_conv_init = initializers.GaborInit(sample_rate=sample_rate, min_freq=60., max_freq=7800.)
learn_pooling=False
custom_leaf = frontend.Leaf(learn_pooling=learn_pooling,
                            n_filters=n_filters,
                            window_len=window_len,
                            sample_rate=sample_rate,
                            preemp=preemp,
                            compression_fn=compression_fn,
                            complex_conv_init=complex_conv_init)

训练音频分类模型

我们还提供了一个基础训练库，允许将前端与主分类架构（包括 PANN）结合，并在分类数据集上进行训练。 该库使用 Gin：common.gin 包含批量大小、分类架构等通用超参数。每个前端则有自己的 .gin 配置文件，它会继承 common.gin 中的所有超参数，并覆盖前端类的相关设置。在 leaf_custom.gin 中，我们展示了如何使用 Gin 轻松更改前端的超参数，以及主分类架构和 SpecAugment 的配置。 要训练基于梅尔滤波器组的模型：

python3 -m example.main --gin_config=example/configs/mel.gin

或基于 LEAF 的模型：

python3 -m example.main --gin_config=example/configs/leaf.gin

参考文献

如果您使用本仓库，请考虑引用以下文献：

@article{zeghidour2021leaf,
  title={LEAF: A Learnable Frontend for Audio Classification},
  author={Zeghidour, Neil and Teboul, Olivier and de Chaumont Quitry, F{\'e}lix and Tagliasacchi, Marco},
  journal={ICLR},
  year={2021}
}

请注意，这并非 Google 官方支持的产品。

LEAF Audio 快速上手指南

LEAF (LEarnable Audio Frontend) 是一个可学习的音频前端，旨在替代传统的梅尔滤波器组（Mel-filterbanks）。它可以初始化为梅尔滤波器的近似值，随后针对特定任务进行训练，同时保持极少的参数量。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux, macOS 或 Windows (需配置好 Python 环境)
• Python 版本: 3.8
• 核心依赖:
  • TensorFlow
  • TensorFlow Datasets
  • Gin (配置管理)
  • Lingvo (语音处理工具包)

提示：国内开发者在安装 TensorFlow 等大型依赖时，建议使用清华源或阿里源加速下载： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package_name>

安装步骤

克隆仓库或直接下载源码后，进入项目根目录，执行以下命令进行可编辑安装：

pip3 install -e .

基本使用

LEAF 提供了多种前端实现（包括 LEAF、Mel-filterbanks、SincNet 等），均以 Keras 模型形式存在。以下是加载音频数据并生成时频表示的最简示例。

1. 初始化前端模型

您可以实例化默认的 Leaf 前端，或其他变体（如 MelFilterbanks, SincNet 等）。默认配置包含 25ms 窗口大小、10ms 步长、sPCEN 压缩函数以及基于梅尔尺度的滤波器初始化。

import leaf_audio.frontend as frontend

# 初始化不同的音频前端
leaf = frontend.Leaf()
melfbanks = frontend.MelFilterbanks()
tfbanks = frontend.TimeDomainFilterbanks()
sincnet = frontend.SincNet()
sincnet_plus = frontend.SincNetPlus()

2. 处理音频数据

前端模型接收形状为 [B, T] (批量大小，时间步) 或 [B, T, C] 的波形序列，输出对应的时频特征表示。

import tensorflow as tf
import tensorflow_datasets as tfds

# 加载示例数据集 (Speech Commands)
dataset = iter(tfds.load('speech_commands', split='train', shuffle_files=True))

# 获取音频样本并将 int16 归一化到 [-1, 1]
audio_sample = next(dataset)['audio'] / tf.int16.max

# 调整维度以符合前端输入要求 [B, T]
audio_sample = audio_sample[tf.newaxis, :]

# 生成特征表示
leaf_representation = leaf(audio_sample)
melfbanks_representation = melfbanks(audio_sample)
tfbanks_representation = tfbanks(audio_sample)
sincnet_representation = sincnet(audio_sample)
sincnet_plus_representation = sincnet_plus(audio_sample)

进阶：自定义前端架构

您可以通过修改参数轻松构建自定义前端。例如，创建一个拥有 64 个滤波器、32ms 窗口、24kHz 采样率并使用对数压缩的 LEAF 变体：

import functools
from leaf_audio import frontend, initializers

n_filters = 64
window_len = 32
sample_rate = 24000
preemp = True
# 使用对数压缩替代默认的 PCEN
compression_fn = functools.partial(frontend.log_compression, log_offset=1e-5)
# 根据新的采样率重新定义初始化器
complex_conv_init = initializers.GaborInit(sample_rate=sample_rate, min_freq=60., max_freq=7800.)
learn_pooling=False

custom_leaf = frontend.Leaf(learn_pooling=learn_pooling,
                            n_filters=n_filters,
                            window_len=window_len,
                            sample_rate=sample_rate,
                            preemp=preemp,
                            compression_fn=compression_fn,
                            complex_conv_init=complex_conv_init)

训练模型

项目内置了基于 Gin 配置的简单训练循环。您可以直接运行以下命令开始训练：

使用梅尔滤波器组训练：

python3 -m example.main --gin_config=example/configs/mel.gin

使用 LEAF 前端训练：

python3 -m example.main --gin_config=example/configs/leaf.gin

如需修改超参数或网络架构，可编辑对应的 .gin 配置文件。