AST：音频谱图 Transformer

• 新闻
• 简介
• 引用
• 开始使用
• ESC-50 配方
• Speechcommands 配方
• AudioSet 配方
• 预训练模型
• 将预训练模型用于下游任务
• 联系方式

新闻

2023年5月：我们发布了音频大型语言模型 LTU（听、思考、理解）的演示，该模型能够进行零样本音频分类和高级推理。请尝试在线交互式演示 [这里]。

2022年11月：我们将 dataset 和超参数解耦，将超参数从 src/run.py 和 src/traintest.py 移至 egs/{audioset,esc50,speechcommands}/run.sh，以便更轻松地将脚本适配到新数据集。这可能会导致一些问题，如果您在运行任何配方时遇到问题，请及时报告。

2022年10月：我们新增了一个一键式、自包含的 Google Colab 脚本，用于进行带有注意力可视化功能的（预训练）AST 推理。您只需点击一下即可在 上用您自己的音频测试模型（无需 GPU）。

2022年5月：发现较新的 torchaudio 包在 SpecAugment 方面与旧版本的行为不同，会导致一个 bug。我们找到了一种解决方法并已修复。如果您感兴趣，请参阅 这里。

2022年3月：我们发布了一篇新的预印本 CMKD：基于 CNN/Transformer 的跨模型知识蒸馏用于音频分类，其中提出了一种基于知识蒸馏的方法，在不改变 AST 模型架构的情况下进一步提升其性能。

2022年2月：自监督 AST (SSAST) 的代码已发布 [这里]。SSAST 使用自监督预训练代替有监督的 ImageNet 预训练，因此它支持任意形状和大小的 patch（例如时间帧和方形 patch），并且表现良好。

2021年11月：用于训练 AST 和基线 efficientnet 模型的 PSLA 训练流程 代码已发布 [这里]。这是一个强大的音频分类训练流程，可用于大多数深度学习模型。此外，它还提供了一个一键式的 FSD50K 配方，可达到 SOTA 0.567 mAP 的成绩。

简介

本仓库包含了 Interspeech 2021 论文 AST：音频谱图 Transformer（Yuan Gong、Yu-An Chung、James Glass）中提出的 音频谱图 Transformer (AST) 的官方 PyTorch 实现。

AST 是首个 无卷积、纯 注意力驱动的音频分类模型，支持变长输入，并可应用于多种任务。我们在多个音频分类基准上评估了 AST，结果表明它在 AudioSet 上达到了 0.485 mAP 的新 SOTA 成绩，在 ESC-50 上准确率为 95.6%，在 Speech Commands V2 上准确率为 98.1%。更多详情请参阅论文及 ISCA SIGML 演讲。

欢迎您试用！AST 只需几行代码即可使用，我们还提供了配方，几乎一键就能复现 AudioSet、ESC-50 和 Speechcommands 上的 SOTA 结果。

AST 模型文件位于 src/models/ast_models.py，配方位于 egs/[audioset,esc50,speechcommands]/run.sh。当您运行 run.sh 时，它会调用 /src/run.py，后者再调用 /src/dataloader.py 和 /src/traintest.py，最终这些文件会调用 /src/models/ast_models.py。

我们还有一个一键式、自包含的 Google Colab 脚本，用于进行（预训练）AST 推理和注意力可视化。请通过 一键测试模型，使用您自己的音频（无需 GPU）。

引用

如果您觉得本仓库有用，请引用我们的论文。第一篇论文提出了音频谱图 Transformer，而第二篇论文则描述了我们应用于 AST 以在 AudioSet 上取得新 SOTA 成绩的训练流程。

@inproceedings{gong21b_interspeech,
  author={Yuan Gong and Yu-An Chung and James Glass},
  title={{AST: Audio Spectrogram Transformer}},
  year=2021,
  booktitle={Proc. Interspeech 2021},
  pages={571--575},
  doi={10.21437/Interspeech.2021-698}
}

@ARTICLE{gong_psla, 
    author={Gong, Yuan and Chung, Yu-An and Glass, James},  
    journal={IEEE/ACM Transactions on Audio, Speech, and Language Processing},   
    title={PSLA：通过预训练、采样、标注和聚合改进音频标记},   
    year={2021}, 
    doi={10.1109/TASLP.2021.3120633}
}

入门指南

步骤 1. 克隆或下载此仓库，并将其设置为工作目录，创建虚拟环境并安装依赖项。

cd ast/ 
python3 -m venv venvast
source venvast/bin/activate
pip install -r requirements.txt 

步骤 2. 测试 AST 模型。

ASTModel(label_dim=527, \
         fstride=10, tstride=10, \
         input_fdim=128, input_tdim=1024, \
         imagenet_pretrain=True, audioset_pretrain=False, \
         model_size='base384')

参数说明：
label_dim：类别数量（默认值：527）。
fstride：频率维度上补丁分割的步长。对于 16×16 的补丁，fstride=16 表示无重叠，fstride=10 表示有 6 的重叠（论文中采用的设置）。（默认值：10）
tstride：时间维度上补丁分割的步长。对于 16×16 的补丁，tstride=16 表示无重叠，tstride=10 表示有 6 的重叠（论文中采用的设置）。（默认值：10）
input_fdim：输入谱图的频率通道数。（默认值：128）
input_tdim：输入谱图的时间帧数。（默认值：1024，即 10.24 秒）
imagenet_pretrain：若为 True，则使用 ImageNet 预训练模型。（默认值：True，我们建议在所有任务中都设置为 True）
audioset_pretrain：若为 True，则使用 AudioSet 和 ImageNet 的联合预训练模型。目前仅支持 fstride=tstride=10 的 base384 模型。（默认值：False，我们建议除 AudioSet 任务外，在其他任务中都设置为 True）
model_size：AST 模型的大小，应为 [tiny224, small224, base224, base384] 中的一个（默认值：base384）。

输入： 形状为 [batch_size, temporal_frame_num, frequency_bin_num] 的张量。注意：输入谱图应使用数据集的均值和标准差进行归一化，请参阅 此处。
输出： 形状为 [batch_size, label_dim] 的原始 logits 张量（即未经过 Sigmoid 激活函数处理）。

cd ast/src
python

import os 
import torch
from models import ASTModel 
# 在此目录下下载预训练模型
os.environ['TORCH_HOME'] = '../pretrained_models'  
# 假设每个输入谱图有 100 个时间帧
input_tdim = 100
# 假设任务有 527 个类别
label_dim = 527
# 创建一个伪输入：一批 10 张谱图，每张有 100 个时间帧和 128 个频率通道 
test_input = torch.rand([10, input_tdim, 128]) 
# 创建一个 AST 模型
ast_mdl = ASTModel(label_dim=label_dim, input_tdim=input_tdim, imagenet_pretrain=True)
test_output = ast_mdl(test_input) 
# 输出应为形状 [10, 527]，即 10 个样本，每个样本包含 527 个类别的预测结果。 
print(test_output.shape)  

我们提供了一个一键式、自包含的 Google Colab 脚本，用于（预训练）AST 推理及注意力可视化。请通过点击 ，使用您自己的音频测试该模型（无需 GPU）。

ESC-50 使用流程

ESC-50 的使用流程位于 ast/egs/esc50/run_esc.sh，该脚本会自动下载 ESC-50 数据集并将其重采样至 16kHz，随后执行标准的 5 折交叉验证并报告结果。 该流程已在配备 12GB 显存的 4 张 GTX TITAN 显卡上测试完成。 结果保存在 ast/egs/esc50/exp/yourexpname/acc_fold.csv 中（包括第 1 至 5 折的准确率及平均准确率），您还可以在 result.csv 和 best_result.csv 中查看详细信息（各轮次/最佳轮次的准确率、AUC、损失等）。 我们附上了日志文件 ast/egs/esc50/test-esc50-f10-t10-p-b48-lr1e-5，该模型达到了 95.75% 的准确率。

要运行该流程，只需在 ast/egs/esc50/run_esc.sh 中注释掉 . /data/sls/scratch/share-201907/slstoolchainrc，如有需要可调整路径，然后执行：

cd ast/egs/esc50
（Slurm 用户） sbatch run_esc50.sh
（本地用户） ./run_esc50.sh

Speechcommands V2 使用流程

Speechcommands V2 的使用流程位于 ast/egs/speechcommands/run_sc.sh，该脚本会自动下载 Speechcommands V2 数据集，在训练集上训练 AST 模型，在验证集上进行验证，并在测试集上进行评估。 该流程已在配备 12GB 显存的 4 张 GTX TITAN 显卡上测试完成。 结果保存在 ast/egs/speechcommands/exp/yourexpname/eval_result.csv 中，格式为 [val_acc, val_AUC, eval_acc, eval_AUC]，您还可以在 result.csv 中查看详细信息（各轮次的准确率、AUC、损失等）。 我们附上了日志文件 ast/egs/speechcommends/test-speechcommands-f10-t10-p-b128-lr2.5e-4-0.5-false，该模型达到了 98.12% 的准确率。

要运行该流程，只需在 ast/egs/esc50/run_sc.sh 中注释掉 . /data/sls/scratch/share-201907/slstoolchainrc，如有需要可调整路径，然后执行：

cd ast/egs/speechcommands
（Slurm 用户） sbatch run_sc.sh
（本地用户） ./run_sc.sh

Audioset 配方

Audioset 的配置稍微复杂一些，您需要自行准备数据的 JSON 文件（即 train_data.json 和 eval_data.json）。原因是 Audioset 的原始音频文件并未公开，需由您自行下载。我们已在 ast/egs/audioset/data/datafiles 中提供了一个示例 JSON 文件，请按照相同格式生成文件（您也可以参考 ast/egs/esc50/prep_esc50.py 和 ast/egs/speechcommands/prep_sc.py）。请确保标签编码与 ast/egs/audioset/data/class_labels_indices.csv 保持一致。

准备好 JSON 文件后，您还需要为训练数据生成采样权重文件（请参阅我们的 PSLA 论文，了解为何需要该文件）：

cd ast/egs/audioset
python gen_weight_file.py ./data/datafiles/train_data.json

随后，只需修改 /ast/egs/audioset/run.sh 中的 tr_data 和 te_data，然后执行以下命令：

cd ast/egs/audioset
（Slurm 用户） sbatch run.sh
（本地用户） ./run.sh

您应该能够得到一个模型，其 mAP 分别为 0.448（未加权平均）和 0.459（加权平均）。这是论文中报道的最佳 单模型 结果。

每个 epoch 的结果会以 [mAP, mAUC, precision, recall, d_prime, train_loss, valid_loss, cum_mAP, cum_mAUC, lr] 的格式保存在 ast/egs/audioset/exp/yourexpname/result.csv 中，其中 cum_ 结果是检查点集成的结果（即对每个 epoch 的检查点模型预测进行平均，请参阅我们的 PSLA 论文 获取详细信息）。加权平均模型的结果则会以 [mAP, AUC, precision, recall, d-prime] 的格式保存在 wa_result.csv 中。我们在 ast/egs/audioset/test-full-f10-t10-pTrue-b12-lr1e-5/ 中附上了我们的日志文件，该模型达到了 0.459 的 mAP。

为了复现 0.475 mAP 和 0.485 mAP 的集成结果，请使用相同的设置训练 3 个模型（即重复上述步骤三次），并再用不同的 tstride 和 fstride 训练 6 个模型，最后对这些模型的输出进行平均。具体操作请参考 ast/egs/audioset/ensemble.py。我们已将集成日志分别存放在 /ast/egs/audioset/exp/ensemble-s.log 和 ensemble-m.log 中。您也可以使用我们提供的预训练模型来测试集成效果。

我们的实验均采用 16kHz 的采样率。请注意，由于 YouTube 视频会随时间被移除，您下载的数据版本可能与我们的不同，因此可能会得到略微差异的结果。我们在 ast/egs/audioset/data/sanity_check/our_as_eval_id.csv 中提供了用于评估的音频 ID 列表。此外，请注意，为了与 PSLA 论文中的结果进行对比，在 平衡训练集 实验中（结果分别为 0.347 mAP 和 0.378 mAP），我们使用了增强标签集（即通过算法修改后的标签集，详情请参阅 PSLA 论文）。因此，如果您使用原始标签集进行平衡训练集的训练，结果可能会稍差。然而，在 完整 Audioset 实验 中，即 0.459 mAP（单模型）和 0.485 mAP（集成模型）的结果中，我们使用的数据和标签与官方发布的完全一致，因此您应该能够复现这些结果。

预训练模型

我们提供了完整的 Audioset 预训练模型以及 Speechcommands-V2-35 的预训练模型。

1. 完整 Audioset，10 tstride，10 fstride，加权平均（0.459 mAP）

2. 完整 Audioset，10 tstride，10 fstride，不加权平均，模型 1（0.450 mAP）

3. 完整 Audioset，10 tstride，10 fstride，不加权平均，模型 2（0.448 mAP）

4. 完整 Audioset，10 tstride，10 fstride，不加权平均，模型 3（0.448 mAP）

5. 完整 Audioset，12 tstride，12 fstride，不加权平均，模型（0.447 mAP）

6. 完整 Audioset，14 tstride，14 fstride，不加权平均，模型（0.443 mAP）

7. 完整 Audioset，16 tstride，16 fstride，不加权平均，模型（0.442 mAP）

8. Speechcommands V2-35，10 tstride，10 fstride，不加权平均，模型（在评估集上准确率为 98.12%）

如果您希望在自己的任务上微调 Audioset 预训练的 AST 模型，只需在创建 AST 模型时将 audioset_pretrain=True 设置即可，系统会自动下载模型 1（0.459 mAP）。在我们的 ESC-50 配方中，就使用了 Audioset 的预训练。

若想复现集成实验，您可以使用 ast/egs/audioset/download_models.sh 脚本一键下载这些模型。集成模型 2–4 可达到 0.475 mAP，而集成模型 2–7 则可达到 0.485 mAP。下载完成后，您可以尝试运行 ast/egs/audioset/ensemble.py，只需修改 eval_data_path 和 mdl_list 即可运行。我们已将集成日志分别存放在 /ast/egs/audioset/exp/ensemble-s.log 和 ensemble-m.log 中。

请注意，我们用于训练和测试的音频均采用 16kHz 采样率（适用于所有 Audioset、SpeechCommands 和 ESC-50 数据集），因此如果您要使用预训练模型，请务必确保您的数据也采用 16kHz 采样率。

（注：以上链接均为 Dropbox 直链（可通过 wget 下载），大多数用户均可正常使用。对于无法通过上述 Dropbox 链接下载的用户，建议使用 VPN 或者访问 OneDrive 链接 或 腾讯微云链接。不过，OneDrive 和腾讯微云的链接并非直链，您需要手动下载 audioset_10_10_0.4593.pth[OneDrive] [腾讯微云]，并将其放置在 ast/pretrained_models 目录下，以便在设置 audioset_pretrain=True 时正常工作，因为如果无法连接到 Dropbox，ast/src/models/ast_models.py 中的 wget 链接将会失败。）

使用预训练模型进行下游任务

您可以将预训练的 AST 模型应用于您自己的数据集。有两种方法可以实现这一点。

当然，您也可以只使用 ast/src/models/ast_models.py，将 audioset_pretrain=True 设置为真，并将其与您自己的训练流程一起使用。需要注意的是输入归一化问题：我们对输入进行了归一化处理，使其均值为 0、标准差为 0.5。为了使用预训练模型，您应该大致将输入归一化到这个范围。您可以查看 ast/src/get_norm_stats.py 了解我们如何计算这些统计量，或者直接使用我们的 AudioSet 归一化公式：input_spec = (input_spec + 4.26) / (4.57 * 2)。如果您已经有一个成熟的训练流程，那么直接使用它可能会更方便。

请注意，AST 需要较小的学习率（我们使用的学习率是 PSLA 论文 中提出的 CNN 模型的十分之一），并且收敛速度更快。因此，请针对您的任务搜索合适的学习率和学习率调度策略。

如果您希望使用我们的训练流程，则需要根据您的新数据集进行以下修改：

1. 您需要为您的数据集创建一个 JSON 文件以及标签索引，可以参考 ast/egs/audioset/data/ 中的示例。
2. 在 /your_dataset/run.sh 中，您需要指定数据 JSON 文件的路径。此外，您还需要设置 dataset_mean 和 dataset_std；如果不确定，可以使用我们的 AudioSet 统计值（均值=-4.27，标准差=4.57）。您还需设置 audio_length，即音频的帧数（例如，以 10ms 的步长，10 秒的音频等于 1000 帧）。同时，您需要在 metrics 中选择 [acc, mAP]，在 loss 中选择 [CE, BCE]。此外，您还需要设置初始学习率 lr 和学习率调度器 lrscheduler_{start, step, decay}。

您还需要设置 SpecAug 参数（freqm 和 timem，我们建议掩码掉 128 个频段中的 48 个频段，以及 20% 的时间帧）、mixup 比例（即 mixup 样本的比例）、批量大小等。虽然看起来步骤较多，但如果您从我们的现有配方之一开始——ast/egs/[audioset, esc50, speechcommands]/run.sh——就会变得非常简单。

[注释]：3. 在 ast/src/run.py 的第 60–65 行，您需要添加归一化统计信息、输入帧长度，以及是否需要为您的数据集添加噪声增强。如果您有单独的验证集，请同时查看第 101–127 行。对于归一化统计信息，您需要计算数据集的均值和标准差（请参考 ast/src/get_norm_stats.py），或者直接使用我们的 AudioSet 归一化公式：input_spec = (input_spec + 4.26) / (4.57 * 2)。

[注释]：4. 在 ast/src/traintest.py 的第 55–82 行，您需要为您的任务指定学习率调度器、评估指标、warmup 设置以及优化器。

总结来说，要使用我们的训练流程，您需要创建数据文件并修改 Shell 脚本。您可以参考我们的 ESC-50 和 Speechcommands 配方。

另外，请注意，我们用于预训练的音频采样率为 16kHz，因此如果您想使用该预训练模型，也请确保您的数据是以 16kHz 采样率准备的。

联系方式

如果您有任何问题，欢迎提交 Issue（推荐）或发送邮件至 yuangong@mit.edu。

AST (Audio Spectrogram Transformer) 快速上手指南

AST 是首个完全基于注意力机制（无卷积）的音频分类模型，支持可变长度输入，在 AudioSet、ESC-50 和 Speech Commands V2 等基准测试中取得了最先进的结果。

环境准备

• 操作系统: Linux / macOS (Windows 用户建议使用 WSL2 或 Docker)
• Python: 3.7+
• 核心依赖: PyTorch, torchaudio
• 硬件要求:
  • 推理: 无需 GPU，CPU 即可运行。
  • 训练/复现 SOTA: 建议配备 NVIDIA GPU (原文测试环境为 4x GTX TITAN 12GB)。

安装步骤

1. 克隆仓库并进入目录

   git clone https://github.com/YuanGongND/ast.git
   cd ast
   

2. 创建虚拟环境并安装依赖

   python3 -m venv venvast
   source venvast/bin/activate
   pip install -r requirements.txt
   

   提示: 国内用户若下载依赖较慢，可添加清华源加速： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

以下示例展示如何加载预训练模型并进行简单的推理测试。

1. 代码示例

创建一个 Python 脚本（例如 test_ast.py），填入以下代码：

import os 
import torch
from src.models import ASTModel 

# 设置预训练模型下载目录 (模型将自动下载到 ../pretrained_models)
os.environ['TORCH_HOME'] = '../pretrained_models'  

# 参数配置
input_tdim = 100       # 输入频谱的时间帧数 (假设每段音频有 100 帧)
label_dim = 527        # 分类类别数量 (AudioSet 为 527 类)

# 构造伪输入数据: [batch_size, time_frames, freq_bins]
# 注意：实际使用时，输入频谱需使用数据集的均值和标准差进行归一化
test_input = torch.rand([10, input_tdim, 128]) 

# 初始化 AST 模型
# imagenet_pretrain=True: 使用 ImageNet 预训练权重 (推荐用于所有任务)
# audioset_pretrain=False: 若需使用 AudioSet+ImageNet 联合预训练模型，设为 True (仅支持 base384)
ast_mdl = ASTModel(
    label_dim=label_dim, 
    input_tdim=input_tdim, 
    imagenet_pretrain=True,
    model_size='base384'
)

# 执行推理
test_output = ast_mdl(test_input) 

# 输出形状应为 [10, 527]，即 10 个样本，每个样本对应 527 类的预测 logits
print(f"Output shape: {test_output.shape}")

2. 运行测试

确保在激活的虚拟环境中运行：

cd ast/src
python ../test_ast.py

3. 在线体验 (无需本地安装)

如果您想快速测试模型效果或可视化注意力图，可以使用官方提供的 Google Colab 脚本（无需本地 GPU）： AST Inference Demo on Colab

---

关键参数说明：

• label_dim: 类别数量。
• fstride / tstride: 频域和时域的 Patch 步长（默认 10，表示有重叠）。
• input_fdim: 输入频谱的频带数（默认 128）。
• model_size: 模型大小，可选 [tiny224, small224, base224, base384]。