音乐自动标签器

使用 Keras 的音乐自动标签器

警告！有替代方案可用

• 如果您想要一个标签器，请也看看：
  • compact_cnn
• 如果您想要一个特征提取器，可以考虑以下两者之一：
  • compact_cnn
  • 迁移学习音乐

由于 MusicTaggerCNN 和 MusicTaggerCRNN 是基于旧版 Keras 中批归一化的一个较旧且略有问题的实现（谢天谢地它仍然能工作），修复起来相当棘手。

Keras 版本

• 对于 MusicTaggerCNN，请使用 keras == 1.0.6。
• 对于 MusicTaggerCRNN，请使用 1.2 >= keras > 1.0.6。
• 对于 compact_cnn，请使用 1.2 >= keras >= 1.1。

前提条件——请务必阅读！

• 您需要 keras 才能运行 example.py。
  • 如果要使用您自己的音频文件，还需要 librosa。
• 输入数据的形状是 (None, channel, height, width)，即遵循 Theano 的约定。如果您使用 TensorFlow 作为后端，应检查 ~/.keras/keras.json 文件中是否将 image_dim_ordering 设置为 th，例如：

"image_dim_ordering": "th",

• 要使用 compact_cnn, 您需要安装 Kapre。

文件（1）

适用于 MusicTaggerCNN 和 MusicTaggerCRNN。

• example_tagging.py：标签示例；example_feat_extract.py：特征提取示例
• music_tagger_cnn.py、music_tagger_crnn.py：模型

文件（2）

适用于 compact_cnn

• main.py 提供示例。
• 更多信息请参阅子目录中的 README.md。

结构图

左：compact_cnn CNN、music_tager_cnn。右：music_tagger_crnn

MusicTaggerCNN

• 5 层 2D 卷积
• 参数量：865,950
• AUC 分数：0.8654
• 警告 当使用 keras >1.0.6 时，此模型无法正常工作。 请在更新之前使用 MusicTaggerCRNN！ （补充说明：使用 300 万参数的更深层卷积神经网络显示出 0.8595 的 AUC。）

MusicTaggerCRNN

• 4 层 2D 卷积 + 2 个 GRU
• 参数量：396,786
• AUC 分数：0.8662

训练过程是怎样的？

• 使用 Million Song Dataset 中的 29.1 秒音乐文件
• 划分设置：用于划分设置的仓库 提供了完全相同的设置。
• 参见 论文
• 标签如下……

['摇滚', '流行', '另类', '独立', '电子', '女声主唱', 
'舞曲', '00年代', '另类摇滚', '爵士', '优美', '金属', 
'轻松', '男声主唱', '经典摇滚', '灵魂乐', '独立摇滚',
'舒缓', '电子音乐', '80年代', '民谣', '90年代', '休闲', '纯音乐',
'朋克', '老歌', '布鲁斯', '硬摇滚', '氛围音乐', '原声', '实验',
'女歌手', '吉他', '嘻哈', '70年代', '派对', '乡村', '轻松听',
'性感', '抓耳', '放克', '电音' ,'重金属', '前卫摇滚',
'60年代', 'R&B', '独立流行', '伤感', '浩室', '欢快']

哪个预测效果更好？

• 更新：如果追求最高效的计算，请使用 compact_cnn。否则请继续阅读下方内容。
• 训练方面：MusicTaggerCNN 比 MusicTaggerCRNN 更快（实际耗时）。
• 预测方面：两者相差不大。
• 内存占用：MusicTaggerCRNN 的可训练参数较少。实际上，您甚至可以减少特征图的数量。在这种情况下，MusicTaggerCRNN 仍然表现良好——也就是说，当前的设置略显冗余。而使用 MusicTaggerCNN 时，如果减少参数数量，性能会明显下降。

因此，如果您只想使用预训练权重，建议选择 MusicTaggerCNN。如果您想自行训练，则由您决定。我建议在将参数量缩减至约 20 万之后再使用 MusicTaggerCRNN（这样训练时间就会与 MusicTaggerCNN 相似）。要减小模型规模，只需调整卷积层的特征图数量即可。

哪个更适合用作特征提取器？

通过设置 include_top=False，您可以获得 256 维（MusicTaggerCNN）或 32 维（MusicTaggerCRNN）的特征表示。

一般来说，我推荐使用 MusicTaggerCRNN 和 32 维特征来预测 50 个标签，因为 256 维特征显得有些过大。我只研究过 32 维特征，而没有深入探讨过 256 维特征。我曾考虑使用 PCA 进一步降维，但最终并未实施，原因是 mean(abs(recovered - original) / original) 分别为 .12（维度从 32 降至 16）、.05（维度从 32 降至 24），这些结果并不理想。

或许 256 维特征确实存在冗余（可以通过 PCA 有效压缩），或者它们包含的信息比 32 维特征更多（例如不同层次的特征）。如果维度大小不是关键因素，那么选择 256 维特征也是值得的。

使用方法

$ python example_tagging.py
$ python example_feat_extract.py

结果

theano, MusicTaggerCRNN

data/bensound-cute.mp3
[('爵士', '0.444'), ('纯音乐', '0.151'), ('民谣', '0.103'), ('嘻哈', '0.103'), ('氛围音乐', '0.077')]
[('吉他', '0.068'), ('摇滚', '0.058'), ('原声', '0.054'), ('实验', '0.051'), ('电子音乐', '0.042')]

data/bensound-actionable.mp3
[('爵士', '0.416'), ('纯音乐', '0.181'), ('嘻哈', '0.085'), ('民谣', '0.085'), ('摇滚', '0.081')]
[('氛围音乐', '0.068'), ('吉他', '0.062'), ('前卫摇滚', '0.048'), ('实验', '0.046'), ('原声', '0.046')]

data/bensound-dubstep.mp3
[('嘻哈', '0.245'), ('摇滚', '0.183'), ('另类', '0.081'), ('电子音乐', '0.076'), ('另类摇滚', '0.053')]
[('金属', '0.051'), ('独立', '0.028'), ('纯音乐', '0.027'), ('电子音乐', '0.024'), ('硬摇滚', '0.023')]

data/bensound-thejazzpiano.mp3
[('爵士', '0.299'), ('纯音乐', '0.174'), ('电子音乐', '0.089'), ('氛围音乐', '0.061'), ('轻松音乐', '0.052')]
[('摇滚', '0.044'), ('吉他', '0.044'), ('放克', '0.033'), ('休闲', '0.032'), ('前卫摇滚', '0.029')]

还有……

• 更多信息——CNN：
  • 关于这篇论文：arXiv链接，或博客文章。
  • 也请查看在 ISMIR 2016 上的演示文稿。其中包含了一些论文中未提及的结果。
• 更多信息——RNN：
  • 论文：arXiv链接，或博客文章。

复现实验

• 一个用于划分数据集的仓库：MSD_split_for_tagging，提供了与两篇论文中完全一致的实验设置。
• 音频文件：可以找身边恰好拥有试听片段的人获取；或者自行抓取文件。我建议你可以从同事那里开始收集……

致谢

• 紧凑型CNN：待更新。

• 卷积神经网络：使用深度卷积神经网络进行自动标签，崔根宇、乔治·法泽卡斯、马克·桑德勒
  第17届国际音乐信息检索学会会议，美国纽约，2016年

• 卷积循环神经网络：用于音乐分类的卷积循环神经网络，崔根宇、乔治·法泽卡斯、马克·桑德勒、曹庆贤，arXiv:1609.04243，2016年

• 测试音乐素材来自http://www.bensound.com。

music-auto_tagging-keras 快速上手指南

环境准备

系统要求

• Python: 建议 Python 2.7 或 3.6+（取决于 Keras 版本兼容性）
• 后端框架: Theano 或 TensorFlow
• 核心依赖:
  • Keras: 不同模型对应不同版本（见下文）
  • librosa: 用于加载和处理自定义音频文件
  • Kapre: 仅在使用 compact_cnn 模型时需要

版本兼容性警告

本项目包含多个模型，对 Keras 版本有严格要求：

• MusicTaggerCNN: 必须使用 keras == 1.0.6（高版本会导致 Batch Normalization 错误）。
• MusicTaggerCRNN: 适用 1.0.6 < keras <= 1.2。
• compact_cnn (推荐): 适用 1.1 <= keras <= 1.2，计算效率最高。

注意: 输入数据格式遵循 Theano 约定 (None, channel, height, width)。如果你使用 TensorFlow 作为后端，请确保修改 ~/.keras/keras.json 配置：

"image_dim_ordering": "th"

安装步骤

1. 安装基础依赖 建议使用国内镜像源加速安装（如清华源）：

   pip install -i https://pypi.tuna.tsinghua.edu.cn/simple keras==1.2.0 librosa
   

   注：若需使用 compact_cnn，还需安装 Kapre：

   pip install -i https://pypi.tuna.tsinghua.edu.cn/simple git+https://github.com/keunwoochoi/kapre.git
   

2. 克隆项目代码

   git clone https://github.com/keunwoochoi/music-auto_tagging-keras.git
   cd music-auto_tagging-keras
   

3. 下载预训练权重 项目本身不包含权重文件，需根据你选择的模型（CNN 或 CRNN）从原作者提供的链接下载 .h5 文件，并放置在项目根目录或代码指定的路径下。

基本使用

本项目提供了两个主要功能的示例脚本：自动打标（Tagging）和特征提取（Feature Extraction）。

1. 音乐自动打标

运行以下命令对示例音频进行风格预测：

python example_tagging.py

输出示例： 脚本将输出音频文件最可能的标签及其置信度，例如：

data/bensound-cute.mp3
[('jazz', '0.444'), ('instrumental', '0.151'), ('folk', '0.103'), ...]

支持识别的标签包括：rock, pop, jazz, electronic, Hip-Hop 等共 50 种风格。

2. 特征提取

若需将音乐转换为向量特征（用于其他机器学习任务），运行：

python example_feat_extract.py

• MusicTaggerCNN: 输出 256 维特征向量。
• MusicTaggerCRNN: 输出 32 维特征向量（推荐，冗余度更低）。

进阶提示

• 推荐模型: 除非有特定历史版本需求，否则建议优先使用 compact_cnn 目录下的模型，其计算效率更高且维护较好。
• 自定义音频: 修改示例脚本中的文件路径，即可处理本地任意音频文件（需确保已安装 librosa）。