FMA：用于音乐分析的数据集

米夏埃尔·德费拉尔、 基雷尔·本齐、 皮埃尔·万德盖因斯特、 哈维埃·布雷松。
国际音乐信息检索会议（ISMIR），2017年。

我们推出了自由音乐档案馆（FMA），这是一个开放且易于访问的数据集，适用于评估音乐信息检索（MIR）领域的多项任务。MIR 领域关注于大规模音乐库的浏览、搜索和组织。然而，社区对特征学习和端到端学习日益增长的兴趣，却受限于大型音频数据集的稀缺性。FMA 旨在克服这一障碍，提供了 917 GiB、总计 343 天的知识共享许可音频，涵盖来自 16,341 位艺术家、14,854 张专辑的 106,574 首曲目，并按照包含 161 个流派的层次化分类体系进行组织。该数据集提供完整长度的高质量音频、预计算的特征，以及曲目级和用户级的元数据、标签和传记等自由文本信息。本文描述了该数据集及其构建过程，提出了训练/验证/测试划分及三个子集，讨论了一些适合的 MIR 任务，并评估了流派识别的一些基准模型。代码、数据和使用示例可在 https://github.com/mdeff/fma 获取。

• 论文：arXiv:1612.01840（含 LaTeX 文档和评审意见 GitHub 仓库）
• 演示文稿：doi:10.5281/zenodo.1066119
• 海报：doi:10.5281/zenodo.1035847

数据

所有曲目的元数据和特征均以 [fma_metadata.zip]（342 MiB）的形式发布。 以下表格可与 pandas 或其他数据分析工具配合使用。 详细说明请参阅论文或 [usage.ipynb] 笔记本。

• tracks.csv：包含所有 106,574 首曲目的 ID、标题、艺术家、流派、标签和播放次数等曲目级元数据。
• genres.csv：所有 163 个流派的名称及其父流派（用于推导流派层级结构和顶级流派）。
• features.csv：使用 librosa 提取的常用特征。
• echonest.csv：由 Echonest（现为 Spotify）为 13,129 首曲目提供的音频特征。

此外，还提供了不同规模的 MP3 编码音频数据：

1. [fma_small.zip]：8,000 首 30 秒片段，8 个均衡流派（类似 GTZAN 数据集）（7.2 GiB）
2. [fma_medium.zip]：25,000 首 30 秒片段，16 个不均衡流派（22 GiB）
3. [fma_large.zip]：106,574 首 30 秒片段，161 个不均衡流派（93 GiB）
4. [fma_full.zip]：106,574 首未修剪的完整曲目，161 个不均衡流派（879 GiB）

[fma_metadata.zip]：https://os.unil.cloud.switch.ch/fma/fma_metadata.zip
[fma_small.zip]： https://os.unil.cloud.switch.ch/fma/fma_small.zip
[fma_medium.zip]： https://os.unil.cloud.switch.ch/fma/fma_medium.zip
[fma_large.zip]： https://os.unil.cloud.switch.ch/fma/fma_large.zip
[fma_full.zip]： https://os.unil.cloud.switch.ch/fma/fma_full.zip

有关 已知问题（勘误），请参阅 wiki 或 #41。

代码

为该数据集开发了以下笔记本、脚本和模块：

1. [usage.ipynb]：演示如何加载数据集，并基于此开发、训练和测试自定义模型。
2. [analysis.ipynb]：探索元数据、数据和特征， 并生成论文中使用的 图表。
3. [baselines.ipynb]：基于音频和特征的流派识别基准模型。
4. [features.py]：用于从音频中提取特征的模块（用于生成 features.csv）。
5. [webapi.ipynb]：查询 FMA 的 Web API，可用于更新数据集。
6. [creation.ipynb]：数据集的创建过程（用于生成 tracks.csv 和 genres.csv）。
7. [creation.py]：数据集的创建脚本（涉及长期的数据收集和处理）。
8. [utils.py]：辅助函数和类。

[usage.ipynb]： https://nbviewer.jupyter.org/github/mdeff/fma/blob/outputs/usage.ipynb
[analysis.ipynb]： https://nbviewer.jupyter.org/github/mdeff/fma/blob/outputs/analysis.ipynb
[baselines.ipynb]： https://nbviewer.jupyter.org/github/mdeff/fma/blob/outputs/baselines.ipynb
[features.py]： features.py
[webapi.ipynb]： https://nbviewer.jupyter.org/github/mdeff/fma/blob/outputs/webapi.ipynb
[creation.ipynb]： https://nbviewer.jupyter.org/github/mdeff/fma/blob/outputs/creation.ipynb
[creation.py]： creation.py
[utils.py]： utils.py

使用方法

  点击 Binder 徽章，即可在浏览器中直接运行代码和处理数据，无需安装任何软件。

1. 克隆仓库。

   git clone https://github.com/mdeff/fma.git
   cd fma
   

2. 创建 Python 3.6 环境。

   # 使用 https://conda.io
   conda create -n fma python=3.6
   conda activate fma
   
   # 使用 https://github.com/pyenv/pyenv
   pyenv install 3.6.0
   pyenv virtualenv 3.6.0 fma
   pyenv activate fma
   
   # 使用 https://pipenv.pypa.io
   pipenv --python 3.6
   pipenv shell
   
   # 使用 https://docs.python.org/3/tutorial/venv.html
   python3.6 -m venv ./env
   source ./env/bin/activate
   

3. 安装依赖。

   pip install --upgrade pip setuptools wheel
   pip install numpy==1.12.1  # 用于解决 resampy 的错误 setup.py 问题
   pip install -r requirements.txt
   

   注意：根据您的使用场景，可能需要安装 ffmpeg 或 graphviz。
   注意：若要在 GPU 上训练神经网络，请安装 CUDA（参阅 TensorFlow 安装说明）。

4. 下载数据、验证完整性并解压压缩包。

   cd data
   
   curl -O https://os.unil.cloud.switch.ch/fma/fma_metadata.zip
   curl -O https://os.unil.cloud.switch.ch/fma/fma_small.zip
   curl -O https://os.unil.cloud.switch.ch/fma/fma_medium.zip
   curl -O https://os.unil.cloud.switch.ch/fma/fma_large.zip
   curl -O https://os.unil.cloud.switch.ch/fma/fma_full.zip
   
   echo "f0df49ffe5f2a6008d7dc83c6915b31835dfe733  fma_metadata.zip" | sha1sum -c -
   echo "ade154f733639d52e35e32f5593efe5be76c6d70  fma_small.zip"    | sha1sum -c -
   echo "c67b69ea232021025fca9231fc1c7c1a063ab50b  fma_medium.zip"   | sha1sum -c -
   echo "497109f4dd721066b5ce5e5f250ec604dc78939e  fma_large.zip"    | sha1sum -c -
   echo "0f0ace23fbe9ba30ecb7e95f763e435ea802b8ab  fma_full.zip"     | sha1sum -c -
   
   unzip fma_metadata.zip
   unzip fma_small.zip
   unzip fma_medium.zip
   unzip fma_large.zip
   unzip fma_full.zip
   
   cd ..
   

   注意：如果解压时出现错误，可以尝试使用 7zip。这可能是由于 不支持的压缩格式 导致的。

5. 在仓库根目录下创建一个 .env 配置文件，并填入以下内容。

   AUDIO_DIR=./data/fma_small/  # 解压后的 fma_*.zip 文件路径
   FMA_KEY=MYKEY  # 仅当您需要调用 freemusicarchive.org API 时才需设置
   

6. 打开 Jupyter 或运行笔记本。

   jupyter notebook
   make usage.ipynb
   

影响、覆盖范围和资源

100+ 篇研究论文

完整列表见 Google Scholar。 以下是一些精选：

• 基于音频的音乐分类与标签标注的零样本学习
• 一种深度音乐表示能否统领全局？不同表示学习策略的比较分析
• 基于音频的音乐分类与标签标注中的深度学习：教计算机区分摇滚与巴赫
• 为图神经网络学习离散结构
• 用于音频修复的上下文编码器
• OpenMIC-2018：一个多乐器识别的开放数据集
• 使用极端梯度提升检测音乐流派
• 将艺术家群体因素迁移学习应用于音乐流派分类
• 从音频中学习识别音乐流派：挑战概述
• 利用艺术家标签进行音乐表示学习

2 项衍生作品

• OpenMIC-2018：一个多乐器识别的开放数据集
• 来自 用于音乐分类和回归任务的迁移学习 的 ConvNet 特征

约 10 篇文章

• 使用 TensorFlow 进行音乐流派分类，Towards Data Science，2020 年 8 月 11 日。
• 音乐流派分类：Transformer 与循环神经网络的对比，Towards Data Science，2020 年 6 月 14 日。
• 使用 CNN 和 RNN 进行音乐流派识别，Towards Data Science，2018 年 12 月 13 日。
• 超过 1.5 TB 的带标签音频数据集，Towards Data Science，2018 年 11 月 13 日。
• 使用 K-Means 聚类发现描述性音乐流派，Medium，2018 年 4 月 9 日。
• 每位数据科学家都应使用的 25 个深度学习开放数据集，Analytics Vidhya，2018 年 3 月 29 日。
• 学习音乐流派，Medium，2017 年 12 月 13 日。
• music2vec：为流派分类任务生成向量嵌入，Medium，2017 年 11 月 28 日。
• 一个使用 FMA 制作的音乐信息检索数据集，freemusicarchive.org，2017 年 5 月 22 日。
• 宣布预发布，twitter.com，2017 年 5 月 9 日。
• FMA：用于音乐分析的数据集，tensorflow.blog，2017 年 3 月 14 日。
• 讨论测试版发布，twitter.com，2017 年 2 月 8 日。
• 面向研究人员的 FMA 数据集发布，freemusicarchive.org，2016 年 12 月 15 日。

5 个活动

• 夏季研讨会 由 哈弗福德数字学术图书馆 举办，2020 年 7 月。
• 流派识别挑战 在 Web Conference 上举行，里昂，2018 年 4 月。
• 演示文稿 在 Data Jam days 上展示，洛桑，2017 年 11 月 24 日。
• 海报 在 ISMIR 2017 上展示，苏州，2017 年 10 月 24 日。
• 演示文稿 用于 EPFL 的 实践中的开放科学 夏季学校，2017 年 9 月 29 日。

约 10 个数据集列表

• https://github.com/caesar0301/awesome-public-datasets
• https://archive.ics.uci.edu/ml/datasets/FMA:+A+Dataset+For+Music+Analysis
• http://deeplearning.net/datasets
• http://www.audiocontentanalysis.org/data-sets
• https://github.com/ismir/mir-datasets
• https://teachingmir.wikispaces.com/Datasets
• https://en.wikipedia.org/wiki/List_of_datasets_for_machine_learning_research
• https://loc.gov/item/2018655052
• https://cloudlab.atlassian.net/wiki/display/datasets/FMA:+A+Dataset+For+Music+Analysis
• https://www.datasetlist.com
• https://data-flair.training/blogs/deep-learning-project-ideas

贡献

可通过提交 issue 或 pull request 来贡献。 让这个仓库成为围绕该数据集的中心枢纽！

历史

2017 年 5 月 9 日 预发布

• 论文：arXiv:1612.01840v2
• 代码：git 标签 rc1
• fma_metadata.zip sha1：f0df49ffe5f2a6008d7dc83c6915b31835dfe733
• fma_small.zip sha1：ade154f733639d52e35e32f5593efe5be76c6d70
• fma_medium.zip sha1：c67b69ea232021025fca9231fc1c7c1a063ab50b
• fma_large.zip sha1：497109f4dd721066b5ce5e5f250ec604dc78939e
• fma_full.zip sha1：0f0ace23fbe9ba30ecb7e95f763e435ea802b8ab
• 已知问题：参见 #41

2016 年 12 月 6 日 测试版发布

• 论文：arXiv:1612.01840v1
• 代码：git 标签 beta
• fma_small.zip sha1：e731a5d56a5625f7b7f770923ee32922374e2cbf
• fma_medium.zip sha1：fe23d6f2a400821ed1271ded6bcd530b7a8ea551

致谢与许可

我们感谢瑞士数据科学中心（EPFL和ETHZ）为本数据集提供托管服务。

如果您使用了我们的代码或数据，请引用我们的工作：

@inproceedings{fma_dataset,
  title = {{FMA}: 音乐分析数据集},
  author = {Defferrard, Micha\"el 和 Benzi, Kirell 和 Vandergheynst, Pierre 和 Bresson, Xavier},
  booktitle = {第18届国际音乐信息检索会议 (ISMIR)},
  year = {2017},
  archiveprefix = {arXiv},
  eprint = {1612.01840},
  url = {https://arxiv.org/abs/1612.01840},
}

@inproceedings{fma_challenge,
  title = {从音频中学习识别音乐流派},
  subtitle = {挑战赛概述},
  author = {Defferrard, Micha\"el 和 Mohanty, Sharada P. 和 Carroll, Sean F. 和 Salath\'e, Marcel},
  booktitle = {2018年万维网大会配套论文集},
  year = {2018},
  publisher = {ACM Press},
  isbn = {9781450356404},
  doi = {10.1145/3184558.3192310},
  archiveprefix = {arXiv},
  eprint = {1803.05337},
  url = {https://arxiv.org/abs/1803.05337},
}

• 本仓库中的代码采用MIT许可证发布。
• 元数据采用知识共享署名4.0国际许可协议 (CC BY 4.0)发布。
• 我们不持有音频文件的版权，而是根据艺术家选择的许可协议进行分发。
• 本数据集仅用于研究目的。

FMA 音乐分析数据集快速上手指南

FMA (Free Music Archive) 是一个用于音乐信息检索（MIR）研究的开源数据集，包含大量带标签的音乐音频、元数据及预计算特征，适用于音乐流派分类、标签预测等任务。

环境准备

系统要求：

• 操作系统：Linux / macOS / Windows (需支持 Bash 或 WSL)
• Python 版本：3.6 (项目原始依赖版本，建议使用虚拟环境隔离)
• 磁盘空间：根据所需数据集大小准备（最小约 8GB，完整集约 879GB）

前置依赖：

• Git: 用于克隆代码仓库
• FFmpeg: 用于音频处理（部分功能必需）
• Graphviz: 用于可视化（可选，用于绘制图表）
• CUDA: 如需使用 GPU 训练神经网络，请提前安装对应版本的 CUDA 和 cuDNN

国内加速建议：

• 安装 Python 包时，推荐使用清华或阿里镜像源加速：pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
• 下载数据集时，由于官方服务器位于海外，下载大文件可能较慢，建议使用支持断点续传的下载工具（如 aria2c 或迅雷）。

安装步骤

1. 克隆仓库

git clone https://github.com/mdeff/fma.git
cd fma

2. 创建 Python 环境

推荐使用 conda 或 venv 创建独立的 Python 3.6 环境。

使用 Conda:

conda create -n fma python=3.6
conda activate fma

使用 Venv:

python3.6 -m venv ./env
source ./env/bin/activate  # Windows 用户请使用: .\env\Scripts\activate

3. 安装依赖库

pip install --upgrade pip setuptools wheel
# 修复 resampy 兼容性问题
pip install numpy==1.12.1
# 安装其他依赖 (建议配合国内镜像源)
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

4. 下载数据

进入 data 目录并下载所需的数据包。初学者建议先下载 fma_metadata.zip 和 fma_small.zip 进行尝试。

cd data

# 下载元数据 (必选)
curl -O https://os.unil.cloud.switch.ch/fma/fma_metadata.zip

# 下载小型数据集 (8000 首曲目，约 7.2GB，适合快速测试)
curl -O https://os.unil.cloud.switch.ch/fma/fma_small.zip

# 校验文件完整性 (可选，确保下载未损坏)
echo "f0df49ffe5f2a6008d7dc83c6915b31835dfe733  fma_metadata.zip" | sha1sum -c -
echo "ade154f733639d52e35e32f5593efe5be76c6d70  fma_small.zip"    | sha1sum -c -

# 解压文件
unzip fma_metadata.zip
unzip fma_small.zip

cd ..

注：若 unzip 报错，可尝试安装并使用 7z (p7zip-full)。

5. 配置环境变量

在项目根目录创建 .env 文件，指定音频数据路径：

echo "AUDIO_DIR=./data/fma_small/" > .env

(如果需要调用 FreeMusicArchive 在线 API，可在该文件中追加 FMA_KEY=YOUR_API_KEY)

基本使用

项目提供了 Jupyter Notebook 示例，展示了如何加载数据、提取特征及训练基线模型。

启动 Jupyter 并运行示例

确保当前处于激活的虚拟环境中，然后执行：

jupyter notebook

在浏览器打开的界面中，导航至 usage.ipynb 文件并运行。该笔记本将演示：

1. 使用 pandas 加载 tracks.csv 和 genres.csv 元数据。
2. 加载音频文件并进行预处理。
3. 构建简单的机器学习模型进行音乐流派分类。

代码片段示例 (Python)

若需在脚本中直接加载元数据，可参考以下逻辑：

import pandas as pd
import os

# 设置路径
metadata_path = './data/fma_metadata'
audio_dir = './data/fma_small'

# 加载元数据
tracks = pd.read_csv(os.path.join(metadata_path, 'tracks.csv'), index_col=0, header=[0, 1, 2])
genres = pd.read_csv(os.path.join(metadata_path, 'genres.csv'), index_col=0)

# 查看前几行数据
print(tracks.head())
print(genres.head())

现在您已准备好使用 FMA 数据集进行音乐分析实验了。更多高级用法（如特征提取、大规模训练）请参考仓库中的 baselines.ipynb 和 features.py。