MusicAutobot

利用深度学习生成流行音乐！

你也可以通过网页应用进行体验——musicautobot.com

概述

自然语言处理领域的最新进展在文本生成方面取得了令人瞩目的成果。而Transformer架构正是这一切的重要推动力。

本项目旨在利用这些强大的语言模型，并将其应用于音乐创作。它基于fast.ai的库构建而成。

实现

MusicTransformer - 这个基础模型使用了Transformer-XL，能够根据一段音乐音符序列预测下一个音符。

MultitaskTransformer - 基于MusicTransformer构建，该模型经过多任务训练：

• 下一个音符预测（与MusicTransformer相同）
• BERT标记掩码
• 序列到序列翻译——用和弦预测旋律，反之亦然。

通过多任务训练，我们可以生成非常酷的效果（请查看这个Notebook)：

1. 和声编配——生成伴奏和弦
2. 旋律创作——基于现有和弦进程创作新旋律
3. 重混曲调——以参考歌曲的节奏创作新歌
4. 重混节拍——同一旋律，不同节奏

工作原理

详细内容将在以下四部分系列文章中介绍：

• 第一部分——创建流行音乐生成器
• 第二部分——实现细节
• 第三部分——多任务Transformer
• 第四部分——用多任务模型创作歌曲

示例Notebook

1. 在Google Colab上玩转预测

• MusicTransformer Generate——加载预训练模型，展示如何生成或预测新音符
• MultitaskTransformer Generate——加载预训练模型，展示如何进行和声编配、创作新旋律以及重混现有歌曲。

2. MusicTransformer

• 训练——从MIDI文件创建数据集并从头开始训练模型的完整示例
• 生成——加载预训练模型，展示如何生成或预测新音符

3. MultitaskTransformer

• 训练——端到端示例，讲解如何为多任务训练创建序列到序列及掩码数据集。
• 生成——加载预训练模型，展示如何进行和声编配、创作新旋律以及重混现有歌曲。

4. 数据编码

• Midi2Tensor——展示库内部如何将MIDI文件编码为张量以用于训练。
• MusicItem——MusicItem是一个包装器，方便操作MIDI数据。它可以将MIDI转换为张量、应用数据变换，甚至在浏览器中播放音乐或显示音符。

预训练模型

预训练模型分为MusicTransformer和MultitaskTransformer两种，各有小型和大型版本。

每种模型还有一个keyC版本。“keyC”表示该模型仅在C调（所有白键）上训练过。这类模型效果更好，但要求输入必须是C调。

1. MusicTransformer（600 MB）——任意调 | C调

2. MultitaskTransformer

• 小型（700 MB）——任意调 | C调
• 大型（2.1 GB）——任意调 | C调

有关如何加载这些模型的详细信息，请参阅Generate和MultiTask Generate笔记本。

源代码

• musicautobot/
• numpy_encode.py——用于将MIDI编码为张量的子模块
• music_transformer.py——子模块结构类似于fastai的库。
  • 学习者、模型、变换——MusicItem、数据加载器
• multitask_transformer.py——子模块结构同样参照fastai的库。
  • 学习者、模型、变换——MusicItem、数据加载器

脚本

用于训练模型的命令行脚本： run_multitask.py——多任务训练

python run_multitask.py --epochs 14 --save multitask_model --batch_size=16 --bptt=512 --lamb --data_parallel --lr 1e-4

run_music_transformer.py——音乐模型训练

python run_music_transformer.py --epochs 14 --save music_model --batch_size=16 --bptt=512 --lr 1e-4

run_ddp.sh——辅助方法，用于使用多个GPU进行训练（分布式数据并行）。仅适用于run_music_transformer.py

SCRIPT=run_multitask.py bash run_ddp.sh --epochs 14 --save music_model --batch_size=16 --bptt=512 --lr 1e-4

命令必须在scripts/文件夹内运行

安装

1. 安装Anaconda：https://www.anaconda.com/distribution/

2. 执行以下步骤：

git clone https://github.com/bearpelican/musicautobot.git

cd musicautobot

conda env update -f environment.yml

source activate musicautobot

3. 安装Musescore——以便在Jupyter Notebook中查看乐谱

   Ubuntu：

   sudo apt-get install musescore
   

   MacOS——下载

Flask 服务器

安装：

cd serve

conda env update -f environment.yml

S3 存储桶

你需要设置一个 S3 存储桶来保存你的预测结果。 创建存储桶后，请在配置文件 api/api.cfg 中更新为新的存储桶名称。

开发环境：

python run.py

生产环境：

gunicorn -b 127.0.0.1:5000 run_guni:app  --timeout 180 --workers 8

数据

很遗憾，我无法提供用于训练模型的数据集。

以下是一些建议：

• Classical Archives - 拥有海量高质量古典 MIDI 文件的优秀资源
• HookTheory - 非常适合序列到序列预测的数据集。需要手动将文件导入 Hookpad
• Reddit - 包含约 13 万个 MIDI 文件
• Lakh - 优秀的研究用数据集

致谢

本项目基于 fast.ai 的深度学习库以及 music21 强大的音乐学库构建而成。

灵感来源于 bachbot 和 clara。

特别感谢 SPC 和 PalapaVC。

MusicAutobot 快速上手指南

MusicAutobot 是一个基于深度学习（Transformer 架构）的流行音乐生成开源项目。它利用 fast.ai 库，能够根据输入的音符序列预测下一个音符，或执行和声生成、旋律创作及歌曲混音等多任务操作。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux (推荐 Ubuntu) 或 macOS。
• 核心依赖：
  • Anaconda：用于管理 Python 环境和依赖包。
  • MuseScore：用于在 Jupyter Notebook 中查看和播放生成的乐谱。
    • Ubuntu: sudo apt-get install musescore
    • macOS: 请访问官网下载安装包。
• 硬件建议：如需从头训练模型，建议使用配备 NVIDIA GPU 的机器；若仅使用预训练模型进行推理，CPU 亦可运行（速度较慢）。

安装步骤

1. 克隆项目代码

   git clone https://github.com/bearpelican/musicautobot.git
   cd musicautobot
   

2. 创建并激活 Conda 环境 项目提供了 environment.yml 文件以自动安装所有必要的 Python 依赖（包括 PyTorch, fastai, music21 等）。

   conda env update -f environment.yml
   source activate musicautobot
   

   提示：如果下载依赖速度较慢，可尝试配置国内镜像源（如清华源或阿里源）加速 conda 和 pip 的安装过程。

3. 验证安装 确保激活了 musicautobot 环境后，即可进入下一步使用预训练模型。

基本使用

最快速的上手方式是使用 Google Colab 加载预训练模型进行音乐生成，无需本地配置复杂环境。如果您已在本地完成安装，也可参考以下逻辑运行。

方式一：使用 Google Colab（推荐新手）

项目提供了两个主要的 Notebooks，可直接在浏览器中运行：

1. 基础音符生成 (MusicTransformer)

   • 功能：加载预训练模型，根据种子音符预测后续音符。
   • 链接：MusicTransformer Generate Colab

2. 多任务高级生成 (MultitaskTransformer)

   • 功能：支持和声生成 (Harmonization)、根据和弦生成旋律、以及歌曲混音 (Remix)。
   • 链接：MultitaskTransformer Generate Colab

方式二：本地运行示例

在激活 musicautobot 环境后，您可以运行本地的 Jupyter Notebook 示例。

1. 下载预训练模型 根据需求从以下链接下载模型权重文件（例如 MultitaskSmall.pth），并放置在项目适当目录（参考 Notebook 中的路径设置）：

   • Multitask Small (AnyKey): 下载链接
   • MusicTransformer (AnyKey): 下载链接
   • 注：KeyC 版本仅限 C 大调输入，通常 AnyKey 版本通用性更强。

2. 运行生成脚本 启动 Jupyter Lab 或 Notebook：

   jupyter lab
   

   打开 notebooks/multitask_transformer/Generate.ipynb。该笔记本展示了如何：

   • 加载预训练模型。
   • 输入一段 MIDI 旋律或和弦。
   • 调用模型生成伴奏、新旋律或混音版本。
   • 将结果导出为 MIDI 文件或直接在浏览器中播放。

进阶：训练自己的模型

如果您拥有自己的 MIDI 数据集并希望训练模型，可以使用提供的训练脚本。需在 scripts/ 目录下运行：

• 训练多任务模型：

  python run_multitask.py --epochs 14 --save multitask_model --batch_size=16 --bptt=512 --lamb --data_parallel --lr 1e-4
  

• 训练基础音乐模型：

  python run_music_transformer.py --epochs 14 --save music_model --batch_size=16 --bptt=512 --lr 1e-4
  

更多数据编码细节和自定义数据处理流程，请参考 notebooks/data_encoding/ 目录下的示例。