MuseGAN

MuseGAN 是一个音乐生成项目。简而言之，我们的目标是生成多轨（乐器）的复调音乐。所提出的模型既可以从零开始生成音乐，也可以根据用户事先提供的某一条轨道进行伴奏生成。

我们使用从 Lakh Pianoroll 数据集 收集的训练数据来训练模型，以生成包含贝斯、鼓、吉他、钢琴和弦乐等音轨的流行歌曲片段。

示例结果可在 这里 查看。

重要说明

• 最新的实现基于 BinaryMuseGAN 中提出的网络架构，其中时间结构由三维卷积层处理。这种设计的优点是网络规模较小，但缺点是可控性降低，例如无法为不同的小节或音轨输入不同的潜在变量。
• 我们在论文中用于运行实验的原始代码可以在 v1 文件夹中找到。
• 寻找 PyTorch 版本？请查看 这个仓库。

先决条件

以下假设工作目录为仓库根目录。

安装依赖

• 使用 pipenv（推荐）

  确保已安装 pipenv。（若未安装，只需运行 pip install pipenv。）

  # 安装依赖
  pipenv install
  # 激活虚拟环境
  pipenv shell
  

• 使用 pip

  # 安装依赖
  pip install -r requirements.txt
  

准备训练数据

训练数据收集自 Lakh Pianoroll 数据集 (LPD)，这是一个新的多轨钢琴卷帘数据集。

# 下载训练数据
./scripts/download_data.sh
# 将训练数据存储到共享内存
./scripts/process_data.sh

你也可以手动下载训练数据（train_x_lpd_5_phr.npz）。

由于钢琴卷帘矩阵通常是稀疏的，我们只将非零元素的索引和数组形状存储到 npz 文件中以节省空间，随后再还原原始数组。要将部分训练数据 data 存储为此格式，只需运行 np.savez_compressed("data.npz", shape=data.shape, nonzero=data.nonzero())

脚本

我们提供了一些 Shell 脚本，以便于管理实验。（详细文档请参见 这里。）

以下假设工作目录为仓库根目录。

训练新模型

1. 运行以下命令以使用默认设置设置一个新的实验。

   # 设置新实验
   ./scripts/setup_exp.sh "./exp/my_experiment/" "关于我实验的一些说明"
   

2. 根据实验设置修改配置文件和模型参数文件。

3. 你可以选择训练模型：

   # 训练模型
   ./scripts/run_train.sh "./exp/my_experiment/" "0"
   

   或者运行整个实验（训练 + 推理 + 插值）：

   # 运行实验
   ./scripts/run_exp.sh "./exp/my_experiment/" "0"
   

收集训练数据

运行以下命令以从 MIDI 文件中收集训练数据。

# 收集训练数据
./scripts/collect_data.sh "./midi_dir/" "data/train.npy"

使用预训练模型

1. 下载预训练模型

   # 下载预训练模型
   ./scripts/download_models.sh
   

   你也可以手动下载预训练模型（pretrained_models.tar.gz）。

2. 你可以从预训练模型中进行推理：

   # 从预训练模型中进行推理
   ./scripts/run_inference.sh "./exp/default/" "0"
   

   或者从预训练模型中进行插值：

   # 从预训练模型中进行插值
   ./scripts/run_interpolation.sh "./exp/default/" "0"
   

输出

默认情况下，样本会在训练过程中同时生成。你可以通过将配置文件 (config.yaml) 中的 save_samples_steps 设置为零来禁用此行为。生成的样本默认会以以下三种格式存储：

• .npy: 原始 NumPy 数组
• .png: 图像文件
• .npz: 多轨钢琴卷帘文件，可由 Pypianoroll 包加载

你可以通过将配置文件中的 save_array_samples、save_image_samples 和 save_pianoroll_samples 设置为 False 来禁用特定格式的保存。

生成的钢琴卷帘以 .npz 格式存储，以节省空间和处理时间。你可以使用以下代码将其写入 MIDI 文件。

from pypianoroll import Multitrack

m = Multitrack('./test.npz')
m.write('./test.mid')

示例结果

一些示例结果可在 ./exp/ 目录中找到。更多样本可以从以下链接下载。

• sample_results.tar.gz（54.7 MB）：示例推理和插值结果
• training_samples.tar.gz（18.7 MB）：不同训练步骤下的生成样本

引用

如果你使用本仓库提供的代码，请引用以下论文。

Hao-Wen Dong*, Wen-Yi Hsiao*, Li-Chia Yang 和 Yi-Hsuan Yang，“MuseGAN：用于符号化音乐生成与伴奏的多轨序列生成对抗网络”，AAAI 人工智能会议 (AAAI)，2018 年。（*贡献相等）
[主页] [arXiv] [论文] [幻灯片] [代码]

论文

MuseGAN：用于符号化音乐生成与伴奏的多轨序列生成对抗网络
董浩文*、萧文怡*、杨丽嘉和杨毅轩（*为共同第一作者）
AAAI人工智能会议 (AAAI)，2018年。
[主页] [arXiv] [论文] [演示文稿] [代码]

基于二值神经元的卷积生成对抗网络用于复调音乐生成
董浩文和杨毅轩
国际音乐信息检索学会会议 (ISMIR)，2018年。
[主页] [视频] [论文] [演示文稿] [长版演示文稿] [海报] [arXiv] [代码]

MuseGAN：基于卷积GAN的多轨钢琴卷帘谱生成模型演示
董浩文*、萧文怡*、杨丽嘉和杨毅轩（*为共同第一作者）
ISMIR最新成果演示，2017年。
[论文] [海报]

MuseGAN 快速上手指南

MuseGAN 是一个用于生成多轨复调音乐（如流行乐句）的开源项目。它支持从零生成音乐，或根据用户提供的单轨旋律进行伴奏生成。本项目基于 Lakh Pianoroll 数据集训练，可生成包含贝斯、鼓、吉他、钢琴和弦乐的五轨音乐。

环境准备

系统要求

• 操作系统: Linux 或 macOS (Windows 需使用 WSL)
• Python: 推荐 Python 3.6+
• 内存: 建议 8GB 以上（处理大型数据集时）
• 存储: 预留至少 10GB 空间用于存放数据集和模型

前置依赖

• pip 或 pipenv (推荐)
• git
• bash shell 环境

注意：最新实现基于 BinaryMuseGAN 架构，使用 3D 卷积层处理时间结构，网络更小但可控性略低。如需复现论文原始实验，请使用 v1 文件夹代码；若需要 PyTorch 版本，请参考 ISMIR2019 教程仓库。

安装步骤

1. 克隆仓库

git clone https://github.com/salu133445/musegan.git
cd musegan

2. 安装依赖

推荐使用 pipenv 管理虚拟环境：

# 安装 pipenv (如果未安装)
pip install pipenv

# 安装项目依赖
pipenv install

# 激活虚拟环境
pipenv shell

或者使用 pip 直接安装：

pip install -r requirements.txt

3. 准备训练数据

项目默认从 Lakh Pianoroll Dataset (LPD) 获取数据。运行以下脚本自动下载并处理数据（存储至共享内存以加速读取）：

# 下载训练数据
./scripts/download_data.sh

# 处理数据并存入共享内存
./scripts/process_data.sh

手动下载备选：如果自动下载失败，可手动下载 train_x_lpd_5_phr.npz 并放置于相应目录。

基本使用

方案 A：直接使用预训练模型（推荐新手）

如果你只想快速生成音乐样本，无需重新训练，可直接下载预训练模型。

1. 下载预训练模型

   ./scripts/download_models.sh
   

   手动下载备选：pretrained_models.tar.gz

2. 执行推理生成音乐

   # 从预训练模型生成样本
   ./scripts/run_inference.sh "./exp/default/" "0"
   

3. 执行插值生成（探索潜在空间）

   # 执行潜变量插值
   ./scripts/run_interpolation.sh "./exp/default/" "0"
   

方案 B：从头训练新模型

如果你希望使用自定义数据或调整架构进行训练：

1. 初始化实验配置

   # 创建名为 my_experiment 的新实验目录
   ./scripts/setup_exp.sh "./exp/my_experiment/" "我的实验备注"
   

2. 修改配置 编辑 ./exp/my_experiment/ 下的配置文件（如 config.yaml），调整超参数或模型设置。

3. 开始训练

   # 仅训练模型
   ./scripts/run_train.sh "./exp/my_experiment/" "0"
   
   # 或者：运行完整流程（训练 + 推理 + 插值）
   ./scripts/run_exp.sh "./exp/my_experiment/" "0"
   

自定义数据采集（可选）

如果你有本地的 MIDI 文件想作为训练数据：

# 从指定目录收集 MIDI 数据并转换为 numpy 格式
./scripts/collect_data.sh "./midi_dir/" "data/train.npy"

输出结果说明

默认情况下，生成的样本会保存在实验目录（如 ./exp/my_experiment/）中，包含三种格式：

• .npy: 原始 NumPy 数组
• .png: 钢琴卷帘可视化图片
• .npz: 多轨钢琴卷帘数据（可由 pypianoroll 库加载）

转换为 MIDI 文件

生成的 .npz 文件体积较小，可使用以下 Python 代码将其转换为标准的 MIDI 文件以便播放：

from pypianoroll import Multitrack

# 加载生成的 npz 文件
m = Multitrack('./test.npz')
# 写入为 MIDI 文件
m.write('./test.mid')

提示：若不想在训练过程中自动生成样本，可在 config.yaml 中将 save_samples_steps 设为 0。