使用深度学习进行音乐生成

论文

• 基于音乐属性词表示的流行音乐旋律生成（2017年10月）[arXiv] [代码]

• 为音乐即服务生成非平凡旋律（2017年10月）[arXiv] [页面]

• MuseGAN：基于多轨序列生成对抗网络的符号域音乐生成与伴奏（2017年9月）[arXiv] [页面]

• 用于无监督序列模式学习的相似性嵌入网络——通过玩音乐拼图游戏实现（2017年9月）[arXiv] [页面]

• 面向音乐信息检索的深度学习教程（2017年9月）[arXiv]

• 音乐生成中的深度学习技术——综述（2017年9月）[arXiv]

• 音乐风格的神经翻译（2017年8月）[arXiv] [页面]

• GLSR-VAE：用于变分自编码器架构的测地线潜在空间正则化（2017年7月）[arXiv]

• 利用深度自编码器学习和评估音乐特征（2017年6月）[arXiv]

• 面向序列生成模型的目标强化生成对抗网络（ORGAN）（2017年5月）[arXiv] [代码]

• MidiNet：一种使用1D和2D条件的符号域音乐生成卷积生成对抗网络——ISMIR 2017（2017年3月）[arXiv] [页面]

• 将流行音乐自动转换为8位像素艺术风格的芯片音乐——ICASSP 2017（2017年2月）[论文] [代码] [页面]

• C-RNN-GAN：具有对抗训练的连续循环神经网络（2016年11月）[arXiv] [代码]

• 用强化学习调优循环神经网络——ICLR 2017（2016年11月）[arXiv] [网页] [代码]

• SeqGAN：带有策略梯度的序列生成对抗网络——AAAI 2017（2016年9月）[论文] [代码]

• 来自π的歌曲：一种音乐上合理的流行音乐生成网络——ICLR 2017[arXiv]

• 基于文本的LSTM网络用于自动音乐创作（2016年4月）[arXiv] [网页] [代码]

• 利用深度学习进行音乐转录建模与作曲（2016年4月）[arXiv] [代码]

• 用长短时记忆（LSTM）循环神经网络创作旋律（2016年2月）[网页] [代码] [论文]

• 神经自适应序列蒙特卡洛——NIPS 2015（2015年）[论文]

• 用于序列数据的循环隐变量模型——NIPS 2015（2015年）[论文] [代码]

• 算法作曲中的AI方法：全面综述（2013年）[论文]

• 高维序列中时间依赖性的建模：应用于复调音乐生成与转录（2012年）[arXiv]

• 通过音乐张力的强化学习迈向自适应音乐生成（2010年）[论文]

• 首次尝试使用LSTM循环神经网络进行音乐创作（2002年）[网页] [论文]

博客

• 用于生成音乐的神经网络[网页]

• 使用JavaScript与Web Audio生成音乐[网页]

• 人工智能现状：音乐、电影等领域的AI应用（2017年7月）[网页]

• 用循环神经网络作曲（2015年8月）[网页] [代码]

代码库

• Google Magenta[网页] [代码]

• Deep Jazz[网页] [代码]

• BachBot[网页] [代码]

• WaveNet[代码]（未完全实现）

• GRUV[代码]

• Kulitta[代码]

会议与研讨会

• ACM MM——ACM多媒体大会[网页]
• ISMIR——国际音乐信息检索学会[网页]
• ICASSP——声学、语音与信号处理会议[网页]
• DLM——音乐深度学习研讨会[网页]
• CSMC——计算机模拟音乐创造力会议[网页]
• CCRMA——斯坦福大学音乐与声学计算研究中心[网页]
• ICMC——国际计算机音乐大会[网页] [列表]

应用

• Google A.I. Duet [链接]
• 无限鼓机 [链接]
• Amper Music [链接]
• 智能音乐系统 [链接]
• Unwind [链接]
• Tidalcycles [链接] [视频]

music-generation-with-DL 快速上手指南

注意：music-generation-with-DL 是一个收录了深度学习音乐生成领域论文、博客、代码库及相关会议的资源列表（Awesome List），而非一个单一的可安装软件包。本指南将指导你如何基于该列表中推荐的核心项目（以 Google Magenta 为例，因其最成熟且文档齐全）搭建开发环境并生成音乐。

1. 环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统：Linux (Ubuntu 16.04+ 推荐), macOS, 或 Windows (建议使用 WSL2)。
• Python 版本：Python 3.7 - 3.9 (取决于具体模型，Magenta 通常推荐 3.8+)。
• 硬件要求：
  • CPU：用于推理和小型模型训练。
  • GPU：强烈推荐 NVIDIA GPU (显存 4GB+) 用于训练大型模型（如 WaveNet, MuseGAN），需安装 CUDA 和 cuDNN。
• 前置依赖：
  • pip (Python 包管理工具)
  • git
  • ffmpeg (用于音频处理)

国内加速建议： 在安装 Python 依赖时，建议使用清华源或阿里源以提升下载速度：

export PIP_INDEX_URL=https://pypi.tuna.tsinghua.edu.cn/simple

2. 安装步骤

由于该仓库是资源集合，我们将安装其中最主流的音乐生成框架 Google Magenta 作为入门起点。

步骤 1: 创建虚拟环境

为了避免依赖冲突，建议创建独立的虚拟环境：

python3 -m venv magenta-env
source magenta-env/bin/activate  # Windows 用户请使用: magenta-env\Scripts\activate

步骤 2: 安装 Magenta

直接通过 pip 安装最新稳定版：

pip install magenta

注：若需使用特定模型（如列表中提到的 NeuralMelody 或 MuseGAN），请前往 README 中对应的 GitHub 链接克隆代码并按其单独的 requirements.txt 安装。

步骤 3: 验证安装

检查是否安装成功：

python -c "import magenta; print(magenta.__version__)"

3. 基本使用

以下示例展示如何使用 Magenta 命令行工具生成一段简单的 MIDI 旋律（基于预训练的 LSTM 模型）。

示例：生成旋律

1. 运行生成命令： 使用 melody_rnn_generate 工具生成一个长度为 30 秒的 MIDI 文件。

   melody_rnn_generate \
     --config=lookback_rnn \
     --output_dir=/tmp/melody_rnn/generated \
     --num_outputs=1 \
     --num_steps=128 \
     --qpm=120
   

   参数说明：

   • --config: 选择预训练模型配置（如 lookback_rnn, attention_rnn）。
   • --output_dir: 生成文件的保存路径。
   • --num_steps: 生成的步数（128 步约等于 4-8 小节，取决于节拍）。
   • --qpm: 每分钟节拍数 (Quarter Notes Per Minute)。

2. 查看结果： 命令执行完成后，MIDI 文件将保存在 /tmp/melody_rnn/generated 目录下。你可以使用任何支持 MIDI 的播放器（如 VLC, GarageBand, 或在线 MIDI 播放器）试听，或使用 Python 库将其转换为 WAV。

3. 进阶：使用 Python API 生成： 你也可以在 Python 脚本中直接调用模型进行更灵活的控制：

   import magenta.music as mm
   from magenta.models.shared import events_input_graph
   from magenta.models.melody_rnn import melody_rnn_config_registry
   import tensorflow as tf
   
   # 加载配置
   config = melody_rnn_config_registry.config('lookback_rnn')
   
   # 初始化模型 (实际使用中需加载检查点 checkpoint)
   # 此处仅为逻辑示意，完整流程需下载预训练 checkpoint 文件
   print("Model loaded. Ready to generate.")
   
   # 生成逻辑通常涉及构建序列、运行会话并解码输出
   # 详细代码请参考: https://github.com/tensorflow/magenta/tree/master/magenta/models/melody_rnn
   

提示：README 中列出的其他优秀项目（如 BachBot, Deep Jazz, MuseGAN）均有独立的仓库和使用说明，建议根据具体音乐风格需求（如爵士、巴赫风格、多轨伴奏）选择对应的项目进行克隆和运行。