🎵 NotaGen：利用大语言模型训练范式推进符号音乐生成 (Symbolic Music Generation) 中的音乐性

        

📖 概述

NotaGen 是一个符号音乐生成 (Symbolic Music Generation) 模型，旨在探索生成高质量古典乐谱的潜力。受大语言模型 (Large Language Models, LLMs) 成功的启发，NotaGen 采用了三阶段训练范式：

• 🧠 在 160 万首音乐作品上进行预训练 (Pre-training)
• 🎯 在约 9000 首古典作品上进行微调 (Fine-tuning)，使用 period-composer-instrumentation（时期 - 作曲家 - 配器）提示词
• 🚀 使用我们新颖的 CLaMP-DPO 方法进行强化学习 (Reinforcement Learning)（无需人工标注或预定义奖励。）

查看我们的 演示页面 并欣赏由 NotaGen 创作的音乐！

⚙️ 环境设置

conda create --name notagen python=3.10
conda activate notagen
conda install pytorch==2.3.0 pytorch-cuda=11.8 -c pytorch -c nvidia
pip install accelerate
pip install optimum
pip install -r requirements.txt

🏋️ NotaGen 模型权重

预训练

我们提供了不同规模的预训练权重：

模型 (Models)	参数量 (Parameters)	Patch 级解码器层数 (Patch-level Decoder Layers)	Character 级解码器层数 (Character-level Decoder Layers)	隐藏层大小 (Hidden Size)	Patch 长度 (上下文长度) (Patch Length (Context Length))
NotaGen-small	110M	12	3	768	2048
NotaGen-medium	244M	16	3	1024	2048
NotaGen-large	516M	20	6	1280	1024

注意：预训练权重不能用于基于 'period-composer-instrumentation' 的条件生成。

微调

我们在约 9000 首古典作品的语料库上对 NotaGen-large 进行了微调。您可以 此处 下载权重。

强化学习

在预训练和微调之后，我们使用 3 次迭代的 CLaMP-DPO 优化了 NotaGen-large。您可以 此处 下载权重。

🌟 NotaGen-X

受 Deepseek-R1 启发，我们进一步优化了 NotaGen 的训练流程，并发布了一个更好的版本 --- NotaGen-X。与论文中的版本相比，NotaGen-X 包含了以下改进：

• 我们在预训练和微调之间引入了一个后训练 (post-training) 阶段，使用预训练数据集中的古典风格子集对模型进行优化。
• 我们在微调阶段移除了调性增强 (key augmentation)，使得生成作品的乐器范围更加合理。
• 在强化学习 (RL) 之后，我们利用生成的检查点 (checkpoint) 收集了一组新的后训练数据。从预训练检查点开始，我们进行了另一轮后训练、微调和强化学习。

如果您想为 NotaGen-X 添加新的作曲家风格，请参阅 issue #18 获取更多说明 :D

🎹 演示

在线 Gradio 演示

我们在 Huggingface Space 上为 NotaGen-X 开发了一个 在线 gradio 演示。您可以输入 "Period-Composer-Instrumentation"（时期 - 作曲家 - 配器） 作为提示词，让 NotaGen 生成音乐，预览音频/乐谱 PDF，并下载它们 :D

本地 Gradio 演示

我们为 NotaGen-X 开发了一个本地 Gradio 演示。您可以输入 "Period-Composer-Instrumentation"（时期 - 作曲家 - 配器） 作为提示词，让 NotaGen 生成音乐！

本地部署 NotaGen-X 推理可能需要 8GB 显存 (GPU memory)。有关实现细节，请查看 gradio/README.md。我们也在努力开发在线演示。

在线 Colab 笔记本

感谢 @deeplearn-art 贡献的 NotaGen Google Colab 笔记本! 您可以运行它并访问 Gradio 公共链接来体验此演示。🤩

ComfyUI

感谢 @billwuhao 贡献的 NotaGen ComfyUI 节点! 它可以自动将生成的 .abc 文件转换为 .xml、.mp3 和 .png 格式。您也可以聆听生成的音乐并查看乐谱！请访问 仓库页面 获取更多信息。🤩

🛠️ 数据预处理与后处理

关于 ABC 记谱法（ABC notation） 文件与 MusicXML（音乐标记语言） 文件之间的互转，请查看 data/README.md 获取说明。

为了说明具体的数据格式，我们提供了一个来自 OpenScore Lieder 的 舒伯特艺术歌曲（Schubert's lieder） 作曲小型数据集，其中包括：

• 🗂️ 交错 ABC 文件夹（Interleaved ABC folders）
• 🗂️ 增强 ABC 文件夹（Augmented ABC folders）
• 📄 用于训练和评估的数据索引文件

您可以 此处 下载并将其放在 data/ 目录下。

在下方的 微调（Fine-tuning） 和 强化学习（Reinforcement Learning） 说明中，我们将使用此数据集作为我们实现的示例。它不包含“时期 - 作曲家 - 配器（period-composer-instrumentation）”条件控制（conditioning），仅用于展示如何将预训练的 NotaGen 适配到特定的音乐风格。

🧠 预训练

如果您想使用自己的数据预训练一个空白的 NotaGen 模型，请：

1. 按照 data/README.md 中的说明预处理数据并生成数据索引文件
2. 修改 pretrain/config.py 中的参数

使用以下命令进行预训练：

cd pretrain/
accelerate launch --multi_gpu --mixed_precision fp16 train-gen.py

🎯 微调

这里我们提供一个使用上述 舒伯特艺术歌曲（Schubert's lieder） 数据微调 NotaGen-large 的示例。

注意： 使用 NotaGen-large 进行训练和推理至少需要 24GB 显存（GPU memory）。或者，您可以使用 NotaGen-small 或 NotaGen-medium 并在 finetune/config.py 中更改模型配置。

配置

• 在 finetune/config.py 中：
  • 修改 DATA_TRAIN_INDEX_PATH 和 DATA_EVAL_INDEX_PATH：

    # Configuration for the data
    DATA_TRAIN_INDEX_PATH = "../data/schubert_augmented_train.jsonl" 
    DATA_EVAL_INDEX_PATH  = "../data/schubert_augmented_eval.jsonl"
    

  • 下载预训练的 NotaGen 权重（weights），并修改 PRETRAINED_PATH：

    PRETRAINED_PATH = "../pretrain/weights_notagen_pretrain_p_size_16_p_length_1024_p_layers_20_c_layers_6_h_size_1280_lr_0.0001_batch_4.pth"  # Use NotaGen-large
    

  • EXP_TAG 用于区分模型。它将整合进 检查点（ckpt） 的名称中。这里我们将其设置为 schubert。
  • 您也可以修改其他参数，如学习率。

执行

使用以下命令进行微调：

cd finetune/
CUDA_VISIBLE_DEVICES=0 python train-gen.py

🚀 强化学习（CLaMP-DPO）

这里我们提供一个如何使用 CLaMP-DPO 增强使用 舒伯特艺术歌曲（Schubert's lieder） 数据微调后的模型的示例。

⚙️ CLaMP 2 设置

下载模型权重并将它们放在 clamp2/ 文件夹下：

• CLaMP 2 模型权重
• M3 模型权重

🔍 提取真实值（Ground Truth）特征

修改 clamp2/extract_clamp2.py 中的 input_dir 和 output_dir：

input_dir = '../data/schubert_interleaved'  # interleaved abc folder
output_dir = 'feature/schubert_interleaved'  # feature folder

提取特征：

cd clamp2/
python extract_clamp2.py

🔄 CLaMP-DPO

这里我们提供一个 CLaMP-DPO（基于 CLaMP 的直接偏好优化 Direct Preference Optimization）迭代示例，起始模型是在 Schubert's lieder（舒伯特艺术歌曲）数据上进行 fine-tuned（微调）的模型。

1. Inference（推理）

• 在 inference/config.py 中将 INFERENCE_WEIGHTS_PATH 修改为 fine-tuned（微调）权重的路径，并将 NUM_SAMPLES 修改为要生成的样本数量：

    INFERENCE_WEIGHTS_PATH = '../finetune/weights_notagen_schubert_p_size_16_p_length_1024_p_layers_20_c_layers_6_h_size_1280_lr_1e-05_batch_1.pth'              
    NUM_SAMPLES = 1000                                               
  

• 执行 Inference（推理）：

  cd inference/
  python inference.py
  

  这将生成一个 output/ 文件夹，包含两个子文件夹：original 和 interleaved。original/ 子目录存储模型的原始推理输出，而 interleaved/ 子目录包含经过 rest measure completion（休止符小节补全）后处理的数据，兼容 CLaMP 2。每个子目录都将包含一个特定于模型的文件夹，命名为模型名称与其采样参数的组合。

2. 提取生成数据特征

修改 clamp2/extract_clamp2.py 中的 input_dir 和 output_dir：

input_dir = '../output/interleaved/weights_notagen_schubert_p_size_16_p_length_1024_p_layers_20_c_layers_6_h_size_1280_lr_1e-05_batch_1_k_9_p_0.9_temp_1.2'  # interleaved abc folder
output_dir = 'feature/weights_notagen_schubert_p_size_16_p_length_1024_p_layers_20_c_layers_6_h_size_1280_lr_1e-05_batch_1_k_9_p_0.9_temp_1.2'  # feature folder

提取特征：

cd clamp2/
python extract_clamp2.py

3. 平均 CLaMP 2 Score（得分）统计（可选）

如果您关心当前模型的 平均 CLaMP 2 Score（Average CLaMP 2 Score），请修改 clamp2/statistics.py 中的参数：

gt_feature_folder = 'feature/schubert_interleaved'
output_feature_folder = 'feature/weights_notagen_schubert_p_size_16_p_length_1024_p_layers_20_c_layers_6_h_size_1280_lr_1e-05_batch_1_k_9_p_0.9_temp_1.2'

然后运行此脚本：

cd clamp2/
python statistics.py

4. 构建偏好数据

修改 RL/data.py 中的参数：

gt_feature_folder = '../clamp2/feature/schubert_interleaved'
output_feature_folder = '../clamp2/feature/weights_notagen_schubert_p_size_16_p_length_1024_p_layers_20_c_layers_6_h_size_1280_lr_1e-05_batch_1_k_9_p_0.9_temp_1.2'
output_original_abc_folder = '../output/original/weights_notagen_schubert_p_size_16_p_length_1024_p_layers_20_c_layers_6_h_size_1280_lr_1e-05_batch_1_k_9_p_0.9_temp_1.2'
output_interleaved_abc_folder = '../output/interleaved/weights_notagen_schubert_p_size_16_p_length_1024_p_layers_20_c_layers_6_h_size_1280_lr_1e-05_batch_1_k_9_p_0.9_temp_1.2'
data_index_path = 'schubert_RL1.json'  # Data for the first iteration of RL
data_select_portion = 0.1              

在此脚本中，将计算并排序每个生成乐曲的 CLaMP 2 Score（CLaMP 2 得分）。chosen（选中）和 rejected（拒绝）集中的数据比例由 data_select_portion 决定。此外，还有三条规则用于从选中集中排除有问题的乐谱：

• 排除存在时长对齐问题的乐谱；
• 排除可能抄袭 ground truth data（真实数据）的乐谱（ld_sim>0.95）；
• 排除同一仪器的 staves（谱表）未分组在一起的乐谱。

偏好数据文件将命名为 data_index_path，记录选中集和拒绝集中的文件路径。

运行此脚本：

cd RL/
python data.py

5. DPO（Direct Preference Optimization，直接偏好优化）训练

修改 RL/config.py 中的参数：

DATA_INDEX_PATH = 'schubert_RL1.json'  # Preference data path
PRETRAINED_PATH = '../finetune/weights_notagen_schubert_p_size_16_p_length_1024_p_layers_20_c_layers_6_h_size_1280_lr_1e-05_batch_1.pth'  # The model to go through DPO optimization
EXP_TAG = 'schubert-RL1'              # Model tag for differentiation

您也可以修改其他参数，如 OPTIMATION_STEPS 和 DPO hyper-parameters（超参数）。

运行此脚本：

cd RL/
CUDA_VISIBLE_DEVICES=0 python train.py

训练完成后，一个名为 weights_notagen_schubert-RL1_beta_0.1_lambda_10_p_size_16_p_length_1024_p_layers_20_c_layers_6_h_size_1280_lr_1e-06.pth 的模型将保存在 RL/ 下。对于第二轮 CLaMP-DPO，请回到第一个推理阶段，让新模型生成乐曲。

对于这个基于 Schubert's lieder（舒伯特艺术歌曲）数据的小型实验，我们在此发布 fine-tuned（微调）模型及每次 CLaMP-DPO 迭代后模型的 平均 CLaMP 2 Score（Average CLaMP 2 Score），以供参考：

CLaMP-DPO 迭代次数 (K)	平均 CLaMP 2 Score
0 (微调后)	0.324
1	0.579
2	0.778

如果您对此方法感兴趣，欢迎在您自己的风格特定数据集上尝试 :D

📚 引用

如果您在工作中发现 NotaGen 或 CLaMP-DPO 有用，请引用我们的论文。

@misc{wang2025notagenadvancingmusicalitysymbolic,
      title={NotaGen: Advancing Musicality in Symbolic Music Generation with Large Language Model Training Paradigms}, 
      author={Yashan Wang and Shangda Wu and Jianhuai Hu and Xingjian Du and Yueqi Peng and Yongxin Huang and Shuai Fan and Xiaobing Li and Feng Yu and Maosong Sun},
      year={2025},
      eprint={2502.18008},
      archivePrefix={arXiv},
      primaryClass={cs.SD},
      url={https://arxiv.org/abs/2502.18008}, 
}

NotaGen 快速上手指南

NotaGen 是一个基于大语言模型（LLM）训练范式的符号音乐生成模型，旨在生成高质量的古典乐谱。它采用三阶段训练范式：预训练、微调和使用 CLaMP-DPO 方法的强化学习。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux / Windows
• Python: 3.10
• GPU:
  • 推理/本地 Demo: 至少 8GB 显存
  • 训练 (NotaGen-large): 至少 24GB 显存（或使用 small/medium 版本）
• CUDA: 11.8
• PyTorch: 2.3.0

安装步骤

建议使用 Conda 创建独立环境并安装依赖：

conda create --name notagen python=3.10
conda activate notagen
conda install pytorch==2.3.0 pytorch-cuda=11.8 -c pytorch -c nvidia
pip install accelerate
pip install optimum
pip install -r requirements.txt

基本使用

1. 在线体验 (无需安装)

最快速的使用方式是通过 HuggingFace Space 或 Web Demo 在线生成音乐：

• HuggingFace Space: https://huggingface.co/spaces/ElectricAlexis/NotaGen
• Web Demo: https://electricalexis.github.io/notagen-demo/

在提示框中输入 "Period-Composer-Instrumentation"（时期 - 作曲家 - 配器）格式的提示词即可生成乐谱和音频。

2. 本地部署与推理

如果您已本地安装环境，可以下载模型权重进行推理或微调。

下载模型权重

根据需求选择以下权重（通过 HuggingFace 下载）：

• NotaGen-X (推荐): 下载链接
• NotaGen-large (微调版): 下载链接

运行本地 Gradio Demo

本地部署 Gradio 界面可生成音乐并预览音频/PDF 乐谱。具体实现细节请参考 gradio/README.md。部署 NotaGen-X 推理本地版约需 8GB 显存。

运行推理脚本 (示例)

若需通过脚本进行推理（例如在强化学习流程中），可配置 inference/config.py 后运行：

cd inference/
python inference.py

微调模型 (示例)

若需使用自有数据微调模型（例如舒伯特艺术歌曲数据集），配置 finetune/config.py 后运行：

cd finetune/
CUDA_VISIBLE_DEVICES=0 python train-gen.py

注意: 微调前请确保已按照 data/README.md 完成数据预处理（ABC notation 与 MusicXML 转换）。