MuMu-LLaMA：基于大型语言模型的多模态音乐理解与生成

这是*MuMu-LLaMA：基于大型语言模型的多模态音乐理解与生成*的官方仓库。

🚀 简介

MuMu-LLaMA模型是一款音乐理解和生成模型，能够进行音乐问答、根据文本、图像、视频和音频生成音乐，以及对音乐进行编辑。该模型利用MERT等编码器进行音乐理解，使用ViT进行图像理解，ViViT进行视频理解，并以MusicGen/AudioLDM2模型作为音乐生成模型（音乐解码器），结合适配器和LLaMA 2模型，从而实现多种功能。模型架构详见mumu_llama.py。

为了训练我们的模型，我们使用音乐字幕和问答模型——即MU-LLaMA模型——来生成数据集。数据集的生成方法见DataSet文件夹。

🤖 模型设置

本项目使用Python 3.9.17，所需的库列表见requirements.txt。可通过以下命令创建conda环境：

conda create --name <env> --file requirements.txt

请确保NVIDIA驱动程序版本为12或以上，以兼容PyTorch 2.1.0。

为使我们的模型正常运行，需要Facebook的LLaMA-2模型权重，获取这些权重的详细信息可在HuggingFace上找到。

我们模型的已训练检查点在此处提供：

• MuMu-LlaMA with MusicGen Small
• MuMu-LlaMA with MusicGen Medium
• MuMu-LlaMA with AudioLDM2

所需的预训练多模态编码器和音乐解码器模型可在此处找到：

• MERT
• ViT
• ViViT
• MusicGen
• AudioLDM 2

检查点文件夹的目录结构可按如下方式组织：

.
├── ...
├── MuMu-LLaMA
│   ├── ckpts
│   │   │── LLaMA
│   │   │   │── 7B
│   │   │   │   │── checklist.chk
│   │   │   │   │── consolidated.00.pth
│   │   │   │   │── params.json
│   │   │   │── llama.sh
│   │   │   │── tokenizer.model
│   │   │   │── tokenizer_checklist.chk
│   │   │── MuMu-LLaMA-MusicGen
│   │   │   │── checkpoint.pth
│   │   │── MuMu-LLaMA-AudioLDM2
│   │   │   │── checkpoint.pth
│   │   │── knn.index
└── ...

下载完成后，可以使用这些检查点运行Gradio演示。

对于使用MusicGen的模型：

python gradio_app.py --model ./ckpts/MuMu-LLaMA-MusicGen/checkpoint.pth --llama_dir ./ckpts/LLaMA-2 --music_decoder musicgen

对于使用AudioLDM2的模型：

python gradio_app.py --model ./ckpts/MuMu-LLaMA-AudioLDM2/checkpoint.pth  --llama_dir ./ckpts/LLaMA-2 --music_decoder audioldm2  --music_decoder_path cvssp/audioldm2

🧰 系统硬件要求

在训练阶段，第一和第二阶段使用单个32GB V100 GPU，而第三阶段则使用两个32GB V100 GPU。推理时则使用单个32GB V100 GPU。加载模型检查点时，大约需要49GB的CPU内存。

🫡 致谢

此代码包含来自以下仓库的内容：

• crypto-code/MU-LLaMA

✨ 引用我们的工作

如果您觉得本仓库有用，请考虑引用：

@article{liu2024mumu,
  title={MuMu-LLaMA: 多模态音乐理解与生成——基于大型语言模型},
  author={刘善松、侯赛因·阿廷·萨基尔、吴启龙、孙晨硕、单颖},
  journal={arXiv预印本 arXiv:2412.06660},
  year={2024}
}

星标历史

MuMu-LLaMA 快速上手指南

MuMu-LLaMA 是一个基于大语言模型的多模态音乐理解与生成工具。它支持音乐问答，并能根据文本、图像、视频和音频输入生成或编辑音乐。

1. 环境准备

系统要求

• 操作系统: Linux (推荐)
• Python 版本: 3.9.17
• GPU 驱动: NVIDIA Driver 版本需 ≥ 12 (以兼容 PyTorch 2.1.0)
• 硬件配置:
  • 推理: 单张 32GB V100 GPU (或同等显存)，约需 49GB CPU 内存。
  • 训练: 阶段 1-2 需单张 32GB V100；阶段 3 需两张 32GB V100。

前置依赖

本项目依赖以下预训练模型权重，请提前准备：

1. LLaMA-2: 需从 HuggingFace 获取官方权重（参考 HuggingFace LLaMA 文档）。
2. 多模态编码器: MERT, ViT, ViViT。
3. 音乐解码器: MusicGen 或 AudioLDM2。

2. 安装步骤

创建 Conda 环境

使用项目提供的 requirements.txt 创建环境：

conda create --name mumu_env --file requirements.txt
conda activate mumu_env

目录结构与模型部署

下载训练好的检查点（Checkpoints）及预训练模型后，请按以下结构组织目录：

.
├── ...
├── MuMu-LLaMA
│   ├── ckpts
│   │   ├── LLaMA
│   │   │   └── 7B              # 存放 LLaMA-2-7B 权重 (consolidated.00.pth 等)
│   │   ├── MuMu-LLaMA-MusicGen # 存放 MuMu 微调权重 (checkpoint.pth)
│   │   ├── MuMu-LLaMA-AudioLDM2# 存放 MuMu 微调权重 (checkpoint.pth)
│   │   └── knn.index
└── ...

模型下载链接:

• MuMu 检查点: MusicGen Small | MusicGen Medium | AudioLDM2
• 基础编码器: MERT, ViT, ViViT

3. 基本使用

启动 Gradio 网页演示界面即可进行音乐生成、问答和编辑操作。根据你使用的音乐解码器类型，选择以下任一命令运行：

方案 A：使用 MusicGen 解码器

python gradio_app.py --model ./ckpts/MuMu-LLaMA-MusicGen/checkpoint.pth --llama_dir ./ckpts/LLaMA-2 --music_decoder musicgen

方案 B：使用 AudioLDM2 解码器

python gradio_app.py --model ./ckpts/MuMu-LLaMA-AudioLDM2/checkpoint.pth --llama_dir ./ckpts/LLaMA-2 --music_decoder audioldm2 --music_decoder_path cvssp/audioldm2

运行成功后，终端会输出本地访问地址（通常为 http://127.0.0.1:7860），在浏览器打开即可体验多模态音乐交互功能。