SoTA 文本到音乐（TTM）生成：QA-MDT

论文已被 IJCAI-25 接收

官方 PyTorch 实现（请先试用我们的演示！）

（支持音频到音频生成也在我的待办事项中，这样你就可以输入音乐曲目，LDM 会帮助将它们融合在一起~）

我们已成功地以零样本方式将我们的模型扩展到无限长音乐生成

  论文已被 ICCV-25 接收

感谢在 YouTube 上的本地测试广告！ - 由 @Fahd Mirza 提供

Diffusers 实现 🧨 - 由 @jadechoghari - Hugging Face 🤗。

设置非常简单！只需按照以下说明操作：

在这里试用模型：

在本地使用 Gradio 运行

pip install -r gradio/requirements.txt
python gradio/gradio_app.py 

我们必须承认，Unet 架构在主观音乐性方面仍然具有一定的优势，但这并未在指标上体现出来。 此外，我们确实有一些在指标上表现更好的模型，或者训练时间更长的模型，但我们观察到，随着训练时间的延长，这些模型的音乐性往往会下降。因此，我们选择了一个在指标上表现适中的模型作为开源示例。如果您需要更多模型（无论是追求极致指标还是极致音乐性），请随时与我联系。

无需任何花哨的设计，只需注入质量，即可享受美妙的音乐。

从 https://huggingface.co/lichang0928/QA-MDT 下载我们 QA-MDT 模型的主要检查点。

对于中文用户，您也可以通过以下链接下载您的检查点：

https://pan.baidu.com/s/1N0XqVxtF_x9I7fWb07LPqw?pwd=9nkt

概述

本仓库提供了 QA-MDT 的实现，整合了最先进的音乐生成模型。代码和方法基于以下仓库：

• AudioLDM
• PixArt-alpha
• MDT
• AudioMAE
• Open-Sora

需求

Python 3.10
qamdt.yaml

在训练之前，您需要下载 ./audioldm_train/config/mos_as_token/qa_mdt.yaml 和 offset_pretrained_checkpoints.json 中所需的额外检查点。

请注意：以上所有检查点均可从以下位置下载：

flan-t5-large

clap_music

roberta-base

其他

训练

sh run.sh

如何准备训练或微调

我们的模型已经经过充分的预训练。如果您希望重新训练或微调它，可以选择使用或不使用我们的QA策略。我们提供了几种训练策略：

• MDT 无质量标记：PixArt_MDT
• MDT 带质量标记：Pixart_MDT_MOS_AS_TOKEN
• DiT：PixArt_Slow
• U-net 带/不带质量前缀：您可以参考AudioLDM，并按照我们论文（方法部分）中的说明制作自己的数据集。

要进行训练或微调，只需在我们的配置文件中更改audioldm_train.modules.diffusionmodules.PixArt.Your_Class中的"Your_Class"即可。

您还可以尝试调整补丁大小和重叠大小，以在性能和计算资源之间找到最佳平衡（详见我们在arXiv论文中的附录）。

如何为训练或微调准备您的数据集

我们使用LMDB数据集格式进行训练。您可以根据自己的训练需求修改数据加载器。

如果您想按照我们的流程操作（尽管我们并不推荐，因为这可能会比较复杂），以下是创建一个玩具LMDB数据集的方法：

1. 创建Proto文件

   首先，创建一个名为datum_all.proto的文件，内容如下：

   syntax = "proto2";
   
   message Datum_all {
     repeated float wav_file = 1;
     required string caption_original = 2;
     repeated string caption_generated = 3;
     required float mos = 4;
   }
   

2. 生成Python绑定

（您的protoc版本应为3.4，可从这里下载）

在终端中运行以下命令以生成Python绑定：

protoc --python_out=./ datum_all.proto

这将生成一个名为datum_all_pb2.py的文件。我们也在数据集文件夹中提供了该文件，您可以检查它是否与您生成的一致。切勿尝试修改此文件，否则可能导致错误。

3. 准备玩具LMDB数据集的代码

下面的Python脚本展示了如何以LMDB格式准备您的数据集：

import torch
import os
import lmdb
import time
import numpy as np
import librosa
import os
import soundfile as sf
import io

from datum_all_pb2 import Datum_all as Datum_out

device = 'cpu'
count = 0
total_hours = 0

# 定义路径
lmdb_file = '/disk1/changli/toy_lmdb'
toy_path = '/disk1/changli/audioset'
lmdb_key = os.path.join(lmdb_file, 'data_key.key')

# 打开LMDB环境
env = lmdb.open(lmdb_file， map_size=1e12)
txn = env.begin(write=True)
final_keys = []

def _resample_load_librosa(path: str, sample_rate: int, downmix_to_mono: bool, **kwargs):
    """使用librosa加载并重采样音频。"""
    src, sr = librosa.load(path, sr=sample_rate， mono=downmix_to_mono， **kwargs)
    return src

start_time = time.time()

# 遍历数据集目录
for root, _, files in os.walk(toy_path):
    for file in files:
        audio_path = os.path.join(root， file)
        key_tmp = audio_path.replace('/', '_')
        audio = _resample_load_librosa(audio_path， 16000， True）
        
        # 创建一个新的Datum对象
        datum = Datum_out()
        datum.wav_file.extend(audio)
        datum.caption_original = 'audio'.encode()
        datum.caption_generated.append('audio'.encode())
        datum.mos = -1

        # 写入LMDB
        txn.put(key_tmp.encode()， datum.SerializeToString())
        final_keys.append(key_tmp）

        count += 1
        total_hours += 1.00 / 60 / 10

        if count % 1 == 0:
            elapsed_time = time.time() - start_time
            print(f'{count}个文件已写入，用时：{elapsed_time:.2f}s')
            txn.commit()
            txn = env.begin(write=True）

# 最终提交事务
try:
    total_time = time.time() - start_time
    print(f'打包完成：共写入{count}个文件，总时长：{total_hours:.2f}小时，用时：{total_time:.2f}s')
    txn.commit()
except:
    pass

env.close()

# 保存LMDB键
with open(lmdb_key， 'w') as f:
    for key in final_keys:
        f.write(key + '\n')

否则，您也可以直接使用AudioLDM中的数据加载器。

4. 将您生成的LMDB路径及其对应的键文件路径输入到配置中

5. 开始您的训练

推理

sh infer/infer.sh
# 您可以修改infer.sh以选择您想要推理的质量等级
# 默认情况下，它应设置为5，代表最高质量
# 此外，将提示语改为带有“高质量”前缀的文本可能更有帮助，
# 这样可以与训练过程保持一致，并进一步提升性能

联系方式

这是我第一次开源这样一个项目，无论是代码、组织方式还是开源本身，都可能存在不足之处。 如果您对我们的模型、代码和数据集有任何疑问，请随时通过以下方式联系我，我也非常期待您的建议：

• 邮箱：lc_lca@mail.ustc.edu.cn
• 微信：19524292801

未来我会尽力提供更多关于音乐和音频方面的项目~

引用

如果您觉得这个项目有用，请考虑引用以下文献：

@article{li2024quality,
  title={Quality-aware Masked Diffusion Transformer for Enhanced Music Generation},
  author={Li, Chang and Wang, Ruoyu and Liu, Lijuan and Du, Jun and Sun, Yixuan and Guo, Zilu and Zhang, Zhenrong and Jiang, Yuan},
  journal={arXiv preprint arXiv:2405.15863},
  year={2024}
}

OpenMusic (QA-MDT) 快速上手指南

OpenMusic 是基于 QA-MDT（Quality-Aware Masked Diffusion Transformer）架构的开源文本生成音乐（Text-to-Music）模型，支持高质量音乐生成及零样本无限时长音乐扩展。

环境准备

系统要求

• Python: 3.10
• 操作系统: Linux / macOS / Windows (推荐 Linux)
• GPU: 支持 CUDA 的 NVIDIA 显卡（推理建议显存 >= 8GB）

前置依赖

在开始之前，请确保已安装以下基础库：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install lmdb librosa soundfile protobuf==3.4.0

注意：国内用户推荐使用清华或阿里镜像源加速安装：

pip install -r gradio/requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆项目代码

git clone https://github.com/ivcylc/qa-mdt.git
cd qa-mdt

2. 下载预训练模型与依赖检查点

本项目需要多个预训练权重。国内用户可优先使用百度网盘下载主模型，其他依赖建议从 Hugging Face 或谷歌驱动下载。

主模型 (QA-MDT):

• 百度网盘: 下载链接 (提取码: 9nkt)
• Hugging Face: lichang0928/QA-MDT

其他必要检查点 (需放入对应配置目录):

• flan-t5-large
• clap_music
• roberta-base
• 其他辅助文件

请将下载的模型文件放置在 ./audioldm_train/config/mos_as_token/ 及相关配置指定的路径下。

3. 安装项目依赖

pip install -r gradio/requirements.txt

基本使用

方式一：运行本地 Gradio 演示界面（推荐）

这是最简单的体验方式，启动后将在浏览器中提供可视化操作界面。

1. 启动服务

   python gradio/gradio_app.py
   

2. 使用 终端会输出一个本地地址（如 http://127.0.0.1:7860），在浏览器打开该地址即可输入文本提示词生成音乐。

方式二：命令行推理

如果您希望通过脚本直接生成音频：

1. 编辑推理配置 打开 infer/infer.sh，确认质量等级设置（默认为 5 代表最高质量）。

   提示：在提示词前添加 "high quality" 前缀通常能获得更好的效果。

2. 执行推理

   sh infer/infer.sh
   

生成的音频文件将保存在输出目录中。

---

更多高级功能（如微调训练、自定义数据集构建）请参考项目原始 README 中的 Training 章节。