请通过点赞支持我们的社区，感谢大家的支持

| 亮点 | 简介 | 安装 | 快速入门 | 教程 | 模型

---

InspireMusic 专注于音乐生成、歌曲生成和音频生成。

• 一个专为音乐、歌曲和音频生成设计的统一工具包。
• 高音质的音乐生成任务。
• 长篇幅音乐生成。

简介

InspireMusic 是一款用于音乐、歌曲和音频生成的工具包。它由一个基于流匹配模型的自回归变压器组成。该工具包旨在帮助用户生成音乐、歌曲和音频。InspireMusic 可以通过文本转音乐和音乐续写功能生成高质量的长篇幅音乐。InspireMusic 结合了音频分词器与自回归变压器及流匹配建模技术，能够根据文本和音乐提示生成音乐、歌曲和音频。目前，该工具包主要支持音乐生成任务。

InspireMusic

图1：InspireMusic 的概览。我们介绍 InspireMusic，这是一款专为音乐、歌曲和音频生成设计的工具包，能够生成高质量的长篇幅音乐。InspireMusic 由以下三个关键组件构成。音频分词器将原始音频波形转换为离散的音频标记，这些标记可以被自回归变压器模型高效地处理和训练。低采样率的音频波形通过高比特率压缩的音频分词器被转换为离散标记[1]。自回归变压器模型以 Qwen2.5[2]为基础，并采用基于文本和音频标记的下一个标记预测方法进行训练，从而能够生成连贯且符合上下文的标记序列。音频和文本标记作为输入进入自回归模型，通过预测下一个标记来生成新的标记。超分辨率流匹配模型基于流建模方法，将生成的标记映射到具有高分辨率精细声学细节的潜在特征中[3],这些特征来自更高采样率的音频，以确保声学信息在模型之间以高保真度传递。随后，声码器会根据这些增强的潜在特征生成最终的音频波形。InspireMusic 支持一系列任务，包括文本转音乐、音乐续写、音乐重建和超分辨率等。

安装

克隆

• 克隆仓库

git clone --recursive https://github.com/FunAudioLLM/InspireMusic.git
# 如果因网络问题无法克隆子模块，请重复执行以下命令直至成功
cd InspireMusic
git submodule update --recursive
# 或者您可以手动下载第三方库 Matcha-TTS
cd third_party && git clone https://github.com/shivammehta25/Matcha-TTS.git

从源代码安装

InspireMusic 需要 Python>=3.8、PyTorch>=2.0.1、flash attention==2.6.2/2.6.3 以及 CUDA>=11.8。您可以通过以下命令安装依赖项：

• 安装 Conda：请参阅 https://docs.conda.io/en/latest/miniconda.html
• 创建 Conda 环境：

conda create -n inspiremusic python=3.8
conda activate inspiremusic
cd InspireMusic
# pynini 是 WeTextProcessing 所需的库，建议使用 Conda 安装，因为它可以在所有平台上运行。
conda install -y -c conda-forge pynini==2.1.5
pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/ --trusted-host=mirrors.aliyun.com
# 安装 flash attention 以加速训练
pip install flash-attn --no-build-isolation

• 在软件包内安装：

cd InspireMusic
# 您可以运行以下命令安装软件包
python setup.py install
pip install flash-attn --no-build-isolation

我们还建议您安装 sox 或 ffmpeg，可以通过系统或 Anaconda 进行安装：

# # 安装 sox
# ubuntu
sudo apt-get install sox libsox-dev
# centos
sudo yum install sox sox-devel

# 安装 ffmpeg
# ubuntu
sudo apt-get install ffmpeg
# centos
sudo yum install ffmpeg

使用 Docker

以下是从提供的 Dockerfile 构建 Docker 镜像的示例命令：

docker build -t inspiremusic .

以下是在交互模式下启动 Docker 容器的示例命令：

docker run -ti --gpus all -v .:/workspace/InspireMusic inspiremusic

使用 Docker Compose

以下是从 docker-compose.yml 文件构建 Docker Compose 环境和 Docker 镜像的示例命令：

docker compose up -d --build

以下是在交互模式下连接到 Docker 容器的示例命令：

docker exec -ti inspire-music bash

快速入门

以下是音乐生成推理的示例命令：

cd InspireMusic
mkdir -p pretrained_models

# 下载模型
# ModelScope
git clone https://www.modelscope.cn/iic/InspireMusic-1.5B-Long.git pretrained_models/InspireMusic-1.5B-Long
# HuggingFace
git clone https://huggingface.co/FunAudioLLM/InspireMusic-1.5B-Long.git pretrained_models/InspireMusic-1.5B-Long

cd examples/music_generation

# 运行一个快速推理示例
sh infer_1.5b_long.sh

一个用于运行音乐生成任务的示例脚本。

cd InspireMusic/examples/music_generation/
sh run.sh

推理

文本到音乐任务

文本到音乐任务的示例脚本。

cd examples/music_generation
# 使用流匹配，可通过一行命令快速试用
python -m inspiremusic.cli.inference

# 自定义配置，例如以下一行命令
python -m inspiremusic.cli.inference --task text-to-music -m "InspireMusic-1.5B-Long" -g 0 -t "体验舒缓而感性的器乐爵士乐，带有波萨诺瓦风情，非常适合轻松的餐厅或水疗中心氛围。" -c intro -s 0.0 -e 30.0 -r "exp/inspiremusic" -o output -f wav 

# 不使用流匹配，可通过一行命令快速试用
python -m inspiremusic.cli.inference --task text-to-music -g 0 -t "体验舒缓而感性的器乐爵士乐，带有波萨诺瓦风情，非常适合轻松的餐厅或水疗中心氛围。" --fast True

from inspiremusic.cli.inference import InspireMusicModel, env_variables
if __name__ == "__main__":
  env_variables()
  model = InspireMusicModel(model_name = "InspireMusic-Base")
  model.inference("text-to-music", "体验舒缓而感性的器乐爵士乐，带有波萨诺瓦风情，非常适合轻松的餐厅或水疗中心氛围。")

音乐续写任务

音乐续写任务的示例脚本。

cd examples/music_generation
# 使用流匹配
python -m inspiremusic.cli.inference --task continuation -g 0 -a audio_prompt.wav
# 不使用流匹配
python -m inspiremusic.cli.inference --task continuation -g 0 -a audio_prompt.wav --fast True

from inspiremusic.cli.inference import InspireMusicModel
from inspiremusic.cli.inference import env_variables
if __name__ == "__main__":
  env_variables()
  model = InspireMusicModel(model_name = "InspireMusic-Base")
  # 仅使用音频提示
  model.inference("continuation", None, "audio_prompt.wav")
  # 同时使用文本提示和音频提示
  model.inference("continuation", "继续生成爵士乐。", "audio_prompt.wav")

模型

您可以下载我们用于音乐生成的预训练 InspireMusic 模型。

# 使用 git 下载模型，请确保已安装 git lfs。
mkdir -p pretrained_models
git clone https://www.modelscope.cn/iic/InspireMusic.git pretrained_models/InspireMusic

可用模型

目前，我们开源的音乐生成模型支持24KHz单声道和48KHz立体声音频。下表列出了ModelScope和Huggingface模型库中的链接。

模型名称	模型链接	备注
InspireMusic-Base-24kHz		预训练音乐生成模型，24kHz单声道，30秒
InspireMusic-Base		预训练音乐生成模型，48kHz，30秒
InspireMusic-1.5B-24kHz		预训练音乐生成1.5B模型，24kHz单声道，30秒
InspireMusic-1.5B		预训练音乐生成1.5B模型，48kHz，30s
InspireMusic-1.5B-Long		预训练音乐生成1.5B模型，48kHz，支持长达数分钟的长格式音乐生成
InspireSong-1.5B		预训练歌曲生成1.5B模型，48kHz立体声
InspireAudio-1.5B		预训练音频生成1.5B模型，48kHz立体声
Wavtokenizer[1] (75Hz)		一种用于音乐的极低比特率音频分词器，采用24kHz音频下的单一码本。
Music_tokenizer (75Hz)		基于HifiCodec[3]的音乐分词器，适用于24kHz音频。
Music_tokenizer (150Hz)		基于HifiCodec[3]的音乐分词器，适用于48kHz音频。

基本使用

目前，InspireMusic包含音乐生成的训练与推理代码。

训练

以下是一个训练大语言模型的示例，支持 BF16/FP16 精度训练。

torchrun --nnodes=1 --nproc_per_node=8 \
    --rdzv_id=1024 --rdzv_backend="c10d" --rdzv_endpoint="localhost:0" \
    inspiremusic/bin/train.py \
    --train_engine "torch_ddp" \
    --config conf/inspiremusic.yaml \
    --train_data data/train.data.list \
    --cv_data data/dev.data.list \
    --model llm \
    --model_dir `pwd`/exp/music_generation/llm/ \
    --tensorboard_dir `pwd`/tensorboard/music_generation/llm/ \
    --ddp.dist_backend "nccl" \
    --num_workers 8 \
    --prefetch 100 \
    --pin_memory \
    --deepspeed_config ./conf/ds_stage2.json \
    --deepspeed.save_states model+optimizer \
    --fp16

以下是一个训练流匹配模型的示例代码，不支持 FP16 精度训练。

torchrun --nnodes=1 --nproc_per_node=8 \
    --rdzv_id=1024 --rdzv_backend="c10d" --rdzv_endpoint="localhost:0" \
    inspiremusic/bin/train.py \
    --train_engine "torch_ddp" \
    --config conf/inspiremusic.yaml \
    --train_data data/train.data.list \
    --cv_data data/dev.data.list \
    --model flow \
    --model_dir `pwd`/exp/music_generation/flow/ \
    --tensorboard_dir `pwd`/tensorboard/music_generation/flow/ \
    --ddp.dist_backend "nccl" \
    --num_workers 8 \
    --prefetch 100 \
    --pin_memory \
    --deepspeed_config ./conf/ds_stage2.json \
    --deepspeed.save_states model+optimizer

推理

以下是一个快速进行模型推理的示例脚本。

cd InspireMusic/examples/music_generation/
sh infer.sh

以下是一个以普通模式运行推理的示例代码，即使用流匹配模型进行文本到音乐和音乐续写任务。

pretrained_model_dir = "pretrained_models/InspireMusic/"
for task in 'text-to-music' 'continuation'; do
  python inspiremusic/bin/inference.py --task $task \
      --gpu 0 \
      --config conf/inspiremusic.yaml \
      --prompt_data data/test/parquet/data.list \
      --flow_model $pretrained_model_dir/flow.pt \
      --llm_model $pretrained_model_dir/llm.pt \
      --music_tokenizer $pretrained_model_dir/music_tokenizer \
      --wavtokenizer $pretrained_model_dir/wavtokenizer \
      --result_dir `pwd`/exp/inspiremusic/${task}_test \
      --chorus verse 
done

以下是一个以快速模式运行推理的示例代码，即在文本到音乐和音乐续写任务中不使用流匹配模型。

pretrained_model_dir = "pretrained_models/InspireMusic/"
for task in 'text-to-music' 'continuation'; do
  python inspiremusic/bin/inference.py --task $task \
      --gpu 0 \
      --config conf/inspiremusic.yaml \
      --prompt_data data/test/parquet/data.list \
      --flow_model $pretrained_model_dir/flow.pt \
      --llm_model $pretrained_model_dir/llm.pt \
      --music_tokenizer $pretrained_model_dir/music_tokenizer \
      --wavtokenizer $pretrained_model_dir/wavtokenizer \
      --result_dir `pwd`/exp/inspiremusic/${task}_test \
      --chorus verse \
      --fast 
done

路线图

• 2024年12月

• 75Hz InspireMusic-Base 模型用于音乐生成

• 2025年1月

  • 支持生成 48kHz 音频
  • 75Hz InspireMusic-1.5B 模型用于音乐生成
  • 75Hz InspireMusic-1.5B-Long 模型用于长音频音乐生成

• 2025年2月

  • 发布技术报告

• 未来工作

• InspireAudio 模型用于音频生成

• InspireSong 模型用于歌曲生成

• 支持多语言生成

引用

@inproceedings{InspireMusic2025,
      title={InspireMusic: Integrating Super Resolution and Large Language Model for High-Fidelity Long-Form Music Generation}, 
      author={Chong Zhang and Yukun Ma and Qian Chen and Wen Wang and Shengkui Zhao and Zexu Pan and Hao Wang and Chongjia Ni and Trung Hieu Nguyen and Kun Zhou and Yidi Jiang and Chaohong Tan and Zhifu Gao and Zhihao Du and Bin Ma},
      year={2025},
      eprint={2503.00084},
      archivePrefix={arXiv},
      primaryClass={cs.SD},
      url={https://arxiv.org/abs/2503.00084}, 
}

致谢

1. 来自 CosyVoice、WavTokenizer、AcademiCodec、FunASR、FunCodec、Matcha-TTS 和 WeNet 的代码。

免责声明

以上内容仅用于研究目的。

InspireMusic 快速上手指南

InspireMusic 是一个专注于音乐、歌曲和音频生成的统一工具包，支持高质量长文本生成音乐（Text-to-Music）及音乐续写（Music Continuation）。

1. 环境准备

系统要求：

• Python >= 3.8
• PyTorch >= 2.0.1
• CUDA >= 11.8
• Flash Attention == 2.6.2/2.6.3

前置依赖安装： 建议通过 Conda 创建独立环境，并安装系统级音频处理工具 sox 或 ffmpeg。

# 创建并激活 Conda 环境
conda create -n inspiremusic python=3.8
conda activate inspiremusic

# 安装 pynini (WeTextProcessing 依赖)
conda install -y -c conda-forge pynini==2.1.5

# 安装系统级音频工具 (以 Ubuntu 为例)
sudo apt-get install sox libsox-dev ffmpeg
# CentOS 用户请使用: sudo yum install sox sox-devel ffmpeg

2. 安装步骤

2.1 克隆代码库

git clone --recursive https://github.com/FunAudioLLM/InspireMusic.git
cd InspireMusic

# 如果因网络问题导致子模块克隆失败，请执行以下命令重试
git submodule update --recursive

2.2 安装 Python 依赖

推荐使用阿里云镜像源加速下载，并单独安装 Flash Attention 以加速推理。

# 安装基础依赖
pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/ --trusted-host=mirrors.aliyun.com

# 安装 Flash Attention
pip install flash-attn --no-build-isolation

# (可选) 将包安装到环境中
python setup.py install

提示：也可以使用 Docker 快速部署：

docker build -t inspiremusic .
docker run -ti --gpus all -v .:/workspace/InspireMusic inspiremusic

3. 基本使用

3.1 下载预训练模型

推荐从 ModelScope（魔搭社区）下载模型，国内访问速度更快。此处以 InspireMusic-1.5B-Long 为例。

mkdir -p pretrained_models
# 从 ModelScope 下载
git clone https://www.modelscope.cn/iic/InspireMusic-1.5B-Long.git pretrained_models/InspireMusic-1.5B-Long

3.2 快速推理示例

方式一：命令行一键生成 (Text-to-Music)

进入示例目录并运行脚本，或使用以下单行命令进行自定义生成。

cd examples/music_generation

# 简单尝试 (包含流匹配 Flow Matching，质量更高)
python -m inspiremusic.cli.inference

# 自定义参数生成
# -t: 文本提示, -c: 片段类型, -s/-e: 起止时间, -o: 输出目录
python -m inspiremusic.cli.inference --task text-to-music -m "InspireMusic-1.5B-Long" -g 0 -t "Experience soothing and sensual instrumental jazz with a touch of Bossa Nova, perfect for a relaxing restaurant or spa ambiance." -c intro -s 0.0 -e 30.0 -r "exp/inspiremusic" -o output -f wav 

# 快速模式 (不包含流匹配，速度更快)
python -m inspiremusic.cli.inference --task text-to-music -g 0 -t "Experience soothing and sensual instrumental jazz with a touch of Bossa Nova, perfect for a relaxing restaurant or spa ambiance." --fast True

方式二：Python 代码调用

from inspiremusic.cli.inference import InspireMusicModel, env_variables

if __name__ == "__main__":
  env_variables()
  # 初始化模型，可选择 InspireMusic-Base 或 InspireMusic-1.5B-Long 等
  model = InspireMusicModel(model_name = "InspireMusic-Base")
  
  # 执行文生音乐任务
  model.inference("text-to-music", "Experience soothing and sensual instrumental jazz with a touch of Bossa Nova, perfect for a relaxing restaurant or spa ambiance.")

方式三：音乐续写 (Music Continuation)

基于已有的音频片段继续生成音乐。

cd examples/music_generation

# 仅使用音频提示
python -m inspiremusic.cli.inference --task continuation -g 0 -a audio_prompt.wav

# 同时使用文本和音频提示
python -m inspiremusic.cli.inference --task continuation -g 0 -a audio_prompt.wav --fast True

Python API 调用续写任务：

from inspiremusic.cli.inference import InspireMusicModel, env_variables

if __name__ == "__main__":
  env_variables()
  model = InspireMusicModel(model_name = "InspireMusic-Base")
  
  # 仅使用音频提示
  model.inference("continuation", None, "audio_prompt.wav")
  
  # 使用文本+音频提示
  model.inference("continuation", "Continue to generate jazz music.", "audio_prompt.wav")