Muzic 是一项关于人工智能音乐的研究项目，旨在利用深度学习和人工智能技术增强音乐的理解与生成能力。
“Muzic” 的发音为 [ˈmjuːzeik]。除了上述的图像版标志外，Muzic 还有一个视频版标志（点击此处观看 ）。该项目由来自 微软亚洲研究院 的 一些研究人员 发起，并得到了外部合作者的共同参与。

我们用下图总结了 Muzic 项目的研究范围：

目前在 Muzic 中开展的工作包括：

• 音乐理解
  • 符号化音乐理解：MusicBERT
  • 自动歌词转录：PDAugment
  • 对比语言-音乐预训练：CLaMP
• 音乐生成
  • 歌曲创作
    • 歌词到旋律及旋律到歌词：SongMASS
    • 歌词生成：DeepRapper
    • 歌词到旋律生成：TeleMelody、ReLyMe、Re-creation of Creations (ROC)
  • 音乐形式/结构生成
    • 音乐形式生成：MeloForm
    • 长短结构建模：Museformer
  • 多轨音乐生成
    • 伴奏生成：PopMAG
    • 任意音轨音乐生成：GETMusic
  • 文本到音乐生成：MuseCoco
  • 演唱声合成：HiFiSinger
• AI 代理
  • MusicAgent

您可以在本页面找到由我们的系统生成的一些音乐样本：https://ai-muzic.github.io/。
如需了解更多语音相关研究，请访问：https://speechresearch.github.io/ 和 https://github.com/microsoft/NeuralSpeech。

我们正在招聘！

我们诚聘 语音/音频/音乐/视频及大语言模型 方向的研究正式员工和实习生。如有意向，请联系 Xu Tan（tanxu2012@gmail.com）。

最新动态？

• CLaMP 荣获 ISMIR 2023 最佳学生论文奖！
• 我们发布了 MusicAgent，一款基于大型语言模型的多功能音乐处理 AI 代理。
• 我们发布了 MuseCoco，一款能够根据文本生成符号化音乐的作曲助手。
• 我们发布了 GETMusic，一款具有通用表示和扩散框架的多功能音乐助手，可生成任意音乐音轨。
• 我们发布了首个跨模态符号化 MIR 模型：CLaMP。
• 我们发布了两项关于音乐结构建模的新研究成果：MeloForm 和 Museformer。
• 我们在 ACM Multimedia 2021 上发表了关于 AI 音乐创作 的教程：Tutorial on AI Music Composition。

系统要求

操作系统为 Linux。我们主要在 Ubuntu 16.04.6 LTS、CUDA 10 和 Python 3.6.12 环境下进行测试。运行 Muzic 所需的依赖项已列在 requirements.txt 文件中。安装依赖项的命令如下：

pip install -r requirements.txt

我们已开源多项研究成果的代码：MusicBERT、PDAugment、CLaMP、DeepRapper、SongMASS、TeleMelody、ReLyMe、Re-creation of Creations (ROC)、MeloForm、Museformer、GETMusic、MuseCoco 以及 MusicAgent。您可在相应文件夹中的 README 文件中找到详细的使用说明。

参考文献

如果您在工作中觉得 Muzic 项目很有用，可以按照以下方式引用相关论文：

• [1] MusicBERT: 基于大规模预训练的符号音乐理解, Mingliang Zeng, Xu Tan, Rui Wang, Zeqian Ju, Tao Qin, Tie-Yan Liu, ACL 2021。
• [2] PDAugment: 通过音高和时长调整进行数据增强以实现自动歌词转录, Chen Zhang, Jiaxing Yu, Luchin Chang, Xu Tan, Jiawei Chen, Tao Qin, Kejun Zhang, ISMIR 2022。
• [3] DeepRapper: 结合押韵与节奏建模的神经网络说唱生成, Lanqing Xue, Kaitao Song, Duocai Wu, Xu Tan, Nevin L. Zhang, Tao Qin, Wei-Qiang Zhang, Tie-Yan Liu, ACL 2021。
• [4] SongMASS: 基于预训练与对齐约束的自动歌曲创作, Zhonghao Sheng, Kaitao Song, Xu Tan, Yi Ren, Wei Ye, Shikun Zhang, Tao Qin, AAAI 2021。
• [5] TeleMelody: 基于模板的两阶段方法实现歌词到旋律的生成, Zeqian Ju, Peiling Lu, Xu Tan, Rui Wang, Chen Zhang, Songruoyao Wu, Kejun Zhang, Xiangyang Li, Tao Qin, Tie-Yan Liu, EMNLP 2022。
• [6] ReLyMe: 通过融入歌词与旋律关系提升歌词到旋律的生成效果, Chen Zhang, LuChin Chang, Songruoyao Wu, Xu Tan, Tao Qin, Tie-Yan Liu, Kejun Zhang, ACM Multimedia 2022。
• [7] Re-creation of Creations: 歌词到旋律生成的新范式, Ang Lv, Xu Tan, Tao Qin, Tie-Yan Liu, Rui Yan, arXiv 2022。
• [8] MeloForm: 基于专家系统和神经网络生成具有音乐形式的旋律, Peiling Lu, Xu Tan, Botao Yu, Tao Qin, Sheng Zhao, Tie-Yan Liu, ISMIR 2022。
• [9] Museformer: 具有细粒度与粗粒度注意力机制的 Transformer 用于音乐生成, Botao Yu, Peiling Lu, Rui Wang, Wei Hu, Xu Tan, Wei Ye, Shikun Zhang, Tao Qin, Tie-Yan Liu, NeurIPS 2022。
• [10] PopMAG: 流行音乐伴奏生成, Yi Ren, Jinzheng He, Xu Tan, Tao Qin, Zhou Zhao, Tie-Yan Liu, ACM Multimedia 2020。
• [11] HiFiSinger: 向高保真度神经网络歌声合成迈进, Jiawei Chen, Xu Tan, Jian Luan, Tao Qin, Tie-Yan Liu, arXiv 2020。
• [12] CLaMP: 用于跨模态符号音乐信息检索的对比语言-音乐预训练, Shangda Wu, Dingyao Yu, Xu Tan, Maosong Sun, ISMIR 2023, 最佳学生论文奖。
• [13] GETMusic: 基于统一表示与扩散框架生成任意音乐曲目, Ang Lv, Xu Tan, Peiling Lu, Wei Ye, Shikun Zhang, Jiang Bian, Rui Yan, arXiv 2023。
• [14] MuseCoco: 从文本生成符号音乐, Peiling Lu, Xin Xu, Chenfei Kang, Botao Yu, Chengyi Xing, Xu Tan, Jiang Bian, arXiv 2023。
• [15] MusicAgent: 基于大型语言模型的音乐理解和生成 AI 代理, Dingyao Yu, Kaitao Song, Peiling Lu, Tianyu He, Xu Tan, Wei Ye, Shikun Zhang, Jiang Bian, EMNLP 2023 演示。

贡献说明

本项目欢迎各类贡献与建议。大多数贡献都需要您签署一份贡献者许可协议（CLA），声明您有权且确实将您的贡献使用权授予我们。有关详情，请访问 https://cla.opensource.microsoft.com。

当您提交拉取请求时，CLA 机器人会自动判断您是否需要提供 CLA，并相应地为您的 PR 添加标记（例如状态检查、评论等）。请按照机器人提供的指示操作即可。对于使用我们 CLA 的所有仓库，您只需完成一次此步骤。

本项目已采纳 微软开源行为准则。如需更多信息，请参阅 行为准则常见问题解答 或发送邮件至 opencode@microsoft.com 提出任何其他问题或意见。

商标声明

本项目可能包含与项目、产品或服务相关的商标或标识。未经授权使用微软商标或标识须遵守并遵循 微软商标与品牌指南。在本项目的修改版本中使用微软商标或标识时，不得造成混淆或暗示微软的赞助关系。任何第三方商标或标识的使用均应遵守该第三方的相关政策。

Muzic 快速上手指南

Muzic 是微软亚洲研究院推出的 AI 音乐研究项目，涵盖音乐理解（如 MusicBERT、CLaMP）、音乐生成（如 GETMusic、MuseCoco）及 AI 智能体（MusicAgent）等多个方向。本项目整合了多个子模型代码，以下指南将帮助您快速搭建基础环境并定位具体模型的使用方式。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux（官方测试环境为 Ubuntu 16.04.6 LTS）
• CUDA 版本：CUDA 10
• Python 版本：Python 3.6.12
• 依赖管理：pip

注意：由于项目基于较旧的 Python 和 CUDA 版本测试，建议在虚拟环境（如 conda 或 venv）中配置相应版本以避免冲突。

安装步骤

1. 克隆仓库 首先从 GitHub 克隆 Muzic 主仓库：

   git clone https://github.com/microsoft/muzic.git
   cd muzic
   

2. 安装依赖 项目根目录包含统一的依赖列表文件 requirements.txt。您可以直接使用 pip 进行安装：

   pip install -r requirements.txt
   

   (注：若国内下载速度较慢，可添加 -i https://pypi.tuna.tsinghua.edu.cn/simple 使用清华镜像源)

基本使用

Muzic 是一个集合型项目，包含了 MusicBERT、GETMusic、MuseCoco、MusicAgent 等十多个独立的研究模型。每个模型都有独立的子文件夹和具体的使用说明。

安装完通用依赖后，请根据您想使用的具体功能，进入对应的子目录查看详细的 README 和运行示例。

通用操作流程如下：

1. 选择模型目录 进入您感兴趣的模型文件夹，例如使用文本生成符号音乐的 MuseCoco：

   cd musecoco
   

   或者使用多轨音乐生成的 GETMusic：

   cd getmusic
   

2. 查阅具体指令 在每个子文件夹中，请务必阅读该目录下的 README.md 文件。那里包含了该特定模型的数据预处理、模型下载、推理脚本及训练命令。

   例如，在 musecoco 目录中，您通常会找到类似以下的推理命令结构（具体参数请以子目录说明为准）：

   python generate.py --input "your prompt text" --output output.mid
   

3. 获取样本与演示 如果您想先体验生成效果而不立即运行代码，可以访问官方生成的音乐样本页面：

   • 在线样本：https://ai-muzic.github.io/

核心子项目列表参考：

• 音乐理解: musicbert, pdaugment, clamp
• 歌曲创作: songmass, deeprapper, telemelody, relyme, roc
• 结构与多轨生成: meloform, museformer, getmusic, popmag
• 文本转音乐: musecoco
• 歌声合成: hifisinger (代码可能在相关子模块或关联项目中)
• AI 智能体: musicagent

请根据您的研究或开发需求，深入对应的子目录进行下一步操作。