AudioCraft

AudioCraft 是一个用于音频生成深度学习研究的 PyTorch 库。AudioCraft 包含两个最先进的 AI 生成模型的推理和训练代码，这些模型能够生成高质量音频：AudioGen 和 MusicGen。

安装

AudioCraft 需要 Python 3.9 和 PyTorch 2.1.0。要安装 AudioCraft，可以运行以下命令：

# 最好先确保已安装 PyTorch，尤其是在安装 xformers 之前。
# 如果你已经安装了 PyTorch，请不要运行此命令。
python -m pip install 'torch==2.1.0'
# 在尝试安装相关包之前，可能需要执行以下命令
python -m pip install setuptools wheel
# 然后选择以下其中一种方式继续安装
python -m pip install -U audiocraft  # 稳定版
python -m pip install -U git+https://git@github.com/facebookresearch/audiocraft#egg=audiocraft  # 开发版
python -m pip install -e .  # 或者如果你在本地克隆了仓库（如果要进行训练则必须）
python -m pip install -e '.[wm]'  # 如果你想训练水印模型

我们还建议安装 ffmpeg，可以通过系统包管理器或 Anaconda 进行安装：

sudo apt-get install ffmpeg
# 或者如果你使用的是 Anaconda 或 Miniconda
conda install "ffmpeg<5" -c conda-forge

模型

目前，AudioCraft 包含以下模型的训练代码和推理代码：

• MusicGen：最先进的可控文本到音乐模型。
• AudioGen：最先进的文本到声音模型。
• EnCodec：最先进的高保真神经网络音频编解码器。
• 多频段扩散：一种与 EnCodec 兼容的基于扩散的解码器。
• MAGNeT：最先进的非自回归文本到音乐和文本到声音模型。
• AudioSeal：最先进的音频水印技术。
• MusicGen Style：最先进的文本和风格到音乐模型。
• JASCO：“高质量的文本到音乐模型，可根据和弦、旋律和鼓点进行条件控制”

训练代码

AudioCraft 包含用于音频深度学习研究的 PyTorch 组件以及所开发模型的训练流水线。有关 AudioCraft 设计原则的概述及如何构建自定义训练流水线的说明，请参阅 AudioCraft 训练文档。

若要复现现有工作并使用已开发的训练流水线，请参考各具体模型的说明，其中提供了配置指南、示例网格以及针对特定模型和任务的信息和常见问题解答。

API 文档

我们为 AudioCraft 提供了一些 API 文档。

常见问题解答

训练代码是否公开？

是的！我们提供了 EnCodec、MusicGen、多频段扩散 和 JASCO 的训练代码。

模型存储在哪里？

Hugging Face 将模型存储在特定位置，可以通过设置 AUDIOCRAFT_CACHE_DIR 环境变量来覆盖 AudioCraft 模型的缓存路径。要更改其他 Hugging Face 模型的缓存位置，请参阅 Hugging Face Transformers 缓存设置文档。最后，如果你使用依赖 Demucs 的模型（例如 musicgen-melody），并希望更改 Demucs 的下载位置，请参考 Torch Hub 文档。

许可证

• 本仓库中的代码根据 LICENSE 文件 中的 MIT 许可证发布。
• 本仓库中的模型权重根据 LICENSE_weights 文件 中的 CC-BY-NC 4.0 许可证发布。

引用

对于 AudioCraft 的通用框架，请引用以下文献：

@inproceedings{copet2023simple,
    title={Simple and Controllable Music Generation},
    author={Jade Copet and Felix Kreuk and Itai Gat and Tal Remez and David Kant and Gabriel Synnaeve and Yossi Adi and Alexandre Défossez},
    booktitle={Thirty-seventh Conference on Neural Information Processing Systems},
    year={2023},
}

当引用特定模型时，请按照该模型的 README 中的说明进行引用，例如 ./docs/MUSICGEN.md、./docs/AUDIOGEN.md 等。

AudioCraft 快速上手指南

AudioCraft 是 Facebook Research 开源的 PyTorch 库，专注于音频生成领域的深度学习研究。它包含了 MusicGen（文本生成音乐）、AudioGen（文本生成音效）等前沿模型的推理与训练代码。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux 或 macOS（Windows 用户建议使用 WSL2）
• Python 版本：3.9
• PyTorch 版本：2.1.0
• 依赖工具：ffmpeg（用于音频处理）

安装系统依赖 (ffmpeg)

Ubuntu/Debian:

sudo apt-get install ffmpeg

Anaconda/Miniconda:

conda install "ffmpeg<5" -c conda-forge

安装步骤

建议先单独安装指定版本的 PyTorch，然后再安装 AudioCraft，以避免依赖冲突。

1. 安装 PyTorch 2.1.0

如果您尚未安装 PyTorch，请先执行以下命令：

python -m pip install 'torch==2.1.0'

2. 安装基础构建工具

python -m pip install setuptools wheel

3. 安装 AudioCraft

根据您的使用场景选择以下一种方式：

• 安装稳定版（推荐用于推理）：

  python -m pip install -U audiocraft
  

• 安装最新版（包含最新功能）：

  python -m pip install -U git+https://git@github.com/facebookresearch/audiocraft#egg=audiocraft
  

• 本地源码安装（用于训练或修改代码）： 克隆仓库后，在根目录执行：

  python -m pip install -e .
  

  若需训练水印模型，请使用 python -m pip install -e '.[wm]'

提示：国内用户若遇到下载速度慢的问题，可添加 -i https://pypi.tuna.tsinghua.edu.cn/simple 参数使用清华镜像源加速 pip 安装。模型文件默认存储在 Hugging Face 缓存目录，可通过设置环境变量 AUDIOCRAFT_CACHE_DIR 自定义存储路径。

基本使用

安装完成后，您可以直接使用 Python 调用预训练模型进行音频生成。以下是一个使用 MusicGen 根据文本描述生成音乐的极简示例。

代码示例

import torch
from audiocraft.models import MusicGen
from audiocraft.data.audio import audio_write

# 加载预训练模型 (可选: small, medium, large, melody)
model = MusicGen.get_pretrained('small')

# 设置生成参数
model.set_generation_params(duration=8)  # 生成 8 秒音频

# 定义文本提示词
descriptions = ['happy rock music with a strong beat', 'calm lofi hip hop']

# 生成音频
outputs = model.generate(descriptions)

# 保存生成的音频文件
for idx, one_output in enumerate(outputs):
    audio_write(f'output_{idx}', one_output.cpu(), model.sample_rate, strategy="loudness")
    print(f"Generated output_{idx}.wav")

运行上述代码后，当前目录下将生成 output_0.wav 和 output_1.wav 两个音频文件。首次运行时会自动从 Hugging Face 下载模型权重。