Tango：LLM引导的扩散模型文生音频及基于DPO的对齐

🔥如果你喜欢Tango，请查看我们的最新创新Jam，一款歌词转歌曲生成器：https://github.com/declare-lab/jamify

🔥🎤 我们发布了TangoFlux，这是文生音频领域的最新SOTA。现在你可以在不到3秒内生成30秒的音频。请访问Github。

Tango 2论文 | Tango 2模型 | Tango 2演示 | Tango 2 Replicate演示 | Audio-Alpaca | Tango 2官网
Tango论文 | Tango模型 | Tango演示 | Tango官网

Google Colab快速入门

Colab	信息
	Tango_2_Google_Colab_demo.ipynb

Tango模型家族

模型名称	模型路径
Tango	https://huggingface.co/declare-lab/tango
Tango-Full-FT-Audiocaps	https://huggingface.co/declare-lab/tango-full-ft-audiocaps
Tango-Full-FT-Audio-Music-Caps	https://huggingface.co/declare-lab/tango-full-ft-audio-music-caps
Mustango	https://huggingface.co/declare-lab/mustango
Tango-Full	https://huggingface.co/declare-lab/tango-full
Tango-2	https://huggingface.co/declare-lab/tango2
Tango-2-full	https://huggingface.co/declare-lab/tango2-full
Tango-AF-AC-FT-AC	https://huggingface.co/declare-lab/tango-af-ac-ft-ac
TangoMusic-AF-FT-MC	https://huggingface.co/declare-lab/tango-music-af-ft-mc

描述

TANGO 是一个用于文生音频（TTA）的潜在扩散模型（LDM）。TANGO 可以根据文本提示生成逼真的音频，包括人声、动物声音、自然和人造声音以及音效。我们使用冻结的指令微调LLM Flan-T5作为文本编码器，并训练了一个基于UNet的扩散模型来进行音频生成。尽管我们在一个规模小63倍的数据集上训练了LDM，但在客观和主观指标上，我们的表现与当前最先进的TTA模型相当。我们向研究社区开放了我们的模型、训练和推理代码以及预训练检查点。

🎵 🔥 我们发布了基于Tango构建的Tango 2，用于文生音频。Tango 2以Tango-full-ft检查点为初始状态，并在audio-alpaca这一成对文生音频偏好数据集上使用DPO进行了对齐训练。🎶

🎵 🔥 我们还发布了Audio-alpaca。Audio-alpaca 是一个成对偏好数据集，包含约1.5万个（提示,音频_w, 音频_l）三元组，其中给定一个文本提示，音频_w是更受欢迎的生成音频，而音频_l则是不理想的音频。下载Audio-alpaca。Tango 2 就是在Audio-alpaca 上进行训练的。

快速入门指南

下载TANGO模型，并根据文本提示生成音频：

import IPython
import soundfile as sf
from tango import Tango

tango = Tango("declare-lab/tango2")

prompt = "观众欢呼鼓掌"
audio = tango.generate(prompt)
sf.write(f"{prompt}.wav", audio, samplerate=16000)
IPython.display.Audio(data=audio, rate=16000)

CheerClap.webm

模型会自动下载并保存在缓存中。后续运行将直接从缓存加载模型。

generate函数默认使用100步来从潜在扩散模型中采样。我们建议使用200步以生成更高质量的音频。不过这会增加运行时间。

prompt = "雷鸣电闪"
audio = tango.generate(prompt, steps=200)
IPython.display.Audio(data=audio, rate=16000)

Thunder.webm

使用generate_for_batch函数可以为一批文本提示生成多个音频样本：

prompts = [
    "汽车引擎轰鸣",
    "狗吠声伴随着一些咔嗒声",
    "水流潺潺"
]
audios = tango.generate_for_batch(prompts, samples=2)

这将为三个文本提示中的每一个生成两个样本。

更多生成的样本请见这里。

先决条件

我们的代码基于PyTorch 1.13.1+cu117版本。虽然我们在requirements文件中注明了torch==1.13.1，但根据你的GPU设备类型，你可能需要安装特定CUDA版本的PyTorch。

安装requirements.txt。

git clone https://github.com/declare-lab/tango/
cd tango
pip install -r requirements.txt

在Linux系统上，你可能还需要安装libsndfile1，以便soundfile能够正常工作：

(sudo) apt-get install libsndfile1

数据集

请按照 AudioCaps 仓库 中的说明下载数据。音频文件路径及对应的字幕描述已提供在我们的 data 目录中。*.json 文件用于训练和评估。下载完数据后，您应该能够通过文件 ID 将其映射到我们 data/*.json 文件中提供的文件路径。

请注意，由于版权问题，我们无法分发这些数据。

🎵 🔥 我们还提供了 Audio-alpaca 数据集。Audio-alpaca 是一个成对偏好数据集，包含约 1.5 万个 (prompt, audio_w, audio_l) 三元组：给定一个文本提示，audio_w 是更优的生成音频，而 audio_l 则是较差的音频。下载 Audio-alpaca。Tango 2 就是在 Audio-alpaca 上训练得到的。

如何训练？

我们使用 Hugging Face 的 accelerate 包进行多 GPU 训练。在终端运行 accelerate config，并根据提示设置您的运行配置。

现在您可以使用以下命令在 AudioCaps 数据集上训练 TANGO：

accelerate launch train.py \
--text_encoder_name="google/flan-t5-large" \
--scheduler_name="stabilityai/stable-diffusion-2-1" \
--unet_model_config="configs/diffusion_model_config.json" \
--freeze_text_encoder --augment --snr_gamma 5 \

参数 --augment 使用了我们在论文中提到的增强数据进行训练。我们建议至少训练 40 个 epoch，这也是 train.py 中的默认设置。

若要从我们发布的检查点开始训练，请使用 --hf_model 参数：

accelerate launch train.py \
--hf_model "declare-lab/tango" \
--unet_model_config="configs/diffusion_model_config.json" \
--freeze_text_encoder --augment --snr_gamma 5 \

有关完整参数列表及其用法，请参阅 train.py 和 train.sh。

训练脚本应会自动从 这里 下载 AudioLDM 权重。但如果下载速度较慢或遇到其他问题，您可以：i) 从 这里 下载 audioldm-s-full 文件，ii) 将其重命名为 audioldm-s-full.ckpt，iii) 存放在 /home/user/.cache/audioldm/ 目录中。

要在 TANGO 检查点的基础上，使用 TANGO 2 在 Audio-alpaca 数据集上进行训练：

训练脚本将下载 audio_alpaca 的 WAV 文件，并将其保存在 {PATH_TO_DOWNLOAD_WAV_FILE}/audio_alpaca 目录下。默认位置为 ~/.cache/huggingface/datasets。

accelerate launch tango2/tango2-train.py --hf_model "declare-lab/tango-full-ft-audiocaps" \
--unet_model_config="configs/diffusion_model_config.json" \
--freeze_text_encoder  \
--learning_rate=9.6e-7 \
--num_train_epochs=5  \
--num_warmup_steps=200 \
--per_device_train_batch_size=4 \
--per_device_eval_batch_size=4  \
--gradient_accumulation_steps=4 \
--beta_dpo=2000  \
--sft_first_epochs=1 \
--dataset_dir={PATH_TO_DOWNLOAD_WAV_FILE}

如何进行推理？

从您自己训练的检查点

训练得到的检查点将保存在 saved/*/ 目录中。

要从您训练好的检查点在 AudioCaps 测试集上进行音频生成和客观评估：

CUDA_VISIBLE_DEVICES=0 python inference.py \
--original_args="saved/*/summary.jsonl" \
--model="saved/*/best/pytorch_model_2.bin" \

有关完整参数列表及其用法，请参阅 inference.py 和 inference.sh。

要对 TANGO 2 进行音频生成和客观评估：

CUDA_VISIBLE_DEVICES=0 python tango2/inference.py \
--original_args="saved/*/summary.jsonl" \
--model="saved/*/best/pytorch_model_2.bin" \

请注意，TANGO 2 的推理脚本与 TANGO 的不同。

从我们在 Hugging Face Hub 上发布的检查点

要从我们的 Hugging Face 检查点在 AudioCaps 测试集上进行音频生成和客观评估：

python inference_hf.py --checkpoint="declare-lab/tango"

注意事项

我们在 inference.py 中使用了 audioldm_eval 提供的功能来进行客观评估。该功能要求黄金参考音频文件和生成音频文件具有相同的文件名。您需要创建目录 data/audiocaps_test_references/subset，并将参考音频文件放在此处。文件名应如下所示：output_0.wav, output_1.wav 等等。文件编号应与 data/test_audiocaps_subset.json 中对应行的索引一致。

我们使用术语 subset，是因为 AudioCaps 原始数据集中的一些实例后来已被 YouTube 删除，不再可用。因此，我们仅对截至 2023 年 4 月 8 日仍可获取的数据实例进行了模型评估。

我们使用 WandB 来记录训练和推理结果。

实验结果

Tango

模型	数据集	文本	参数量	FD ↓	KL ↓	FAD ↓	OVL ↑	REL ↑
真实数据	−	−	−	−	−	−	91.61	86.78
DiffSound	AS+AC	✓	400M	47.68	2.52	7.75	−	−
AudioGen	AS+AC+8 others	✗	285M	−	2.09	3.13	−	−
AudioLDM-S	AC	✗	181M	29.48	1.97	2.43	−	−
AudioLDM-L	AC	✗	739M	27.12	1.86	2.08	−	−
AudioLDM-M-Full-FT‡	AS+AC+2 others	✗	416M	26.12	1.26	2.57	79.85	76.84
AudioLDM-L-Full‡	AS+AC+2 others	✗	739M	32.46	1.76	4.18	78.63	62.69
AudioLDM-L-Full-FT	AS+AC+2 others	✗	739M	23.31	1.59	1.96	−	−
TANGO	AC	✓	866M	24.52	1.37	1.59	85.94	80.36

Tango 2

模型	参数量	FAD ↓	KL ↓	IS ↑	CLAP ↑	OVL ↑	REL ↑
AudioLDM-M-Full-FT	416M	2.57	1.26	8.34	0.43	-	-
AudioLDM-L-Full	739M	4.18	1.76	7.76	0.43	-	-
AudioLDM 2-Full	346M	2.18	1.62	6.92	0.43	-	-
AudioLDM 2-Full-Large	712M	2.11	1.54	8.29	0.44	3.56	3.19
Tango-full-FT	866M	2.51	1.15	7.87	0.54	3.81	3.77
Tango 2	866M	2.69	1.12	9.09	0.57	3.99	4.07

引用

如果您觉得我们的工作有所帮助，请考虑引用以下文章：

@misc{majumder2024tango,
      title={Tango 2: 通过直接偏好优化对齐基于扩散的文本到音频生成}, 
      author={Navonil Majumder 和 Chia-Yu Hung、Deepanway Ghosal、Wei-Ning Hsu、Rada Mihalcea 和 Soujanya Poria},
      year={2024},
      eprint={2404.09956},
      archivePrefix={arXiv},
      primaryClass={cs.SD}
}
@article{ghosal2023tango,
  title={使用指令微调的 LLM 和潜在扩散模型进行文本到音频生成},
  author={Ghosal, Deepanway 和 Majumder, Navonil 以及 Mehrish, Ambuj 和 Poria, Soujanya},
  journal={arXiv 预印本 arXiv:2304.13731},
  year={2023}
}

致谢

我们借用了 audioldm 和 audioldm_eval 中的代码，这些代码来自 AudioLDM 的 仓库。我们感谢 AudioLDM 团队开源他们的代码。

Tango 快速上手指南

Tango 是一个基于潜在扩散模型（LDM）的文本生成音频（Text-to-Audio）开源工具。它利用冻结的指令微调大语言模型（Flan-T5）作为文本编码器，能够根据文本提示生成逼真的人声、动物声、自然声及音效。最新版本的 Tango 2 引入了 DPO 对齐训练，进一步提升了生成质量。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐) 或 macOS。Windows 用户建议使用 WSL2。
• Python 版本: 建议 Python 3.8+。
• PyTorch 版本: 代码基于 torch==1.13.1+cu117 构建。请根据您的 GPU 驱动和 CUDA 版本安装对应的 PyTorch。
• 系统依赖: Linux 用户需要安装 libsndfile1 以支持音频文件读写。

# Ubuntu/Debian 系统安装音频依赖
sudo apt-get install libsndfile1

安装步骤

1. 克隆项目仓库

   git clone https://github.com/declare-lab/tango/
   cd tango
   

2. 安装 Python 依赖

   推荐使用国内镜像源（如清华源）加速安装过程：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

   注意：如果 requirements.txt 中指定的 PyTorch 版本与您本地的 CUDA 环境不匹配，请先手动安装正确版本的 PyTorch，再安装其他依赖。

基本使用

安装完成后，您可以直接通过 Python 代码加载模型并生成音频。模型权重会自动从 Hugging Face 下载并缓存。

1. 生成单个音频样本

以下示例演示如何加载 tango2 模型，并根据提示词生成音频：

import IPython
import soundfile as sf
from tango import Tango

# 初始化模型，自动下载 declare-lab/tango2
tango = Tango("declare-lab/tango2")

prompt = "An audience cheering and clapping"
# 默认使用 100 步采样，建议设置为 200 步以获得更高音质（耗时稍长）
audio = tango.generate(prompt, steps=200)

# 保存为 WAV 文件
sf.write(f"{prompt}.wav", audio, samplerate=16000)

# 在 Jupyter Notebook 中直接播放
IPython.display.Audio(data=audio, rate=16000)

2. 批量生成音频

使用 generate_for_batch 函数可以一次性为多个提示词生成音频样本：

prompts = [
    "A car engine revving",
    "A dog barks and rustles with some clicking",
    "Water flowing and trickling"
]

# 为每个提示词生成 2 个不同的样本
audios = tango.generate_for_batch(prompts, samples=2)

进阶提示

• 采样步数 (steps): generate 函数默认使用 100 步。若对音质有更高要求，可将 steps 参数设为 200，但这会增加推理时间。
• 模型选择: 除了 declare-lab/tango2，您还可以尝试 declare-lab/tango 或其他变体（详见项目 README 中的模型列表）。