[ACM-MM 2024]AudioLCM：基于潜在一致性模型的文本到音频生成

刘华代、黄荣杰、刘洋、曹恒远、王佳乐、程熙泽、郑思琪、赵周

[AudioLCM (ACM-MM'24)] 的 PyTorch 实现：一种高效且高质量的基于潜在一致性模型的文本到音频生成方法。

我们在本仓库中开源了我们的实现代码和预训练模型。

请访问我们的 demo 页面 查看音频样本。

AudioLCM HuggingFace Space

新闻

• 2025年7月：🔥 ThinkSound 发布，用于 Any2Audio Generation。
• 2025年5月：🔥 OmniAudio 发布，并被 ICML 2025 接受。
• 2025年5月：FlashAudio 已被 ACL 2025 主会接受。
• 2024年10月：FlashAudio 发布。
• 2024年9月：Make-An-Audio 3 (Lumina-Next) 被 NeurIPS'24 接受。
• 2024年7月：AudioLCM 被 ACM-MM'24 接受。
• 2024年6月：Make-An-Audio 3 (Lumina-Next) 在 Github 和 HuggingFace 上发布。
• 2024年5月：AudioLCM 在 Github 和 HuggingFace 上发布。

快速入门

我们提供了一个示例，展示如何使用 AudioLCM 快速生成高保真音频样本。

下载 AudioLCM 模型并根据文本提示生成音频：

from pythonscripts.InferAPI import AudioLCMInfer

prompt="持续的嘎吱声和剧烈的震动"
config_path="./audiolcm.yaml"
model_path="./audiolcm.ckpt"
vocoder_path="./model/vocoder"
audio_path = AudioLCMInfer(prompt, config_path=config_path, model_path=model_path, vocoder_path=vocoder_path)

使用 AudioLCMBatchInfer 函数为一批文本提示生成多个音频样本：

from pythonscripts.InferAPI import AudioLCMBatchInfer

prompts=[
    "持续的嘎吱声和剧烈的震动",
    "火箭飞过，随后是巨大的爆炸声，卡车发动机怠速运转时发出噼啪的火焰声",
    "嗡嗡作响并伴有振动，同时有男人和孩子们在说话和大笑"
        ]
config_path="./audiolcm.yaml"
model_path="./audiolcm.ckpt"
vocoder_path="./model/vocoder"
audio_path = AudioLCMBatchInfer(prompts, config_path=config_path, model_path=model_path, vocoder_path=vocoder_path)

要尝试您自己的数据集，只需在配备 NVIDIA GPU + CUDA cuDNN 的本地机器上克隆此仓库，并按照以下说明操作。

预训练模型

只需从 Huggingface 下载权重。

下载：
    audiolcm.ckpt 并将其放入 ./ckpts  
    BigVGAN 编码器并将其放入 ./vocoder/logs/bigvnat16k93.5w  
    t5-v1_1-large 并将其放入 ./ldm/modules/encoders/CLAP
    bert-base-uncased 并将其放入 ./ldm/modules/encoders/CLAP
    CLAP_weights_2022.pth 并将其放入 ./wav_evaluation/useful_ckpts/CLAP

依赖项

请参阅 requirement.txt 中的要求：

使用预训练模型进行推理

python scripts/txt2audio_for_lcm.py  --ddim_steps 2 -b configs/audiolcm.yaml --sample_rate 16000 --vocoder-ckpt  vocoder/logs/bigvnat16k93.5w --outdir results --test-dataset audiocaps  -r ckpt/audiolcm.ckpt

数据集准备

• 由于版权问题，我们无法提供数据集下载链接。我们提供了生成梅尔谱的代码流程。
• 在训练之前，我们需要将数据集信息构建成一个 tsv 文件，其中包含名称（每个音频的 ID）、数据集（音频所属的数据集）、音频路径（.wav 文件的路径）、字幕（音频的描述）以及梅尔谱路径（每个音频处理后的梅尔谱文件路径）。
• 我们提供了一个 audiocaps 测试集的 tsv 文件：./audiocaps_test_16000_struct.tsv 作为示例。

生成音频的梅尔谱文件

假设您已经有一个 tsv 文件，将每个字幕与其音频路径关联起来，这意味着该 tsv 文件包含“name”、“audio_path”、“dataset”和“caption”列。 要获取音频的梅尔谱，请运行以下命令，这将在 ./processed 中保存梅尔谱：

python ldm/data/preprocess/mel_spec.py --tsv_path tmp.tsv

将持续时间添加到 tsv 文件中：

python ldm/data/preprocess/add_duration.py

训练变分自编码器

假设我们已经处理了几组数据，并将 .tsv 文件保存在 data/*.tsv 中。将配置文件中的 data.params.spec_dir_path 替换为 data（包含 tsv 文件的目录）。然后我们可以使用以下命令训练 VAE。如果您机器上没有 8 个 GPU，可以将 --gpus 0,1,...,gpu_nums 替换为实际使用的 GPU 数量。

python main.py --base configs/train/vae.yaml -t --gpus 0,1,2,3,4,5,6,7

训练结果将保存在 ./logs/ 中。

训练潜在扩散模型

在训练完 VAE 后，在配置文件中将 model.params.first_stage_config.params.ckpt_path 替换为您训练好的 VAE 检查点路径。 运行以下命令来训练扩散模型：

python main.py --base configs/autoencoder1d.yaml -t  --gpus 0,1,2,3,4,5,6,7

训练结果将保存在 ./logs/ 中。

评估

请参考 Make-An-Audio

致谢

本实现使用了以下 Github 仓库的部分代码： Make-An-Audio CLAP, Stable Diffusion, 如我们的代码中所述。

引用

如果您在研究中使用了此代码，请考虑引用以下文献：

@inproceedings{10.1145/3664647.3681072,
author = {刘华岱和黄荣杰和刘洋和曹恒源和王佳磊和程希泽和郑思琪和赵周},
title = {AudioLCM：以最少推理步骤实现高效高质量的文本转音频生成},
year = {2024},
isbn = {9798400706868},
publisher = {计算机协会},
address = {纽约，纽约州，美国},
url = {https://doi.org/10.1145/3664647.3681072},
doi = {10.1145/3664647.3681072},
pages = {7008–7017},
numpages = {10},
keywords = {一致性模型，潜扩散模型，文本转音频生成},
location = {墨尔本，维多利亚州，澳大利亚},
series = {MM '24}
}

免责声明

严禁任何组织或个人在未经本人同意的情况下，利用本文所述技术生成他人的语音，包括但不限于政府领导人、政治人物和名人。如您不遵守此项规定，可能会触犯版权法。

AudioLCM 快速上手指南

AudioLCM 是一个基于潜在一致性模型（Latent Consistency Models）的高效文本生成音频工具，能够在极少的推理步数下生成高保真度的音频样本。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu)
• 硬件: NVIDIA GPU (支持 CUDA) + cuDNN
• 软件依赖:
  • Python 3.8+
  • PyTorch (需匹配您的 CUDA 版本)
  • Git

安装基础依赖：

git clone https://github.com/Text-to-Audio/AudioLCM.git
cd AudioLCM
pip install -r requirements.txt

提示：国内用户建议使用清华或阿里镜像源加速安装： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 模型下载与目录配置

您需要从 Hugging Face 下载预训练权重，并按照指定目录结构放置文件。

下载地址: Hugging Face - liuhuadai/AudioLCM

文件放置规则：

1. 主模型: 下载 audiolcm.ckpt 放入 ./ckpts 目录。
2. 声码器 (Vocoder): 下载 BigVGAN 相关文件放入 ./vocoder/logs/bigvnat16k93.5w。
3. 文本编码器:
   • t5-v1_1-large 放入 ./ldm/modules/encoders/CLAP
   • bert-base-uncased 放入 ./ldm/modules/encoders/CLAP
4. CLAP 权重: 下载 CLAP_weights_2022.pth 放入 ./wav_evaluation/useful_ckpts/CLAP

最终目录结构参考：

AudioLCM/
├── ckpts/
│   └── audiolcm.ckpt
├── vocoder/
│   └── logs/
│       └── bigvnat16k93.5w/  (包含声码器权重)
├── ldm/
│   └── modules/
│       └── encoders/
│           └── CLAP/ (包含 t5 和 bert 模型)
└── wav_evaluation/
    └── useful_ckpts/
        └── CLAP/
            └── CLAP_weights_2022.pth

3. 基本使用

方法一：使用 Python API (推荐)

这是最快捷的生成方式，支持单条或多条文本批量生成。

单条文本生成：

from pythonscripts.InferAPI import AudioLCMInfer

prompt = "Constant rattling noise and sharp vibrations"
config_path = "./audiolcm.yaml"
model_path = "./ckpts/audiolcm.ckpt"  # 请根据实际下载路径调整
vocoder_path = "./vocoder/logs/bigvnat16k93.5w"

audio_path = AudioLCMInfer(
    prompt, 
    config_path=config_path, 
    model_path=model_path, 
    vocoder_path=vocoder_path
)
print(f"Audio saved to: {audio_path}")

批量文本生成：

from pythonscripts.InferAPI import AudioLCMBatchInfer

prompts = [
    "Constant rattling noise and sharp vibrations",
    "A rocket flies by followed by a loud explosion and fire crackling as a truck engine runs idle",
    "Humming and vibrating with a man and children speaking and laughing"
]
config_path = "./audiolcm.yaml"
model_path = "./ckpts/audiolcm.ckpt"
vocoder_path = "./vocoder/logs/bigvnat16k93.5w"

audio_paths = AudioLCMBatchInfer(
    prompts, 
    config_path=config_path, 
    model_path=model_path, 
    vocoder_path=vocoder_path
)

方法二：使用命令行脚本

如果您更喜欢通过终端运行，可以使用提供的脚本进行推理。以下示例展示了如何以 2 步推理生成音频（体现 LCM 的高效性）：

python scripts/txt2audio_for_lcm.py \
  --ddim_steps 2 \
  -b configs/audiolcm.yaml \
  --sample_rate 16000 \
  --vocoder-ckpt vocoder/logs/bigvnat16k93.5w \
  --outdir results \
  --test-dataset audiocaps \
  -r ckpt/audiolcm.ckpt

生成的音频将保存在 results 目录中。