概述

在这个仓库中，我们推出了Audio Flamingo系列先进的音频理解语言模型：

• Audio Flamingo：一种具有少样本学习和对话能力的新型音频语言模型（ICML 2024）
• Audio Flamingo 2：一种具备长音频理解和专家推理能力的音频-语言模型（ICML 2025）
• Audio Flamingo 3：通过完全开放的大规模音频语言模型推进音频智能（NeurIPS 2025，亮点论文）
• Music Flamingo：在音频语言模型中扩展音乐理解能力（arXiv）

Music Flamingo（arXiv）

Music Flamingo（MF）是一款完全开放、最先进的大型音频-语言模型（LALM），基于Audio Flamingo 3的核心架构，旨在推动基础音频模型中的音乐（包括歌曲）理解能力。MF汇集了以下创新：

• 对歌曲和纯音乐的深度理解。
• 丰富且具备乐理知识的字幕与问答功能（和声、结构、音色、歌词、文化背景等）。
• 以推理为核心的训练方式，结合思维链与自定义奖励机制的强化学习，实现逐步推理。
• 针对全长、多文化背景的音频进行长篇幅歌曲推理（扩展上下文）。

大量评估证实了Music Flamingo的有效性，在超过10项公开的音乐理解和推理任务上树立了新的基准。

Audio Flamingo 3（NeurIPS 2025 Spotlight）

Audio Flamingo 3是我们最新的模型，基于7B参数的语言模型和LLaVA架构。我们以Whisper为基础，训练了统一的AF-Whisper音频编码器，使其能够处理超越语音识别的理解任务。我们在Audio Flamingo 3中加入了与语音相关的任务，并将训练数据集扩大到约5000万对音频-文本数据。因此，Audio Flamingo 3能够同时处理音频中的三种模态：声音、音乐和语音。它在多项理解和推理基准测试中，均优于此前的SOTA模型，包括GAMA、Audio Flamingo、Audio Flamingo 2、Qwen-Audio、Qwen2-Audio、Qwen2.5-Omni、LTU、LTU-AS、SALMONN、AudioGPT、Gemini Flash v2以及Gemini Pro v1.5。

Audio Flamingo 3可以接受长达10分钟的音频输入，并配备流式TTS模块（AF3-Chat），用于输出语音。

音频火烈鸟 Sound-CoT（技术报告）

音频火烈鸟 Sound-CoT 在思维链（CoT）推理能力方面有了显著提升。我们基于音频火烈鸟 2 训练的 3B 参数微调模型，在推理基准测试中可与多个 7B 参数的推理基线相媲美。

我们推出了 AF-Reasoning-Eval，这是一个专注于常识推理以及在密切相关选项间进行区分能力的声音推理基准测试。此外，我们还发布了 AF-CoT-Train 数据集，其中包含约 100 万个 CoT 推理轨迹，旨在推动音频理解领域的进步。

音频火烈鸟 2（ICML 2025）

音频火烈鸟 2 在多个方面对原版音频火烈鸟进行了显著改进。首先，我们重新训练了一个性能更优的 CLAP 模型，其文本理解能力更强。其次，我们将训练数据集扩展至约 1000 万对音视频-文本配对，重点覆盖多项理解技能（AudioSkills）以及对长音频的理解（LongAudio）。第三，我们仔细分析了不同的训练方案和课程设置，最终确定了一种三阶段的训练策略，效果最佳。音频火烈鸟 2 基于一个 3B 参数的语言模型，在字幕生成、分类和问答等单项及混合音频理解任务的多个基准测试中均取得了当前最优成绩。此外，它还能理解长达 5 分钟的长音频。

音频火烈鸟（ICML 2024）

音频火烈鸟是我们首个基于 Flamingo 架构的音视频语言模型。它基于一个 1.3B 参数的语言模型，具备上下文少样本学习和多轮对话能力（有关对话数据的详细信息，请参阅 Audio Dialogues）。我们精心构建了约 590 万对音视频-文本配对用于训练该模型。它在字幕生成、分类和问答等零样本、少样本及分布内任务的多个基准测试中均取得了当前最优成绩。

代码结构

每个分支都包含用于训练和推理 Audio Flamingo 的独立代码。

许可证

• 本仓库中的代码采用 MIT 许可证。
• 检查点仅限非商业用途（参见 NVIDIA OneWay 非商业许可）。它们还受到其他限制（参见各分支中的 README 和 incl_licenses）。
• 注意：Audio Flamingo 基于 OPT-IML 构建，受 OPT-IML 许可证约束。
• 注意：Audio Flamingo 2 和 Audio Flamingo 3 基于 Qwen-2.5 构建。Qwen 受 Qwen 研究许可协议约束，版权归阿里云所有，保留所有权利。

引用

• Audio Flamingo

@inproceedings{kong2024audio,
  title={Audio Flamingo: 一种具有少样本学习和对话能力的新型音频语言模型},
  author={Kong, Zhifeng 和 Goel, Arushi 和 Badlani, Rohan 和 Ping, Wei 和 Valle, Rafael 和 Catanzaro, Bryan},
  booktitle={国际机器学习大会},
  pages={25125--25148},
  year={2024},
  organization={PMLR}
}

• Audio Flamingo 2

@inproceedings{
  ghosh2025audio,
  title={Audio Flamingo 2：一种具备长音频理解与专家推理能力的音频语言模型},
  author={Ghosh, Sreyan 和 Kong, Zhifeng 和 Kumar, Sonal 和 Sakshi, S 和 Kim, Jaehyeon 和 Ping, Wei 和 Valle, Rafael 和 Manocha, Dinesh 和 Catanzaro, Bryan},
  booktitle={第四十二届国际机器学习大会},
  year={2025},
  url={https://openreview.net/forum?id=xWu5qpDK6U}
}

• Audio Flamingo 3

@inproceedings{
  ghosh2025audio,
  title={Audio Flamingo 3：通过完全开放的大规模音频语言模型推进音频智能},
  author={Sreyan Ghosh 和 Arushi Goel 和 Jaehyeon Kim 和 Sonal Kumar 和 Zhifeng Kong 和 Sang-gil Lee 和 Chao-Han Huck Yang 和 Ramani Duraiswami 和 Dinesh Manocha 和 Rafael Valle 和 Bryan Catanzaro},
  booktitle={第三十九届神经信息处理系统年度会议},
  year={2025},
  url={https://openreview.net/forum?id=FjByDpDVIO}
}

• Audio Flamingo Sound-CoT

@article{kong2025audio,
  title={Audio Flamingo Sound-CoT 技术报告：改进声音理解中的思维链推理},
  author={Kong, Zhifeng 和 Goel, Arushi 和 Santos, Joao Felipe 和 Ghosh, Sreyan 和 Valle, Rafael 和 Ping, Wei 和 Catanzaro, Bryan},
  journal={arXiv 预印本 arXiv:2508.11818},
  year={2025}
}

• Music Flamingo

@article{ghosh2025music,
  title={Music Flamingo：在音频语言模型中扩展音乐理解能力},
  author={Ghosh, Sreyan 和 Goel, Arushi 和 Koroshinadze, Lasha 和 Lee, Sang-gil 和 Kong, Zhifeng 和 Santos, Joao Felipe 和 Duraiswami, Ramani 和 Manocha, Dinesh 和 Ping, Wei 和 Shoeybi, Mohammad 和 Catanzaro, Bryan},
  journal={arXiv 预印本 arXiv},
  year={2025}
}

Audio Flamingo 快速上手指南

Audio Flamingo 是 NVIDIA 开源的一系列先进音频理解语言模型（LALM），涵盖从声音、音乐到语音的全模态理解能力。最新版本的 Audio Flamingo 3 基于 7B 语言模型，支持长达 10 分钟的音频输入及流式语音输出。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+)
• GPU: NVIDIA GPU，显存建议 16GB 以上（运行 7B 模型），支持 CUDA 11.8 或更高版本
• Python: 3.9 - 3.11
• 前置依赖:
  • PyTorch (与 CUDA 版本匹配)
  • Transformers >= 4.40.0
  • Accelerate
  • Hugging Face huggingface_hub

注意：由于模型权重较大，建议确保网络连接畅通，或使用国内镜像源加速下载。

安装步骤

1. 克隆仓库

首先从 GitHub 克隆项目代码。针对特定版本（如最新的 Audio Flamingo 3），建议切换至对应分支。

git clone https://github.com/NVIDIA/audio-flamingo.git
cd audio-flamingo

# 切换到 Audio Flamingo 3 分支 (如需使用其他版本请替换分支名)
git checkout audio_flamingo_3

2. 创建虚拟环境并安装依赖

推荐使用 Conda 或 venv 创建隔离环境。

# 创建 conda 环境
conda create -n af3 python=3.10 -y
conda activate af3

# 安装 PyTorch (根据实际 CUDA 版本调整，此处以 cu118 为例)
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

# 安装项目依赖
pip install -e .

国内加速提示：如果下载依赖较慢，可添加清华或阿里镜像源： pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 登录 Hugging Face

您需要登录 Hugging Face 以下载模型权重（部分模型可能需要接受用户协议）。

huggingface-cli login

按提示输入您的 Access Token。

基本使用

以下示例展示如何使用 Audio Flamingo 3 进行简单的音频理解（如音频描述生成）。

方法一：使用 Python 脚本推理

创建一个 inference.py 文件，写入以下代码：

import torch
from transformers import AutoProcessor, AutoModelForCausalLM
from datasets import load_dataset

# 加载模型和处理器
# 模型地址：nvidia/audio-flamingo-3-hf
model_id = "nvidia/audio-flamingo-3-hf"

processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",
    torch_dtype=torch.bfloat16,
    trust_remote_code=True
)

# 准备音频输入
# 这里以加载一个本地音频文件为例，也可以替换为 URL 或数据集
audio_path = "path/to/your/audio.wav" 
# 如果使用胡夫曼数据集测试，可取消下面注释
# dataset = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
# audio_path = dataset[0]["file"]

# 构建输入提示
prompt = "Describe the sounds in this audio clip in detail."

# 处理输入
inputs = processor(
    text=prompt,
    audio_paths=[audio_path],
    return_tensors="pt",
    padding=True
).to(model.device)

# 生成回答
with torch.no_grad():
    generated_ids = model.generate(
        **inputs,
        max_new_tokens=256,
        do_sample=False
    )

# 解码输出
generated_text = processor.batch_decode(generated_ids[:, inputs.input_ids.shape[1]:], skip_special_tokens=True)[0]
print(f"AI Response: {generated_text}")

运行脚本：

python inference.py

方法二：使用 Gradio 本地演示

如果您希望快速体验交互界面，可以启动本地的 Gradio Demo（需已安装 gradio）：

# 确保在 audio_flamingo_3 分支下
cd demos
python app.py --model_name "nvidia/audio-flamingo-3-hf"

启动后，终端会显示本地访问地址（通常为 http://127.0.0.1:7860），在浏览器打开即可上传音频进行对话。

获取模型资源

所有模型权重、数据集及更多详细文档请访问 Hugging Face 主页：

• Audio Flamingo 3 模型: nvidia/audio-flamingo-3-hf
• Music Flamingo 模型: nvidia/music-flamingo-hf