[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-NVIDIA--audio-flamingo":3,"tool-NVIDIA--audio-flamingo":64},[4,17,27,35,48,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",141543,2,"2026-04-06T11:32:54",[13,14,15],"开发框架","Agent","语言模型","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,3,"2026-04-06T11:19:32",[15,26,14,13],"图像",{"id":28,"name":29,"github_repo":30,"description_zh":31,"stars":32,"difficulty_score":10,"last_commit_at":33,"category_tags":34,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,15],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":10,"last_commit_at":41,"category_tags":42,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",85013,"2026-04-06T11:09:19",[26,43,44,45,14,46,15,13,47],"数据工具","视频","插件","其他","音频",{"id":49,"name":50,"github_repo":51,"description_zh":52,"stars":53,"difficulty_score":23,"last_commit_at":54,"category_tags":55,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[14,26,13,15,46],{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":23,"last_commit_at":62,"category_tags":63,"status":16},519,"PaddleOCR","PaddlePaddle\u002FPaddleOCR","PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来，转换成计算机可读取的结构化数据，让机器真正“看懂”图文内容。\n\n面对海量纸质或电子文档，PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域，它扮演着连接图像与大型语言模型（LLM）的桥梁角色，能将视觉信息直接转化为文本输入，助力智能问答、文档分析等应用场景落地。\n\nPaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显：不仅支持全球 100 多种语言的识别，还能在 Windows、Linux、macOS 等多个系统上运行，并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目，PaddleOCR 既能满足快速集成的需求，也能支撑前沿的视觉语言研究，是处理文字识别任务的理想选择。",74963,"2026-04-06T11:16:39",[15,26,13,46],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":70,"readme_en":71,"readme_zh":72,"quickstart_zh":73,"use_case_zh":74,"hero_image_url":75,"owner_login":76,"owner_name":77,"owner_avatar_url":78,"owner_bio":79,"owner_company":80,"owner_location":80,"owner_email":80,"owner_twitter":80,"owner_website":81,"owner_url":82,"languages":80,"stars":83,"forks":84,"last_commit_at":85,"license":80,"difficulty_score":86,"env_os":87,"env_gpu":88,"env_ram":87,"env_deps":89,"category_tags":97,"github_topics":98,"view_count":10,"oss_zip_url":80,"oss_zip_packed_at":80,"status":16,"created_at":104,"updated_at":105,"faqs":106,"releases":136},4636,"NVIDIA\u002Faudio-flamingo","audio-flamingo","PyTorch implementation of Audio Flamingo: Series of Advanced Audio Understanding Language Models","Audio Flamingo 是由英伟达推出的一系列先进音频理解语言模型，旨在让 AI 像人类一样“听懂”声音。它不仅能够识别环境音和语音，更在音乐理解领域取得了突破性进展，特别是其最新分支 Music Flamingo，能深入分析歌曲的和声、结构、音色乃至文化背景。\n\n传统模型往往难以处理长段音频或缺乏深层推理能力，而 Audio Flamingo 有效解决了这一痛点。它具备强大的长音频理解能力，支持对整首歌曲进行多步骤的逻辑推理，并能通过少样本学习快速适应新任务。无论是复杂的乐器独奏还是跨文化的长篇音乐作品，它都能生成富含理论知识的描述并回答专业问题。\n\n这套工具非常适合人工智能研究人员、音频算法开发者以及音乐科技领域的创新者使用。研究人员可利用其开源架构探索多模态学习的新边界；开发者能基于预训练模型构建智能音乐助手或自动标注系统；音乐教育工作者也可借助其专业的分析能力辅助教学。\n\n技术亮点方面，Audio Flamingo 采用了独特的“思维链”训练策略，结合强化学习与自定义奖励机制，显著提升了模型的推理精度。作为完全开源的项目，它提供了从模型权重到专用数据集的全套资源，推动了音","Audio Flamingo 是由英伟达推出的一系列先进音频理解语言模型，旨在让 AI 像人类一样“听懂”声音。它不仅能够识别环境音和语音，更在音乐理解领域取得了突破性进展，特别是其最新分支 Music Flamingo，能深入分析歌曲的和声、结构、音色乃至文化背景。\n\n传统模型往往难以处理长段音频或缺乏深层推理能力，而 Audio Flamingo 有效解决了这一痛点。它具备强大的长音频理解能力，支持对整首歌曲进行多步骤的逻辑推理，并能通过少样本学习快速适应新任务。无论是复杂的乐器独奏还是跨文化的长篇音乐作品，它都能生成富含理论知识的描述并回答专业问题。\n\n这套工具非常适合人工智能研究人员、音频算法开发者以及音乐科技领域的创新者使用。研究人员可利用其开源架构探索多模态学习的新边界；开发者能基于预训练模型构建智能音乐助手或自动标注系统；音乐教育工作者也可借助其专业的分析能力辅助教学。\n\n技术亮点方面，Audio Flamingo 采用了独特的“思维链”训练策略，结合强化学习与自定义奖励机制，显著提升了模型的推理精度。作为完全开源的项目，它提供了从模型权重到专用数据集的全套资源，推动了音频智能技术的开放与普及。","\n\u003Cdiv align=\"center\" style=\"display: flex; justify-content: center; align-items: center; text-align: center;\">\n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Faudio-flamingo\" style=\"margin-right: 20px; text-decoration: none; display: flex; align-items: center;\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_audio-flamingo_readme_173087643505.png\" alt=\"Audio Flamingo 3 🔥🚀🔥\" width=\"120\">\n  \u003C\u002Fa>\n\u003C\u002Fdiv>\n\u003Cdiv align=\"center\" style=\"display: flex; justify-content: center; align-items: center; text-align: center;\">\n    \u003Ch2>\n    Audio Flamingo: Series of Advanced Audio Understanding Language Models\n    \u003C\u002Fh2>\n\u003C\u002Fdiv>\n\n## Overview\nIn this repo, we present the **Audio Flamingo** series of advanced audio understanding Language models:\n- [Audio Flamingo: A Novel Audio Language Model with Few-Shot Learning and Dialogue Abilities](https:\u002F\u002Farxiv.org\u002Fabs\u002F2402.01831) (ICML 2024)\n- [Audio Flamingo 2: An Audio-Language Model with Long-Audio Understanding and Expert Reasoning Abilities](https:\u002F\u002Farxiv.org\u002Fabs\u002F2503.03983) (ICML 2025)\n- [Audio Flamingo 3: Advancing Audio Intelligence with Fully Open Large Audio Language Models](https:\u002F\u002Farxiv.org\u002Fabs\u002F2507.08128) (NeurIPS 2025, Spotlight)\n- [Music Flamingo: Scaling Music Understaning in Audio Language Models]() (arxiv)\n\n## Music Flamingo (arXiv)\n\n\u003Cdiv align=\"center\" style=\"display: flex; justify-content: center; margin-top: 10px;\">\n  \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2511.10289\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-2511.10289-AD1C18\" style=\"margin-right: 5px;\">\u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fresearch.nvidia.com\u002Flabs\u002Fadlr\u002FMF\u002F\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FDemo page-228B22\" style=\"margin-right: 5px;\">\u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Faudio-flamingo\u002Ftree\u002Fmusic_flamingo\">\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FGithub-Music--Flamingo-9C276A' style=\"margin-right: 5px;\">\u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Faudio-flamingo\u002Fstargazers\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FNVIDIA\u002Faudio-flamingo.svg?style=social\">\u003C\u002Fa>\n\u003C\u002Fdiv>\n\n\u003Cdiv align=\"center\" style=\"display: flex; justify-content: center; margin-top: 10px; flex-wrap: wrap; gap: 5px;\">\n  \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fnvidia\u002Fmusic-flamingo-hf\">\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗-Checkpoints-ED5A22.svg\">\n  \u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fnvidia\u002FMF-Skills\">\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗-Dataset: MF--Skills-ED5A22.svg\">\n  \u003C\u002Fa>\n\u003C\u002Fdiv>\n\n\u003Cdiv align=\"center\" style=\"display: flex; justify-content: center; margin-top: 10px;\">\n\u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fnvidia\u002Fmusic-flamingo\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗-Gradio Demo (7B)-5F9EA0.svg\" style=\"margin-right: 5px;\">\u003C\u002Fa>\n\u003C\u002Fdiv>\n\nMusic Flamingo (MF) is a fully open, state-of-the-art Large Audio-Language Model (LALM) built on Audio Flamingo 3 backbone, designed to advance music (including song) understanding in foundational audio models. MF brings together innovations in:\n\n- Deep music understanding across songs and instrumentals.\n- Rich, theory-aware captions and question answering (harmony, structure, timbre, lyrics, cultural context).\n- Reasoning-centric training using chain-of-thought + reinforcement learning with custom rewards for step-by-step reasoning.\n- Long-form song reasoning over full-length, multicultural audio (extended context).\n\nExtensive evaluations confirm Music Flamingo's effectiveness, setting new benchmarks on over 10+ public music understanding and reasoning tasks.\n\n\u003Cdiv align=\"center\">\n  \u003Cimg class=\"img-full\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_audio-flamingo_readme_658fef4719a3.png\" width=\"800\">\n\u003C\u002Fdiv>\n\n\u003Cdiv align=\"center\">\n  \u003Cimg class=\"img-full\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_audio-flamingo_readme_f328d5a3e104.png\" width=\"800\">\n\u003C\u002Fdiv>\n\n\u003Cdiv align=\"center\">\n  \u003Cimg class=\"img-full\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_audio-flamingo_readme_675d9fd776a0.png\" width=\"400\">\n\u003C\u002Fdiv>\n\n\u003Cdiv align=\"center\">\n  \u003Cimg class=\"img-full\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_audio-flamingo_readme_ffdf364d0e0e.png\" width=\"600\">\n\u003C\u002Fdiv>\n\n\n\n## Audio Flamingo 3 (NeurIPS 2025 Spotlight)\n\n\u003Cdiv align=\"center\" style=\"display: flex; justify-content: center; margin-top: 10px;\">\n  \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2507.08128\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-2507.08128-AD1C18\" style=\"margin-right: 5px;\">\u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fresearch.nvidia.com\u002Flabs\u002Fadlr\u002FAF3\u002F\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FDemo page-228B22\" style=\"margin-right: 5px;\">\u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Faudio-flamingo\u002Ftree\u002Faudio_flamingo_3\">\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FGithub-Audio Flamingo 3-9C276A' style=\"margin-right: 5px;\">\u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Faudio-flamingo\u002Fstargazers\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FNVIDIA\u002Faudio-flamingo.svg?style=social\">\u003C\u002Fa>\n\u003C\u002Fdiv>\n\n\u003Cdiv align=\"center\" style=\"display: flex; justify-content: center; margin-top: 10px; flex-wrap: wrap; gap: 5px;\">\n  \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fnvidia\u002Faudio-flamingo-3-hf\">\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗-Checkpoints-ED5A22.svg\">\n  \u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fnvidia\u002Faudio-flamingo-3-chat\">\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗-Checkpoints (Chat)-ED5A22.svg\">\n  \u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fnvidia\u002Faudio_flamingo_3\">\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗-Gradio Demo (7B)-5F9EA0.svg\" style=\"margin-right: 5px;\">\n  \u003C\u002Fa>\n\u003C\u002Fdiv>\n\n\u003Cdiv align=\"center\" style=\"display: flex; justify-content: center; margin-top: 10px;\">\n  \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fnvidia\u002FAudioSkills\">\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗-Dataset: AudioSkills--XL-ED5A22.svg\">\n  \u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fnvidia\u002FLongAudio\">\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗-Dataset: LongAudio--XL-ED5A22.svg\">\n  \u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fnvidia\u002FAF-Chat\">\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗-Dataset: AF--Chat-ED5A22.svg\">\n  \u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fnvidia\u002FAF-Think\">\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗-Dataset: AF--Think-ED5A22.svg\">\n  \u003C\u002Fa>\n\u003C\u002Fdiv>\n\n\u003Cbr>\n\nAudio Flamingo 3 is our latest model based on a 7B language model and the [LLaVA](https:\u002F\u002Farxiv.org\u002Fabs\u002F2304.08485) architecture. We trained our unified AF-Whisper audio encoder based on [Whisper](https:\u002F\u002Farxiv.org\u002Fabs\u002F2212.04356) to handle understanding beyond speech recognition. We included speech-related tasks in Audio Flamingo 3 and scaled up the training dataset to about 50M audio-text pairs. Therefore, Audio Flamingo 3 is able to handle all three modalities in audio: **sound**, **music**, and **speech**. It outperforms prior SOTA models including GAMA, Audio Flamingo, Audio Flamingo 2, Qwen-Audio, Qwen2-Audio, Qwen2.5-Omni, LTU, LTU-AS, SALMONN, AudioGPT, Gemini Flash v2 and Gemini Pro v1.5 on a number of understanding and reasoning benchmarks.\n\nAudio Flamingo 3 can take up to 10 minutes of audio inputs, and has a streaming TTS module (AF3-Chat) to output voice. \n\n\u003Cbr>\n\u003Cbr>\n\n\n\u003Cdiv align=\"center\">\n  \u003Cimg class=\"img-full\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_audio-flamingo_readme_f9bb950c6dfd.png\" width=\"400\">\n\u003C\u002Fdiv>\n\n\u003Cdiv align=\"center\">\n  \u003Cimg class=\"img-full\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_audio-flamingo_readme_07c8118dccda.png\" width=\"600\">\n\u003C\u002Fdiv>\n\n\n\u003Cdiv align=\"center\">\n  \u003Cimg class=\"img-full\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_audio-flamingo_readme_410855d2c65a.png\" width=\"800\">\n\u003C\u002Fdiv>\n\n## Audio Flamingo Sound-CoT (Technical Report)\n\n\u003Cdiv align=\"center\" style=\"display: flex; justify-content: center; margin-top: 10px;\">\n  \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2508.11818\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-2508.11818-AD1C18\" style=\"margin-right: 5px;\">\u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Faudio-flamingo\u002Ftree\u002FsoundCoT\">\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FGithub-Audio Flamingo SoundCoT-9C276A' style=\"margin-right: 5px;\">\u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Faudio-flamingo\u002Fstargazers\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FNVIDIA\u002Faudio-flamingo.svg?style=social\">\u003C\u002Fa>\n\u003C\u002Fdiv>\n\n\u003Cdiv align=\"center\" style=\"display: flex; justify-content: center; margin-top: 10px; flex-wrap: wrap; gap: 5px;\">\n  \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fnvidia\u002Faudio-flamingo-2-SoundCoT\">\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗-Audio_Flamingo_2_SoundCoT_(3B)-ED5A22.svg\">\n  \u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fnvidia\u002FAF-Think\u002Ftree\u002Fmain\u002Fafcot\">\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗-Dataset: AF--CoT--Train-ED5A22.svg\">\n  \u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Faudio-flamingo\u002Ftree\u002FsoundCoT\u002FAF_Reasoning_Eval\">\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FDataset: AF--Reasoning--Eval-ED5A22.svg\">\n  \u003C\u002Fa>\n\u003C\u002Fdiv>\n\nAudio Flamingo Sound-CoT has significant improvements on the chain-of-thought (CoT) reasoning abilities. Our 3B finetuned model based on Audio Flamingo 2 is comparable to several 7B reasoning baselines on reasoning benchmarks. \n\nWe introduce AF-Reasoning-Eval, a sound reasoning benchmark targeting common-sense reasoning and the ability to discriminate among closely related choices. We also introduce AF-CoT-Train that contains about 1M CoT reasoning traces to advance the field of audio understanding.\n\n\n## Audio Flamingo 2 (ICML 2025)\n\n\n\u003Cdiv align=\"center\" style=\"display: flex; justify-content: center; margin-top: 10px;\">\n  \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2503.03983\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-2503.03983-AD1C18\" style=\"margin-right: 5px;\">\u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fresearch.nvidia.com\u002Flabs\u002Fadlr\u002FAF2\u002F\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FDemo page-228B22\" style=\"margin-right: 5px;\">\u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Faudio-flamingo\u002Ftree\u002Faudio_flamingo_2\">\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FGithub-Audio Flamingo 2-9C276A' style=\"margin-right: 5px;\">\u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Faudio-flamingo\u002Fstargazers\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FNVIDIA\u002Faudio-flamingo.svg?style=social\">\u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fnvidia\u002Faudio-flamingo-2\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗-Gradio Demo (3B)-5F9EA0.svg\" style=\"margin-right: 5px;\">\u003C\u002Fa>\n\u003C\u002Fdiv>\n\n\u003Cdiv align=\"center\" style=\"display: flex; justify-content: center; margin-top: 10px;\">\n\u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fnvidia\u002Faudio-flamingo-2\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗-Checkpoints_v20250625_(3B)-ED5A22.svg\" style=\"margin-right: 5px;\">\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fnvidia\u002Faudio-flamingo-2-1.5B\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗-Checkpoints_v20250625_(1.5B)-ED5A22.svg\" style=\"margin-right: 5px;\">\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fnvidia\u002Faudio-flamingo-2-0.5B\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗-Checkpoints_v20250625_(0.5B)-ED5A22.svg\" style=\"margin-right: 5px;\">\u003C\u002Fa>\n\u003C\u002Fdiv>\n\n\u003Cbr>\n\nAudio Flamingo 2 significantly improves Audio Flamingo in several aspects. First, we re-trained a better CLAP for with stronger text understanding abilities. Second, we scaled up the training set to about 10M audio-text pairs with a focus on several understanding skills (AudioSkills) and understanding of longer audio (LongAudio). Third, we carefully ablate the training recipes and curriculums and found a 3-stage training strategy yields the best results. Audio Flamingo 2 is based on a 3B langauge model. It achieves the SOTA results on several individual and mixed audio understanding benchmarks of captioning, classification, and question answering. It can also understand longer audio up to 5 minutes. \n\n\u003Cbr>\n\u003Cbr>\n\n\u003Cdiv align=\"center\">\n  \u003Cimg class=\"img-full\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_audio-flamingo_readme_6f32b99fe03a.png\" width=\"300\">\n\u003C\u002Fdiv>\n\n\u003Cdiv align=\"center\">\n  \u003Cimg class=\"img-full\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_audio-flamingo_readme_66c37d799b92.png\" width=\"400\">\n\u003C\u002Fdiv>\n\n\u003Cdiv align=\"center\">\n  \u003Cimg class=\"img-full\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_audio-flamingo_readme_6ecee614e333.png\" width=\"800\">\n\u003C\u002Fdiv>\n\n\n\n\n## Audio Flamingo (ICML 2024)\n\n\u003Cdiv align=\"center\" style=\"display: flex; justify-content: center; margin-top: 10px;\">\n  \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2402.01831\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-2402.01831-AD1C18\" style=\"margin-right: 5px;\">\u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Faudioflamingo.github.io\u002F\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FDemo page-228B22\" style=\"margin-right: 5px;\">\u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Faudio-flamingo\u002Ftree\u002Flegacy_audio_flamingo_1\">\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FGithub-Audio Flamingo 1-9C276A' style=\"margin-right: 5px;\">\u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Faudio-flamingo\u002Fstargazers\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FNVIDIA\u002Faudio-flamingo.svg?style=social\">\u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fnvidia\u002Faudio-flamingo\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗-Checkpoints_(1.3B)-ED5A22.svg\" style=\"margin-right: 5px;\">\u003C\u002Fa>\n\u003C\u002Fdiv>\n\n\u003Cbr>\n\nAudio Flamingo is our first audio language model based on the [Flamingo](https:\u002F\u002Farxiv.org\u002Fabs\u002F2204.14198) architecture. It is based on an 1.3B language model and has in-context few-shot learning and multi-turn dialogue abilities (see [Audio Dialogues](https:\u002F\u002Farxiv.org\u002Fabs\u002F2404.07616) for details of dialogue data). We curated about 5.9M audio-text pairs to train our model. It achieves the SOTA results on several zero-shot, few-shot, and in-distribution benchmarks of captioning, classification, and question answering.\n\n\u003Cbr>\n\u003Cbr>\n\n\u003Cdiv align=\"center\">\n  \u003Cimg class=\"img-full\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_audio-flamingo_readme_12dd9bd05b8a.png\" width=\"300\">\n\u003C\u002Fdiv>\n\n\u003Cbr>\n\n\u003Cdiv align=\"center\">\n  \u003Cimg class=\"img-full\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_audio-flamingo_readme_d6dfc2af36ee.png\" width=\"600\">\n\u003C\u002Fdiv>\n\n\n## Code Structure\n\nEach branch includes the individual code to train and inference Audio Flamingo.\n\n\u003Cdiv align=\"center\" style=\"display: flex; justify-content: center; margin-top: 10px;\">\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Faudio-flamingo\u002Ftree\u002Flegacy_audio_flamingo_1\">\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FGithub-Audio Flamingo 1-9C276A' style=\"margin-right: 5px;\">\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Faudio-flamingo\u002Ftree\u002Faudio_flamingo_2\">\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FGithub-Audio Flamingo 2-9C276A' style=\"margin-right: 5px;\">\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Faudio-flamingo\u002Ftree\u002FsoundCoT\">\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FGithub-Audio Flamingo SoundCoT-9C276A' style=\"margin-right: 5px;\">\u003C\u002Fa>\n\u003C\u002Fdiv>\n\u003Cdiv align=\"center\" style=\"display: flex; justify-content: center; margin-top: 10px;\">\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Faudio-flamingo\u002Ftree\u002Faudio_flamingo_3\">\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FGithub-Audio Flamingo 3-9C276A' style=\"margin-right: 5px;\">\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Faudio-flamingo\u002Ftree\u002Fmusic_flamingo\">\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FGithub-Music Flamingo-9C276A' style=\"margin-right: 5px;\">\u003C\u002Fa>\n\u003C\u002Fdiv>\n\n\n## License\n\n- The code in this repo is under MIT license.\n- The checkpoints are for non-commercial use only (see NVIDIA OneWay Noncommercial License). They are also subject to other restrictions (see ``` README``` and ```incl_licenses``` within each branch).\n- Notice: Audio Flamingo is built with OPT-IML and is subject to the OPT-IML license. \n- Notice: Audio Flamingo 2 and Audio Flamingo 3 are built with Qwen-2.5. Qwen is licensed under the Qwen RESEARCH LICENSE AGREEMENT, Copyright (c) Alibaba Cloud. All Rights Reserved.\n\n\n## Citation\n\n- Audio Flamingo\n```\n@inproceedings{kong2024audio,\n  title={Audio Flamingo: A Novel Audio Language Model with Few-Shot Learning and Dialogue Abilities},\n  author={Kong, Zhifeng and Goel, Arushi and Badlani, Rohan and Ping, Wei and Valle, Rafael and Catanzaro, Bryan},\n  booktitle={International Conference on Machine Learning},\n  pages={25125--25148},\n  year={2024},\n  organization={PMLR}\n}\n```\n\n- Audio Flamingo 2\n```\n@inproceedings{\n  ghosh2025audio,\n  title={Audio Flamingo 2: An Audio-Language Model with Long-Audio Understanding and Expert Reasoning Abilities},\n  author={Ghosh, Sreyan and Kong, Zhifeng and Kumar, Sonal and Sakshi, S and Kim, Jaehyeon and Ping, Wei and Valle, Rafael and Manocha, Dinesh and Catanzaro, Bryan},\n  booktitle={Forty-second International Conference on Machine Learning},\n  year={2025},\n  url={https:\u002F\u002Fopenreview.net\u002Fforum?id=xWu5qpDK6U}\n}\n```\n\n- Audio Flamingo 3\n```\n@inproceedings{\n  ghosh2025audio,\n  title={Audio Flamingo 3: Advancing Audio Intelligence with Fully Open Large Audio Language Models},\n  author={Sreyan Ghosh and Arushi Goel and Jaehyeon Kim and Sonal Kumar and Zhifeng Kong and Sang-gil Lee and Chao-Han Huck Yang and Ramani Duraiswami and Dinesh Manocha and Rafael Valle and Bryan Catanzaro},\n  booktitle={The Thirty-ninth Annual Conference on Neural Information Processing Systems},\n  year={2025},\n  url={https:\u002F\u002Fopenreview.net\u002Fforum?id=FjByDpDVIO}\n}\n```\n\n- Audio Flamingo Sound-CoT\n```\n@article{kong2025audio,\n  title={Audio Flamingo Sound-CoT Technical Report: Improving Chain-of-Thought Reasoning in Sound Understanding},\n  author={Kong, Zhifeng and Goel, Arushi and Santos, Joao Felipe and Ghosh, Sreyan and Valle, Rafael and Ping, Wei and Catanzaro, Bryan},\n  journal={arXiv preprint arXiv:2508.11818},\n  year={2025}\n}\n```\n\n- Music Flamingo\n```\n@article{ghosh2025music,\n  title={Music Flamingo: Scaling Music Understanding in Audio Language Models},\n  author={Ghosh, Sreyan and Goel, Arushi and Koroshinadze, Lasha and Lee, Sang-gil and Kong, Zhifeng and Santos, Joao Felipe and Duraiswami, Ramani and Manocha, Dinesh and Ping, Wei and Shoeybi, Mohammad and Catanzaro, Bryan},\n  journal={arXiv preprint arXiv},\n  year={2025}\n}\n```","\u003Cdiv align=\"center\" style=\"display: flex; justify-content: center; align-items: center; text-align: center;\">\n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Faudio-flamingo\" style=\"margin-right: 20px; text-decoration: none; display: flex; align-items: center;\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_audio-flamingo_readme_173087643505.png\" alt=\"Audio Flamingo 3 🔥🚀🔥\" width=\"120\">\n  \u003C\u002Fa>\n\u003C\u002Fdiv>\n\u003Cdiv align=\"center\" style=\"display: flex; justify-content: center; align-items: center; text-align: center;\">\n    \u003Ch2>\n    Audio Flamingo：一系列先进的音频理解语言模型\n    \u003C\u002Fh2>\n\u003C\u002Fdiv>\n\n## 概述\n在这个仓库中，我们推出了**Audio Flamingo**系列先进的音频理解语言模型：\n- [Audio Flamingo：一种具有少样本学习和对话能力的新型音频语言模型](https:\u002F\u002Farxiv.org\u002Fabs\u002F2402.01831)（ICML 2024）\n- [Audio Flamingo 2：一种具备长音频理解和专家推理能力的音频-语言模型](https:\u002F\u002Farxiv.org\u002Fabs\u002F2503.03983)（ICML 2025）\n- [Audio Flamingo 3：通过完全开放的大规模音频语言模型推进音频智能](https:\u002F\u002Farxiv.org\u002Fabs\u002F2507.08128)（NeurIPS 2025，亮点论文）\n- [Music Flamingo：在音频语言模型中扩展音乐理解能力]()（arXiv）\n\n## Music Flamingo（arXiv）\n\n\u003Cdiv align=\"center\" style=\"display: flex; justify-content: center; margin-top: 10px;\">\n  \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2511.10289\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-2511.10289-AD1C18\" style=\"margin-right: 5px;\">\u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fresearch.nvidia.com\u002Flabs\u002Fadlr\u002FMF\u002F\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FDemo page-228B22\" style=\"margin-right: 5px;\">\u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Faudio-flamingo\u002Ftree\u002Fmusic_flamingo\">\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FGithub-Music--Flamingo-9C276A' style=\"margin-right: 5px;\">\u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Faudio-flamingo\u002Fstargazers\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FNVIDIA\u002Faudio-flamingo.svg?style=social\">\u003C\u002Fa>\n\u003C\u002Fdiv>\n\n\u003Cdiv align=\"center\" style=\"display: flex; justify-content: center; margin-top: 10px; flex-wrap: wrap; gap: 5px;\">\n  \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fnvidia\u002Fmusic-flamingo-hf\">\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗-Checkpoints-ED5A22.svg\">\n  \u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fnvidia\u002FMF-Skills\">\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗-Dataset: MF--Skills-ED5A22.svg\">\n  \u003C\u002Fa>\n\u003C\u002Fdiv>\n\n\u003Cdiv align=\"center\" style=\"display: flex; justify-content: center; margin-top: 10px;\">\n\u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fnvidia\u002Fmusic-flamingo\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗-Gradio Demo (7B)-5F9EA0.svg\" style=\"margin-right: 5px;\">\u003C\u002Fa>\n\u003C\u002Fdiv>\n\nMusic Flamingo（MF）是一款完全开放、最先进的大型音频-语言模型（LALM），基于Audio Flamingo 3的核心架构，旨在推动基础音频模型中的音乐（包括歌曲）理解能力。MF汇集了以下创新：\n\n- 对歌曲和纯音乐的深度理解。\n- 丰富且具备乐理知识的字幕与问答功能（和声、结构、音色、歌词、文化背景等）。\n- 以推理为核心的训练方式，结合思维链与自定义奖励机制的强化学习，实现逐步推理。\n- 针对全长、多文化背景的音频进行长篇幅歌曲推理（扩展上下文）。\n\n大量评估证实了Music Flamingo的有效性，在超过10项公开的音乐理解和推理任务上树立了新的基准。\n\n\u003Cdiv align=\"center\">\n  \u003Cimg class=\"img-full\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_audio-flamingo_readme_658fef4719a3.png\" width=\"800\">\n\u003C\u002Fdiv>\n\n\u003Cdiv align=\"center\">\n  \u003Cimg class=\"img-full\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_audio-flamingo_readme_f328d5a3e104.png\" width=\"800\">\n\u003C\u002Fdiv>\n\n\u003Cdiv align=\"center\">\n  \u003Cimg class=\"img-full\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_audio-flamingo_readme_675d9fd776a0.png\" width=\"400\">\n\u003C\u002Fdiv>\n\n\u003Cdiv align=\"center\">\n  \u003Cimg class=\"img-full\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_audio-flamingo_readme_ffdf364d0e0e.png\" width=\"600\">\n\u003C\u002Fdiv>\n\n\n\n## Audio Flamingo 3（NeurIPS 2025 Spotlight）\n\n\u003Cdiv align=\"center\" style=\"display: flex; justify-content: center; margin-top: 10px;\">\n  \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2507.08128\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-2507.08128-AD1C18\" style=\"margin-right: 5px;\">\u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fresearch.nvidia.com\u002Flabs\u002Fadlr\u002FAF3\u002F\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FDemo page-228B22\" style=\"margin-right: 5px;\">\u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Faudio-flamingo\u002Ftree\u002Faudio_flamingo_3\">\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FGithub-Audio Flamingo 3-9C276A' style=\"margin-right: 5px;\">\u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Faudio-flamingo\u002Fstargazers\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FNVIDIA\u002Faudio-flamingo.svg?style=social\">\u003C\u002Fa>\n\u003C\u002Fdiv>\n\n\u003Cdiv align=\"center\" style=\"display: flex; justify-content: center; margin-top: 10px; flex-wrap: wrap; gap: 5px;\">\n  \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fnvidia\u002Faudio-flamingo-3-hf\">\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗-Checkpoints-ED5A22.svg\">\n  \u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fnvidia\u002Faudio-flamingo-3-chat\">\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗-Checkpoints (Chat)-ED5A22.svg\">\n  \u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fnvidia\u002Faudio_flamingo_3\">\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗-Gradio Demo (7B)-5F9EA0.svg\" style=\"margin-right: 5px;\">\n  \u003C\u002Fa>\n\u003C\u002Fdiv>\n\n\u003Cdiv align=\"center\" style=\"display: flex; justify-content: center; margin-top: 10px;\">\n  \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fnvidia\u002FAudioSkills\">\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗-Dataset: AudioSkills--XL-ED5A22.svg\">\n  \u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fnvidia\u002FLongAudio\">\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗-Dataset: LongAudio--XL-ED5A22.svg\">\n  \u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fnvidia\u002FAF-Chat\">\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗-Dataset: AF--Chat-ED5A22.svg\">\n  \u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fnvidia\u002FAF-Think\">\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗-Dataset: AF--Think-ED5A22.svg\">\n  \u003C\u002Fa>\n\u003C\u002Fdiv>\n\n\u003Cbr>\n\nAudio Flamingo 3是我们最新的模型，基于7B参数的语言模型和[LLaVA](https:\u002F\u002Farxiv.org\u002Fabs\u002F2304.08485)架构。我们以[Whisper](https:\u002F\u002Farxiv.org\u002Fabs\u002F2212.04356)为基础，训练了统一的AF-Whisper音频编码器，使其能够处理超越语音识别的理解任务。我们在Audio Flamingo 3中加入了与语音相关的任务，并将训练数据集扩大到约5000万对音频-文本数据。因此，Audio Flamingo 3能够同时处理音频中的三种模态：**声音**、**音乐**和**语音**。它在多项理解和推理基准测试中，均优于此前的SOTA模型，包括GAMA、Audio Flamingo、Audio Flamingo 2、Qwen-Audio、Qwen2-Audio、Qwen2.5-Omni、LTU、LTU-AS、SALMONN、AudioGPT、Gemini Flash v2以及Gemini Pro v1.5。\n\nAudio Flamingo 3可以接受长达10分钟的音频输入，并配备流式TTS模块（AF3-Chat），用于输出语音。\n\n\u003Cbr>\n\u003Cbr>\n\n\n\u003Cdiv align=\"center\">\n  \u003Cimg class=\"img-full\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_audio-flamingo_readme_f9bb950c6dfd.png\" width=\"400\">\n\u003C\u002Fdiv>\n\n\u003Cdiv align=\"center\">\n  \u003Cimg class=\"img-full\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_audio-flamingo_readme_07c8118dccda.png\" width=\"600\">\n\u003C\u002Fdiv>\n\n\n\u003Cdiv align=\"center\">\n  \u003Cimg class=\"img-full\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_audio-flamingo_readme_410855d2c65a.png\" width=\"800\">\n\u003C\u002Fdiv>\n\n## 音频火烈鸟 Sound-CoT（技术报告）\n\n\u003Cdiv align=\"center\" style=\"display: flex; justify-content: center; margin-top: 10px;\">\n  \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2508.11818\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-2508.11818-AD1C18\" style=\"margin-right: 5px;\">\u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Faudio-flamingo\u002Ftree\u002FsoundCoT\">\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FGithub-Audio Flamingo SoundCoT-9C276A' style=\"margin-right: 5px;\">\u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Faudio-flamingo\u002Fstargazers\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FNVIDIA\u002Faudio-flamingo.svg?style=social\">\u003C\u002Fa>\n\u003C\u002Fdiv>\n\n\u003Cdiv align=\"center\" style=\"display: flex; justify-content: center; margin-top: 10px; flex-wrap: wrap; gap: 5px;\">\n  \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fnvidia\u002Faudio-flamingo-2-SoundCoT\">\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗-Audio_Flamingo_2_SoundCoT_(3B)-ED5A22.svg\">\n  \u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fnvidia\u002FAF-Think\u002Ftree\u002Fmain\u002Fafcot\">\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗-Dataset: AF--CoT--Train-ED5A22.svg\">\n  \u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Faudio-flamingo\u002Ftree\u002FsoundCoT\u002FAF_Reasoning_Eval\">\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FDataset: AF--Reasoning--Eval-ED5A22.svg\">\n  \u003C\u002Fa>\n\u003C\u002Fdiv>\n\n音频火烈鸟 Sound-CoT 在思维链（CoT）推理能力方面有了显著提升。我们基于音频火烈鸟 2 训练的 3B 参数微调模型，在推理基准测试中可与多个 7B 参数的推理基线相媲美。\n\n我们推出了 AF-Reasoning-Eval，这是一个专注于常识推理以及在密切相关选项间进行区分能力的声音推理基准测试。此外，我们还发布了 AF-CoT-Train 数据集，其中包含约 100 万个 CoT 推理轨迹，旨在推动音频理解领域的进步。\n\n\n## 音频火烈鸟 2（ICML 2025）\n\n\n\u003Cdiv align=\"center\" style=\"display: flex; justify-content: center; margin-top: 10px;\">\n  \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2503.03983\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-2503.03983-AD1C18\" style=\"margin-right: 5px;\">\u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fresearch.nvidia.com\u002Flabs\u002Fadlr\u002FAF2\u002F\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FDemo page-228B22\" style=\"margin-right: 5px;\">\u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Faudio-flamingo\u002Ftree\u002Faudio_flamingo_2\">\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FGithub-Audio Flamingo 2-9C276A' style=\"margin-right: 5px;\">\u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Faudio-flamingo\u002Fstargazers\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FNVIDIA\u002Faudio-flamingo.svg?style=social\">\u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fnvidia\u002Faudio-flamingo-2\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗-Gradio Demo (3B)-5F9EA0.svg\" style=\"margin-right: 5px;\">\u003C\u002Fa>\n\u003C\u002Fdiv>\n\n\u003Cdiv align=\"center\" style=\"display: flex; justify-content: center; margin-top: 10px;\">\n\u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fnvidia\u002Faudio-flamingo-2\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗-Checkpoints_v20250625_(3B)-ED5A22.svg\" style=\"margin-right: 5px;\">\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fnvidia\u002Faudio-flamingo-2-1.5B\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗-Checkpoints_v20250625_(1.5B)-ED5A22.svg\" style=\"margin-right: 5px;\">\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fnvidia\u002Faudio-flamingo-2-0.5B\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗-Checkpoints_v20250625_(0.5B)-ED5A22.svg\" style=\"margin-right: 5px;\">\u003C\u002Fa>\n\u003C\u002Fdiv>\n\n\u003Cbr>\n\n音频火烈鸟 2 在多个方面对原版音频火烈鸟进行了显著改进。首先，我们重新训练了一个性能更优的 CLAP 模型，其文本理解能力更强。其次，我们将训练数据集扩展至约 1000 万对音视频-文本配对，重点覆盖多项理解技能（AudioSkills）以及对长音频的理解（LongAudio）。第三，我们仔细分析了不同的训练方案和课程设置，最终确定了一种三阶段的训练策略，效果最佳。音频火烈鸟 2 基于一个 3B 参数的语言模型，在字幕生成、分类和问答等单项及混合音频理解任务的多个基准测试中均取得了当前最优成绩。此外，它还能理解长达 5 分钟的长音频。\n\n\u003Cbr>\n\u003Cbr>\n\n\u003Cdiv align=\"center\">\n  \u003Cimg class=\"img-full\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_audio-flamingo_readme_6f32b99fe03a.png\" width=\"300\">\n\u003C\u002Fdiv>\n\n\u003Cdiv align=\"center\">\n  \u003Cimg class=\"img-full\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_audio-flamingo_readme_66c37d799b92.png\" width=\"400\">\n\u003C\u002Fdiv>\n\n\u003Cdiv align=\"center\">\n  \u003Cimg class=\"img-full\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_audio-flamingo_readme_6ecee614e333.png\" width=\"800\">\n\u003C\u002Fdiv>\n\n\n\n\n## 音频火烈鸟（ICML 2024）\n\n\u003Cdiv align=\"center\" style=\"display: flex; justify-content: center; margin-top: 10px;\">\n  \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2402.01831\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-2402.01831-AD1C18\" style=\"margin-right: 5px;\">\u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Faudioflamingo.github.io\u002F\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FDemo page-228B22\" style=\"margin-right: 5px;\">\u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Faudio-flamingo\u002Ftree\u002Flegacy_audio_flamingo_1\">\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FGithub-Audio Flamingo 1-9C276A' style=\"margin-right: 5px;\">\u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Faudio-flamingo\u002Fstargazers\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FNVIDIA\u002Faudio-flamingo.svg?style=social\">\u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fnvidia\u002Faudio-flamingo\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗-Checkpoints_(1.3B)-ED5A22.svg\" style=\"margin-right: 5px;\">\u003C\u002Fa>\n\u003C\u002Fdiv>\n\n\u003Cbr>\n\n音频火烈鸟是我们首个基于 [Flamingo](https:\u002F\u002Farxiv.org\u002Fabs\u002F2204.14198) 架构的音视频语言模型。它基于一个 1.3B 参数的语言模型，具备上下文少样本学习和多轮对话能力（有关对话数据的详细信息，请参阅 [Audio Dialogues](https:\u002F\u002Farxiv.org\u002Fabs\u002F2404.07616)）。我们精心构建了约 590 万对音视频-文本配对用于训练该模型。它在字幕生成、分类和问答等零样本、少样本及分布内任务的多个基准测试中均取得了当前最优成绩。\n\n\u003Cbr>\n\u003Cbr>\n\n\u003Cdiv align=\"center\">\n  \u003Cimg class=\"img-full\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_audio-flamingo_readme_12dd9bd05b8a.png\" width=\"300\">\n\u003C\u002Fdiv>\n\n\u003Cbr>\n\n\u003Cdiv align=\"center\">\n  \u003Cimg class=\"img-full\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_audio-flamingo_readme_d6dfc2af36ee.png\" width=\"600\">\n\u003C\u002Fdiv>\n\n## 代码结构\n\n每个分支都包含用于训练和推理 Audio Flamingo 的独立代码。\n\n\u003Cdiv align=\"center\" style=\"display: flex; justify-content: center; margin-top: 10px;\">\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Faudio-flamingo\u002Ftree\u002Flegacy_audio_flamingo_1\">\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FGithub-Audio Flamingo 1-9C276A' style=\"margin-right: 5px;\">\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Faudio-flamingo\u002Ftree\u002Faudio_flamingo_2\">\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FGithub-Audio Flamingo 2-9C276A' style=\"margin-right: 5px;\">\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Faudio-flamingo\u002Ftree\u002FsoundCoT\">\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FGithub-Audio Flamingo SoundCoT-9C276A' style=\"margin-right: 5px;\">\u003C\u002Fa>\n\u003C\u002Fdiv>\n\u003Cdiv align=\"center\" style=\"display: flex; justify-content: center; margin-top: 10px;\">\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Faudio-flamingo\u002Ftree\u002Faudio_flamingo_3\">\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FGithub-Audio Flamingo 3-9C276A' style=\"margin-right: 5px;\">\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Faudio-flamingo\u002Ftree\u002Fmusic_flamingo\">\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FGithub-Music Flamingo-9C276A' style=\"margin-right: 5px;\">\u003C\u002Fa>\n\u003C\u002Fdiv>\n\n\n## 许可证\n\n- 本仓库中的代码采用 MIT 许可证。\n- 检查点仅限非商业用途（参见 NVIDIA OneWay 非商业许可）。它们还受到其他限制（参见各分支中的 ```README``` 和 ```incl_licenses```）。\n- 注意：Audio Flamingo 基于 OPT-IML 构建，受 OPT-IML 许可证约束。\n- 注意：Audio Flamingo 2 和 Audio Flamingo 3 基于 Qwen-2.5 构建。Qwen 受 Qwen 研究许可协议约束，版权归阿里云所有，保留所有权利。\n\n\n## 引用\n\n- Audio Flamingo\n```\n@inproceedings{kong2024audio,\n  title={Audio Flamingo: 一种具有少样本学习和对话能力的新型音频语言模型},\n  author={Kong, Zhifeng 和 Goel, Arushi 和 Badlani, Rohan 和 Ping, Wei 和 Valle, Rafael 和 Catanzaro, Bryan},\n  booktitle={国际机器学习大会},\n  pages={25125--25148},\n  year={2024},\n  organization={PMLR}\n}\n```\n\n- Audio Flamingo 2\n```\n@inproceedings{\n  ghosh2025audio,\n  title={Audio Flamingo 2：一种具备长音频理解与专家推理能力的音频语言模型},\n  author={Ghosh, Sreyan 和 Kong, Zhifeng 和 Kumar, Sonal 和 Sakshi, S 和 Kim, Jaehyeon 和 Ping, Wei 和 Valle, Rafael 和 Manocha, Dinesh 和 Catanzaro, Bryan},\n  booktitle={第四十二届国际机器学习大会},\n  year={2025},\n  url={https:\u002F\u002Fopenreview.net\u002Fforum?id=xWu5qpDK6U}\n}\n```\n\n- Audio Flamingo 3\n```\n@inproceedings{\n  ghosh2025audio,\n  title={Audio Flamingo 3：通过完全开放的大规模音频语言模型推进音频智能},\n  author={Sreyan Ghosh 和 Arushi Goel 和 Jaehyeon Kim 和 Sonal Kumar 和 Zhifeng Kong 和 Sang-gil Lee 和 Chao-Han Huck Yang 和 Ramani Duraiswami 和 Dinesh Manocha 和 Rafael Valle 和 Bryan Catanzaro},\n  booktitle={第三十九届神经信息处理系统年度会议},\n  year={2025},\n  url={https:\u002F\u002Fopenreview.net\u002Fforum?id=FjByDpDVIO}\n}\n```\n\n- Audio Flamingo Sound-CoT\n```\n@article{kong2025audio,\n  title={Audio Flamingo Sound-CoT 技术报告：改进声音理解中的思维链推理},\n  author={Kong, Zhifeng 和 Goel, Arushi 和 Santos, Joao Felipe 和 Ghosh, Sreyan 和 Valle, Rafael 和 Ping, Wei 和 Catanzaro, Bryan},\n  journal={arXiv 预印本 arXiv:2508.11818},\n  year={2025}\n}\n```\n\n- Music Flamingo\n```\n@article{ghosh2025music,\n  title={Music Flamingo：在音频语言模型中扩展音乐理解能力},\n  author={Ghosh, Sreyan 和 Goel, Arushi 和 Koroshinadze, Lasha 和 Lee, Sang-gil 和 Kong, Zhifeng 和 Santos, Joao Felipe 和 Duraiswami, Ramani 和 Manocha, Dinesh 和 Ping, Wei 和 Shoeybi, Mohammad 和 Catanzaro, Bryan},\n  journal={arXiv 预印本 arXiv},\n  year={2025}\n}\n```","# Audio Flamingo 快速上手指南\n\nAudio Flamingo 是 NVIDIA 开源的一系列先进音频理解语言模型（LALM），涵盖从声音、音乐到语音的全模态理解能力。最新版本的 **Audio Flamingo 3** 基于 7B 语言模型，支持长达 10 分钟的音频输入及流式语音输出。\n\n## 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n*   **操作系统**: Linux (推荐 Ubuntu 20.04+)\n*   **GPU**: NVIDIA GPU，显存建议 16GB 以上（运行 7B 模型），支持 CUDA 11.8 或更高版本\n*   **Python**: 3.9 - 3.11\n*   **前置依赖**:\n    *   PyTorch (与 CUDA 版本匹配)\n    *   Transformers >= 4.40.0\n    *   Accelerate\n    *   Hugging Face `huggingface_hub`\n\n> **注意**：由于模型权重较大，建议确保网络连接畅通，或使用国内镜像源加速下载。\n\n## 安装步骤\n\n### 1. 克隆仓库\n首先从 GitHub 克隆项目代码。针对特定版本（如最新的 Audio Flamingo 3），建议切换至对应分支。\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Faudio-flamingo.git\ncd audio-flamingo\n\n# 切换到 Audio Flamingo 3 分支 (如需使用其他版本请替换分支名)\ngit checkout audio_flamingo_3\n```\n\n### 2. 创建虚拟环境并安装依赖\n推荐使用 Conda 或 venv 创建隔离环境。\n\n```bash\n# 创建 conda 环境\nconda create -n af3 python=3.10 -y\nconda activate af3\n\n# 安装 PyTorch (根据实际 CUDA 版本调整，此处以 cu118 为例)\npip install torch torchvision torchaudio --index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu118\n\n# 安装项目依赖\npip install -e .\n```\n\n> **国内加速提示**：如果下载依赖较慢，可添加清华或阿里镜像源：\n> `pip install -e . -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple`\n\n### 3. 登录 Hugging Face\n您需要登录 Hugging Face 以下载模型权重（部分模型可能需要接受用户协议）。\n\n```bash\nhuggingface-cli login\n```\n*按提示输入您的 Access Token。*\n\n## 基本使用\n\n以下示例展示如何使用 **Audio Flamingo 3** 进行简单的音频理解（如音频描述生成）。\n\n### 方法一：使用 Python 脚本推理\n\n创建一个 `inference.py` 文件，写入以下代码：\n\n```python\nimport torch\nfrom transformers import AutoProcessor, AutoModelForCausalLM\nfrom datasets import load_dataset\n\n# 加载模型和处理器\n# 模型地址：nvidia\u002Faudio-flamingo-3-hf\nmodel_id = \"nvidia\u002Faudio-flamingo-3-hf\"\n\nprocessor = AutoProcessor.from_pretrained(model_id)\nmodel = AutoModelForCausalLM.from_pretrained(\n    model_id,\n    device_map=\"auto\",\n    torch_dtype=torch.bfloat16,\n    trust_remote_code=True\n)\n\n# 准备音频输入\n# 这里以加载一个本地音频文件为例，也可以替换为 URL 或数据集\naudio_path = \"path\u002Fto\u002Fyour\u002Faudio.wav\" \n# 如果使用胡夫曼数据集测试，可取消下面注释\n# dataset = load_dataset(\"hf-internal-testing\u002Flibrispeech_asr_dummy\", \"clean\", split=\"validation\")\n# audio_path = dataset[0][\"file\"]\n\n# 构建输入提示\nprompt = \"Describe the sounds in this audio clip in detail.\"\n\n# 处理输入\ninputs = processor(\n    text=prompt,\n    audio_paths=[audio_path],\n    return_tensors=\"pt\",\n    padding=True\n).to(model.device)\n\n# 生成回答\nwith torch.no_grad():\n    generated_ids = model.generate(\n        **inputs,\n        max_new_tokens=256,\n        do_sample=False\n    )\n\n# 解码输出\ngenerated_text = processor.batch_decode(generated_ids[:, inputs.input_ids.shape[1]:], skip_special_tokens=True)[0]\nprint(f\"AI Response: {generated_text}\")\n```\n\n运行脚本：\n```bash\npython inference.py\n```\n\n### 方法二：使用 Gradio 本地演示\n\n如果您希望快速体验交互界面，可以启动本地的 Gradio Demo（需已安装 gradio）：\n\n```bash\n# 确保在 audio_flamingo_3 分支下\ncd demos\npython app.py --model_name \"nvidia\u002Faudio-flamingo-3-hf\"\n```\n启动后，终端会显示本地访问地址（通常为 `http:\u002F\u002F127.0.0.1:7860`），在浏览器打开即可上传音频进行对话。\n\n### 获取模型资源\n所有模型权重、数据集及更多详细文档请访问 Hugging Face 主页：\n*   **Audio Flamingo 3 模型**: [nvidia\u002Faudio-flamingo-3-hf](https:\u002F\u002Fhuggingface.co\u002Fnvidia\u002Faudio-flamingo-3-hf)\n*   **Music Flamingo 模型**: [nvidia\u002Fmusic-flamingo-hf](https:\u002F\u002Fhuggingface.co\u002Fnvidia\u002Fmusic-flamingo-hf)","某数字音乐平台的内容运营团队需要每天处理数千首新上传的独立音乐人作品，以便自动生成包含风格、乐器构成及文化背景的元数据标签，从而优化推荐算法。\n\n### 没有 audio-flamingo 时\n- **人工标注成本极高**：依赖音乐编辑逐首试听并手动填写标签，面对海量曲库时效率低下，导致新歌上架延迟严重。\n- **深层乐理信息缺失**：传统音频分类模型仅能识别“流行”或“摇滚”等宽泛流派，无法解析和弦走向、调式结构或具体音色细节。\n- **长音频理解能力弱**：现有工具难以处理完整歌曲长度的上下文，往往只分析前 30 秒片段，导致对歌曲后半段变奏或复杂编曲结构的描述错误。\n- **缺乏推理与解释**：系统无法回答“为什么这首歌具有爵士风味”这类需要逻辑推理的问题，只能输出冰冷的分类代码，不利于用户交互。\n\n### 使用 audio-flamingo 后\n- **自动化高效处理**：audio-flamingo 能够批量自动聆听全曲，瞬间生成包含乐器、风格及情感色彩的详细自然语言描述，将上架周期从数天缩短至分钟级。\n- **专业乐理深度解析**：凭借 Music Flamingo 的专业训练，它能精准识别复杂的和声进行、节奏形态及文化背景，输出媲美专家的理论分析文案。\n- **全曲上下文掌控**：依托其长音频理解能力，audio-flamingo 能通盘分析整首歌曲的结构变化，准确捕捉桥段、尾奏等长程依赖关系，不再遗漏关键细节。\n- **具备链式推理能力**：面对复杂查询，audio-flamingo 能通过思维链（Chain-of-Thought）逐步推导，不仅给出结论，还能像音乐评论家一样解释判断依据，极大丰富了互动体验。\n\naudio-flamingo 通过将深奥的音频信号转化为可推理的自然语言，彻底解决了音乐内容规模化深度理解的难题，让机器真正“听懂”了音乐。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_audio-flamingo_17308764.png","NVIDIA","NVIDIA Corporation","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FNVIDIA_7dcf6000.png","",null,"https:\u002F\u002Fnvidia.com","https:\u002F\u002Fgithub.com\u002FNVIDIA",1028,87,"2026-04-04T21:24:20",4,"未说明","需要 NVIDIA GPU（基于 LLaVA 架构及 Whisper 编码器），具体显存需求未说明（参考 7B\u002F3B 模型通常需 16GB-24GB+），CUDA 版本未说明",{"notes":90,"python":87,"dependencies":91},"该仓库包含多个模型版本（Audio Flamingo 1\u002F2\u002F3, Music Flamingo, Sound-CoT）。其中 Audio Flamingo 3 基于 7B 语言模型，支持长达 10 分钟的音频输入及流式 TTS；Audio Flamingo 2 提供 0.5B\u002F1.5B\u002F3B 多种尺寸，支持长达 5 分钟音频。模型权重托管于 Hugging Face，具体环境配置（如 Python 版本、CUDA 版本）需参考各子分支（如 audio_flamingo_3, music_flamingo）下的独立文档或 requirements 文件，当前 README 摘要中未列出详细依赖列表。",[92,93,94,95,96],"torch","transformers","Whisper","CLAP","LLaVA",[46,47,15],[99,100,101,102,103],"audio-captioning","audio-language-models","multimodal-large-language-models","audio-question-answering","audio-reasoning","2026-03-27T02:49:30.150509","2026-04-07T06:14:53.048573",[107,112,117,122,127,132],{"id":108,"question_zh":109,"answer_zh":110,"source_url":111},21072,"如何复现 Audio Flamingo 在 Clotho 等数据集上的评估指标（如 CIDEr）？","建议使用 https:\u002F\u002Fgithub.com\u002Faudio-captioning\u002Fcaption-evaluation-tools 来评估 CIDEr 和其他指标。此外，在比较结果时，请确保将真实标签（ground truth）转换为小写，因为模型输出始终是全小写的。如果仍然无法复现，可以检查是否使用了确定性解码参数（do_sample=False, temperature=0, num_beams=3）。","https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Faudio-flamingo\u002Fissues\u002F9",{"id":113,"question_zh":114,"answer_zh":115,"source_url":116},21073,"运行长音频文件（超过 30 秒）时出现 'ValueError: too many values to unpack' 错误怎么办？","该问题是由特定提交引入的 bug 导致的。请尝试更新到最新的代码版本，维护者已确认最新代码修复了此问题。同时，请务必查阅最新的 README 文档以获取正确的运行指引。如果问题依旧存在，请重新打开 Issue 并提供详细信息。","https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Faudio-flamingo\u002Fissues\u002F88",{"id":118,"question_zh":119,"answer_zh":120,"source_url":121},21074,"使用 Hugging Face Transformers 加载 'nvidia\u002Faudio-flamingo-3' 模型时报错 'model type llava_llama not recognized' 如何解决？","这是因为 'llava_llama' 架构尚未合并到 Hugging Face Transformers 的主分支中。目前支持正在推进中（参考 PR: https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftransformers\u002Fpull\u002F40290）。解决方法是安装 Transformers 的源代码版本：`pip install git+https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftransformers.git`，或者等待官方合并更新后升级正式版。","https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Faudio-flamingo\u002Fissues\u002F62",{"id":123,"question_zh":124,"answer_zh":125,"source_url":126},21075,"在 MMAR 基准测试中复现的结果与论文报告的准确率不一致，原因是什么？","结果差异通常源于提示词（Prompt）或系统提示词（System Prompt）的不同。论文中使用的具体提示词可能与社区仓库中建议的简单拼接方式不同。建议直接向维护者索取用于评估 MMAR 的确切 Prompt 模板，或者检查是否使用了官方提供的评估脚本和特定的对话格式（例如包含 '\u003Csound>' 标记和具体的选项选择指令）。","https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Faudio-flamingo\u002Fissues\u002F54",{"id":128,"question_zh":129,"answer_zh":130,"source_url":131},21076,"Audio Flamingo 2 (AF2) 在 Clotho 数据集上的 CIDEr 分数远低于论文报告值（如 0.2 vs 0.46），如何获得正确结果？","请确保使用了正确的推理参数：`do_sample=False`, `temperature=0`, `num_beams=3`。如果问题仍然存在，可能是评估数据分割或预处理步骤有误。维护者曾提供过具体的测试集文件（如 clotho-test.json），建议核对所使用的评估数据是否与官方一致，或者尝试参考 AF3 的配置进行测试。","https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Faudio-flamingo\u002Fissues\u002F59",{"id":133,"question_zh":134,"answer_zh":135,"source_url":111},21077,"是否有集中整理的关于 41 个训练和评估数据集的复现指南、前缀（prefix）和提示词（prompt）脚本？","由于涉及数据集众多，相关信息分散在不同 Issue 中。建议关注项目仓库中针对特定数据集（如 Clotho, AudioCaps 等）的讨论串。维护者会在相关 Issue 的评论中提供具体的 prefix（例如 'The task is audio captioning.'）和 prompt（例如 'Describe the sound in a sentence.'），以及对应的评估脚本链接。对于特定数据集的复现细节，直接在对应数据的 Issue 下询问是最快的方式。",[]]