[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-FunAudioLLM--FunMusic":3,"tool-FunAudioLLM--FunMusic":64},[4,17,27,35,43,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,3,"2026-04-05T11:01:52",[13,14,15],"开发框架","图像","Agent","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",138956,2,"2026-04-05T11:33:21",[13,15,26],"语言模型",{"id":28,"name":29,"github_repo":30,"description_zh":31,"stars":32,"difficulty_score":23,"last_commit_at":33,"category_tags":34,"status":16},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,"2026-04-03T11:11:01",[13,14,15],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":23,"last_commit_at":41,"category_tags":42,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,26],{"id":44,"name":45,"github_repo":46,"description_zh":47,"stars":48,"difficulty_score":23,"last_commit_at":49,"category_tags":50,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[14,51,52,53,15,54,26,13,55],"数据工具","视频","插件","其他","音频",{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":10,"last_commit_at":62,"category_tags":63,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[15,14,13,26,54],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":70,"readme_en":71,"readme_zh":72,"quickstart_zh":73,"use_case_zh":74,"hero_image_url":75,"owner_login":76,"owner_name":76,"owner_avatar_url":77,"owner_bio":78,"owner_company":78,"owner_location":78,"owner_email":78,"owner_twitter":78,"owner_website":78,"owner_url":79,"languages":80,"stars":89,"forks":90,"last_commit_at":91,"license":92,"difficulty_score":10,"env_os":93,"env_gpu":94,"env_ram":95,"env_deps":96,"category_tags":105,"github_topics":106,"view_count":23,"oss_zip_url":78,"oss_zip_packed_at":78,"status":16,"created_at":111,"updated_at":112,"faqs":113,"releases":153},2434,"FunAudioLLM\u002FFunMusic","FunMusic","A fundamental toolkit designed for music, song, and audio generation","InspireMusic 是一款专注于音乐、歌曲及通用音频生成的开源基础工具包。它旨在降低高保真音频创作的门槛，让用户能够通过简单的文本描述或音乐片段提示，轻松生成高质量且连贯的长篇幅音乐作品。\n\n在传统的 AI 音频生成中，用户往往面临生成时长受限、音质细节丢失或上下文不连贯等痛点。InspireMusic 通过创新的架构设计有效解决了这些问题，不仅支持“文生音乐”，还能实现“音乐续写”，确保生成的乐曲在结构和听感上自然流畅，特别适合需要长篇背景乐或完整歌曲创作的场景。\n\n从技术层面看，InspireMusic 融合了多项前沿成果。它以 Qwen2.5 大语言模型为底座，构建了一个自回归 Transformer 模型，能够精准理解文本与音频令牌（Token）之间的复杂关系。同时，结合基于流匹配（Flow-Matching）的超分辨率模型，它能将初步生成的音频特征转化为具有高解析度声学细节的高质量波形，从而在保证生成效率的同时，极大提升了音质的细腻程度。\n\n这款工具非常适合 AI 研究人员、音频算法开发者以及创意内容创作者使用。对于技术人员，它提供了清晰的模块化设计和训练代码，便于深入","InspireMusic 是一款专注于音乐、歌曲及通用音频生成的开源基础工具包。它旨在降低高保真音频创作的门槛，让用户能够通过简单的文本描述或音乐片段提示，轻松生成高质量且连贯的长篇幅音乐作品。\n\n在传统的 AI 音频生成中，用户往往面临生成时长受限、音质细节丢失或上下文不连贯等痛点。InspireMusic 通过创新的架构设计有效解决了这些问题，不仅支持“文生音乐”，还能实现“音乐续写”，确保生成的乐曲在结构和听感上自然流畅，特别适合需要长篇背景乐或完整歌曲创作的场景。\n\n从技术层面看，InspireMusic 融合了多项前沿成果。它以 Qwen2.5 大语言模型为底座，构建了一个自回归 Transformer 模型，能够精准理解文本与音频令牌（Token）之间的复杂关系。同时，结合基于流匹配（Flow-Matching）的超分辨率模型，它能将初步生成的音频特征转化为具有高解析度声学细节的高质量波形，从而在保证生成效率的同时，极大提升了音质的细腻程度。\n\n这款工具非常适合 AI 研究人员、音频算法开发者以及创意内容创作者使用。对于技术人员，它提供了清晰的模块化设计和训练代码，便于深入研究音频生成机制或进行二次开发；对于音乐制作人和设计师，它则是一个强大的辅助创作引擎，能快速提供灵感素材或完成基础编曲。目前，你可以通过 GitHub 获取代码，或在 ModelScope 和 Hugging Face 上直接体验其演示效果。","\u003Cp> \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FFunAudioLLM\u002FInspireMusic\" target=\"_blank\"> \u003Cimg alt=\"logo\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FFunAudioLLM_FunMusic_readme_d0bd05ef26fc.png\" width=\"100%\">\u003C\u002Fa>\u003C\u002Fp>\n\n\u003Cp>\n \u003Ca href=\"https:\u002F\u002Ffunaudiollm.github.io\u002Finspiremusic\" target=\"_blank\">\u003Cimg alt=\"Demo\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FDemo-InspireMusic?labelColor=%20%23FDB062&label=InspireMusic&color=%20%23f79009\">\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002FFunAudioLLM\u002FInspireMusic\" target=\"_blank\">\u003Cimg alt=\"Code\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FCode-InspireMusic?labelColor=%20%237372EB&label=InspireMusic&color=%20%235462eb\">\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002Fiic\u002FInspireMusic\" target=\"_blank\">\u003Cimg alt=\"Model\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FInspireMusic-Model-green\">\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fmodelscope.cn\u002Fstudios\u002Fiic\u002FInspireMusic\u002Fsummary\" target=\"_blank\">\u003Cimg alt=\"Space\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FSpaces-ModelScope-pink?labelColor=%20%237b8afb&label=Spaces&color=%20%230a5af8\">\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FFunAudioLLM\u002FInspireMusic\" target=\"_blank\">\u003Cimg alt=\"Space\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FHuggingFace-Spaces?labelColor=%20%239b8afb&label=Spaces&color=%20%237a5af8\">\u003C\u002Fa>\n\u003Ca href=\"http:\u002F\u002Farxiv.org\u002Fabs\u002F2503.00084\" target=\"_blank\">\u003Cimg alt=\"Paper\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-Paper-green\">\u003C\u002Fa>\n\u003C\u002Fp>\n\n![GitHub Repo stars](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FFunAudioLLM\u002FInspireMusic) Please support our community by starring it 感谢大家支持\n\n| [**Highlight**](#highlights)\n| [**Introduction**](#introduction)\n| [**Installation**](#installation)\n| [**Quick Start**](#quick-start)\n| [**Tutorial**](https:\u002F\u002Fgithub.com\u002FFunAudioLLM\u002FInspireMusic#tutorial)\n| [**Models**](#models)\n\n---\n\u003Ca name=\"highlight\">\u003C\u002Fa>\n**InspireMusic** focuses on music generation, song generation, and audio generation.\n- A unified toolkit designed for music, song, and audio generation.\n- Music generation tasks with high audio quality. \n- Long-form music generation.\n\n\u003Ca name=\"introduction\">\u003C\u002Fa>\n## Introduction\nInspireMusic is a toolkit for music, song, and audio generation. It consists of an autoregressive transformer with a flow-matching based model. This toolkit is for users to generate music, song, and audio. InspireMusic can generate high-quality music in long-form with text-to-music and music continuation. InspireMusic incorporates audio tokenizers with autoregressive transformer and flow-matching modeling to generate music, song, and audio with text and music prompts. The toolkit currently supports music generation.\n\n## InspireMusic\n\u003Cp align=\"center\">\u003Ctable>\u003Ctr>\u003Ctd style=\"text-align:center;\">\u003Cimg alt=\"Light\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FFunAudioLLM_FunMusic_readme_68c809a37ff8.png\" width=\"100%\" \u002F>\u003C\u002Ftr>\u003Ctr>\u003Ctd style=\"text-align:center;\">\nFigure 1: An overview of the InspireMusic. We introduce InspireMusic, a toolkit designed for music, song, audio generation capable of producing high-quality long-form music. InspireMusic consists of the following three key components. Audio Tokenizers convert the raw audio waveform into discrete audio tokens that can be efficiently processed and trained by the autoregressive transformer model. Audio waveform of lower sampling rate has converted to discrete tokens via a high bitrate compression audio tokenizer\u003Ca href=\"https:\u002F\u002Fopenreview.net\u002Fforum?id=yBlVlS2Fd9\" target=\"_blank\">\u003Csup>[1]\u003C\u002Fsup>\u003C\u002Fa>. Autoregressive Transformer model is based on Qwen2.5\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2412.15115\" target=\"_blank\">\u003Csup>[2]\u003C\u002Fsup>\u003C\u002Fa> as the backbone model and is trained using a next-token prediction approach on both text and audio tokens, enabling it to generate coherent and contextually relevant token sequences. The audio and text tokens are the inputs of an autoregressive model with the next token prediction to generate tokens. Super-Resolution Flow-Matching Model based on flow modeling method, maps the generated tokens to latent features with high-resolution fine-grained acoustic details\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2305.02765\" target=\"_blank\">\u003Csup>[3]\u003C\u002Fsup>\u003C\u002Fa> obtained from a higher sampling rate of audio to ensure the acoustic information flow connected with high fidelity through models. A vocoder then generates the final audio waveform from these enhanced latent features. InspireMusic supports a range of tasks including text-to-music, music continuation, music reconstruction and super resolution..\n\u003C\u002Ftd>\u003C\u002Ftr>\u003C\u002Ftable>\u003C\u002Fp>\n\n\u003Ca name=\"installation\">\u003C\u002Fa>\n## Installation\n### Clone\n- Clone the repo\n```\ngit clone --recursive https:\u002F\u002Fgithub.com\u002FFunAudioLLM\u002FInspireMusic.git\n# If you failed to clone submodule due to network failures, please run the following command until success\ncd InspireMusic\ngit submodule update --recursive\n# or you can download the third_party repo Matcha-TTS manually\ncd third_party && git clone https:\u002F\u002Fgithub.com\u002Fshivammehta25\u002FMatcha-TTS.git\n```\n\n### Install from Source\nInspireMusic requires Python>=3.8, PyTorch>=2.0.1, flash attention==2.6.2\u002F2.6.3, CUDA>=11.8. You can install the dependencies with the following commands:\n\n- Install Conda: please see https:\u002F\u002Fdocs.conda.io\u002Fen\u002Flatest\u002Fminiconda.html\n- Create Conda env:\n```\nconda create -n inspiremusic python=3.8\nconda activate inspiremusic\ncd InspireMusic\n# pynini is required by WeTextProcessing, use conda to install it as it can be executed on all platforms.\nconda install -y -c conda-forge pynini==2.1.5\npip install -r requirements.txt -i https:\u002F\u002Fmirrors.aliyun.com\u002Fpypi\u002Fsimple\u002F --trusted-host=mirrors.aliyun.com\n# install flash attention to speedup training\npip install flash-attn --no-build-isolation\n```\n\n- Install within the package:\n```\ncd InspireMusic\n# You can run to install the packages\npython setup.py install\npip install flash-attn --no-build-isolation\n```\nWe also recommend having `sox` or `ffmpeg` installed, either through your system or Anaconda:\n```\n# # Install sox\n# ubuntu\nsudo apt-get install sox libsox-dev\n# centos\nsudo yum install sox sox-devel\n\n# Install ffmpeg\n# ubuntu\nsudo apt-get install ffmpeg\n# centos\nsudo yum install ffmpeg\n```\n\n### Use Docker\nExample command to build a docker image from Dockerfile provided.\n```\ndocker build -t inspiremusic .\n```\nExample command to start the docker container in interactive mode.\n```\ndocker run -ti --gpus all -v .:\u002Fworkspace\u002FInspireMusic inspiremusic\n```\n\n### Use Docker Compose\nExample command to build a docker compose environment and docker image from the docker-compose.yml file.\n```\ndocker compose up -d --build\n```\nExample command to attach to the docker container in interactive mode.\n```\ndocker exec -ti inspire-music bash\n```\n\n\u003Ca name=\"quick-start\">\u003C\u002Fa>\n### Quick Start\nan example command for music generation infer. \n```\ncd InspireMusic\nmkdir -p pretrained_models\n\n# Download models\n# ModelScope\ngit clone https:\u002F\u002Fwww.modelscope.cn\u002Fiic\u002FInspireMusic-1.5B-Long.git pretrained_models\u002FInspireMusic-1.5B-Long\n# HuggingFace\ngit clone https:\u002F\u002Fhuggingface.co\u002FFunAudioLLM\u002FInspireMusic-1.5B-Long.git pretrained_models\u002FInspireMusic-1.5B-Long\n\ncd examples\u002Fmusic_generation\n# run a quick inference example\nsh infer_1.5b_long.sh\n```\nan example running script to run music generation task. \n```\ncd InspireMusic\u002Fexamples\u002Fmusic_generation\u002F\nsh run.sh\n```\n\n### Inference\n#### Text-to-music Task\nExample script for text-to-music task.\n```\ncd examples\u002Fmusic_generation\n# with flow matching, use one-line command to get a quick try\npython -m inspiremusic.cli.inference\n\n# custom the config like the following one-line command\npython -m inspiremusic.cli.inference --task text-to-music -m \"InspireMusic-1.5B-Long\" -g 0 -t \"Experience soothing and sensual instrumental jazz with a touch of Bossa Nova, perfect for a relaxing restaurant or spa ambiance.\" -c intro -s 0.0 -e 30.0 -r \"exp\u002Finspiremusic\" -o output -f wav \n\n# without flow matching, use one-line command to get a quick try\npython -m inspiremusic.cli.inference --task text-to-music -g 0 -t \"Experience soothing and sensual instrumental jazz with a touch of Bossa Nova, perfect for a relaxing restaurant or spa ambiance.\" --fast True\n```\n\n```\nfrom inspiremusic.cli.inference import InspireMusicModel, env_variables\nif __name__ == \"__main__\":\n  env_variables()\n  model = InspireMusicModel(model_name = \"InspireMusic-Base\")\n  model.inference(\"text-to-music\", \"Experience soothing and sensual instrumental jazz with a touch of Bossa Nova, perfect for a relaxing restaurant or spa ambiance.\")\n```\n\n#### Music Continuation Task\nExample script for music continuation task.\n```\ncd examples\u002Fmusic_generation\n# with flow matching\npython -m inspiremusic.cli.inference --task continuation -g 0 -a audio_prompt.wav\n# without flow matching\npython -m inspiremusic.cli.inference --task continuation -g 0 -a audio_prompt.wav --fast True\n```\n\n```\nfrom inspiremusic.cli.inference import InspireMusicModel\nfrom inspiremusic.cli.inference import env_variables\nif __name__ == \"__main__\":\n  env_variables()\n  model = InspireMusicModel(model_name = \"InspireMusic-Base\")\n  # just use audio prompt\n  model.inference(\"continuation\", None, \"audio_prompt.wav\")\n  # use both text prompt and audio prompt\n  model.inference(\"continuation\", \"Continue to generate jazz music.\", \"audio_prompt.wav\")\n```\n\u003Ca name=\"model\">\u003C\u002Fa>\n## Models\nYou may download our pretrained InspireMusic models for music generation.\n```\n# use git to download models，please make sure git lfs is installed.\nmkdir -p pretrained_models\ngit clone https:\u002F\u002Fwww.modelscope.cn\u002Fiic\u002FInspireMusic.git pretrained_models\u002FInspireMusic\n```\n\n### Available Models\nCurrently, we open source the music generation models support 24KHz mono and 48KHz stereo audio. \nThe table below presents the links to the ModelScope and Huggingface model hub.\n\n| Model name                           | Model Links                                                                                                                                                                                                                                                                                                                                   | Remarks                                                                                                  |\n|--------------------------------------|-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|----------------------------------------------------------------------------------------------------------|\n| InspireMusic-Base-24kHz              | [![model](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FModelScope-Model-green.svg)](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002Fiic\u002FInspireMusic-Base-24kHz\u002Fsummary) [![model](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FHuggingFace-Model-green.svg)](https:\u002F\u002Fhuggingface.co\u002FFunAudioLLM\u002FInspireMusic-Base-24kHz)                                                                        | Pre-trained Music Generation Model, 24kHz mono, 30s                                                      |\n| InspireMusic-Base                    | [![model](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FModelScope-Model-green.svg)](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002Fiic\u002FInspireMusic\u002Fsummary) [![model](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FHuggingFace-Model-green.svg)](https:\u002F\u002Fhuggingface.co\u002FFunAudioLLM\u002FInspireMusic-Base)                                                                                         | Pre-trained Music Generation Model, 48kHz, 30s                                                           |\n| InspireMusic-1.5B-24kHz              | [![model](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FModelScope-Model-green.svg)](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002Fiic\u002FInspireMusic-1.5B-24kHz\u002Fsummary) [![model](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FHuggingFace-Model-green.svg)](https:\u002F\u002Fhuggingface.co\u002FFunAudioLLM\u002FInspireMusic-1.5B-24kHz)                                                                        | Pre-trained Music Generation 1.5B Model, 24kHz mono, 30s                                                 |\n| InspireMusic-1.5B                    | [![model](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FModelScope-Model-green.svg)](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002Fiic\u002FInspireMusic-1.5B\u002Fsummary) [![model](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FHuggingFace-Model-green.svg)](https:\u002F\u002Fhuggingface.co\u002FFunAudioLLM\u002FInspireMusic-1.5B)                                                                                    | Pre-trained Music Generation 1.5B Model, 48kHz, 30s                                                      |\n| InspireMusic-1.5B-Long               | [![model](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FModelScope-Model-green.svg)](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002Fiic\u002FInspireMusic-1.5B-Long\u002Fsummary) [![model](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FHuggingFace-Model-green.svg)](https:\u002F\u002Fhuggingface.co\u002FFunAudioLLM\u002FInspireMusic-1.5B-Long)                                                                          | Pre-trained Music Generation 1.5B Model, 48kHz, support long-form music generation up to several minutes |\n| InspireSong-1.5B                     | [![model](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FModelScope-Model-lightgrey.svg)]() [![model](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FHuggingFace-Model-lightgrey.svg)]()                                                                                                                                                                                          | Pre-trained Song Generation 1.5B Model, 48kHz stereo                                                     |\n| InspireAudio-1.5B                    | [![model](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FModelScope-Model-lightgrey.svg)]() [![model](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FHuggingFace-Model-lightgrey.svg)]()                                                                                                                                                                                          | Pre-trained Audio Generation 1.5B Model, 48kHz stereo                                                    |\n| Wavtokenizer[\u003Csup>[1]\u003C\u002Fsup>](https:\u002F\u002Fopenreview.net\u002Fforum?id=yBlVlS2Fd9) (75Hz) | [![model](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FModelScope-Model-green.svg)](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002Fiic\u002FInspireMusic-1.5B-Long\u002Ffile\u002Fview\u002Fmaster?fileName=wavtokenizer%252Fmodel.pt) [![model](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FHuggingFace-Model-green.svg)](https:\u002F\u002Fhuggingface.co\u002FFunAudioLLM\u002FInspireMusic-1.5B-Long\u002Ftree\u002Fmain\u002Fwavtokenizer)       | An extreme low bitrate audio tokenizer for music with one codebook at 24kHz audio.                       |\n| Music_tokenizer (75Hz)               | [![model](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FModelScope-Model-green.svg)](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002Fiic\u002FInspireMusic-1.5B-24kHz\u002Ffile\u002Fview\u002Fmaster?fileName=music_tokenizer%252Fmodel.pt) [![model](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FHuggingFace-Model-green.svg)](https:\u002F\u002Fhuggingface.co\u002FFunAudioLLM\u002FInspireMusic-1.5B-24kHz\u002Ftree\u002Fmain\u002Fmusic_tokenizer) | A music tokenizer based on HifiCodec\u003Csup>[3]\u003C\u002Fsup> at 24kHz audio.                                       |\n| Music_tokenizer (150Hz)              | [![model](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FModelScope-Model-green.svg)](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002Fiic\u002FInspireMusic-1.5B-Long\u002Ffile\u002Fview\u002Fmaster?fileName=music_tokenizer%252Fmodel.pt) [![model](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FHuggingFace-Model-green.svg)](https:\u002F\u002Fhuggingface.co\u002FFunAudioLLM\u002FInspireMusic-1.5B-Long\u002Ftree\u002Fmain\u002Fmusic_tokenizer) | A music tokenizer based on HifiCodec\u003Csup>[3]\u003C\u002Fsup> at 48kHz audio.                                       |\n\n\u003Ca name=\"tutorial\">\u003C\u002Fa>\n## Basic Usage\nAt the moment, InspireMusic contains the training and inference codes for [music generation](https:\u002F\u002Fgithub.com\u002FFunAudioLLM\u002FInspireMusic\u002Ftree\u002Fmain\u002Fexamples\u002Fmusic_generation). \n\n### Training\nan example to train LLM model, support BF16\u002FFP16 training. \n```\ntorchrun --nnodes=1 --nproc_per_node=8 \\\n    --rdzv_id=1024 --rdzv_backend=\"c10d\" --rdzv_endpoint=\"localhost:0\" \\\n    inspiremusic\u002Fbin\u002Ftrain.py \\\n    --train_engine \"torch_ddp\" \\\n    --config conf\u002Finspiremusic.yaml \\\n    --train_data data\u002Ftrain.data.list \\\n    --cv_data data\u002Fdev.data.list \\\n    --model llm \\\n    --model_dir `pwd`\u002Fexp\u002Fmusic_generation\u002Fllm\u002F \\\n    --tensorboard_dir `pwd`\u002Ftensorboard\u002Fmusic_generation\u002Fllm\u002F \\\n    --ddp.dist_backend \"nccl\" \\\n    --num_workers 8 \\\n    --prefetch 100 \\\n    --pin_memory \\\n    --deepspeed_config .\u002Fconf\u002Fds_stage2.json \\\n    --deepspeed.save_states model+optimizer \\\n    --fp16\n```\nan example code to train flow matching model, does not support FP16 training.\n```\ntorchrun --nnodes=1 --nproc_per_node=8 \\\n    --rdzv_id=1024 --rdzv_backend=\"c10d\" --rdzv_endpoint=\"localhost:0\" \\\n    inspiremusic\u002Fbin\u002Ftrain.py \\\n    --train_engine \"torch_ddp\" \\\n    --config conf\u002Finspiremusic.yaml \\\n    --train_data data\u002Ftrain.data.list \\\n    --cv_data data\u002Fdev.data.list \\\n    --model flow \\\n    --model_dir `pwd`\u002Fexp\u002Fmusic_generation\u002Fflow\u002F \\\n    --tensorboard_dir `pwd`\u002Ftensorboard\u002Fmusic_generation\u002Fflow\u002F \\\n    --ddp.dist_backend \"nccl\" \\\n    --num_workers 8 \\\n    --prefetch 100 \\\n    --pin_memory \\\n    --deepspeed_config .\u002Fconf\u002Fds_stage2.json \\\n    --deepspeed.save_states model+optimizer\n```\n\n### Inference\n\nAn example script to quickly do model inference.\n```\ncd InspireMusic\u002Fexamples\u002Fmusic_generation\u002F\nsh infer.sh\n```\nan example code to run inference with normal mode, i.e., with flow matching model for text-to-music and music continuation tasks.\n```\npretrained_model_dir = \"pretrained_models\u002FInspireMusic\u002F\"\nfor task in 'text-to-music' 'continuation'; do\n  python inspiremusic\u002Fbin\u002Finference.py --task $task \\\n      --gpu 0 \\\n      --config conf\u002Finspiremusic.yaml \\\n      --prompt_data data\u002Ftest\u002Fparquet\u002Fdata.list \\\n      --flow_model $pretrained_model_dir\u002Fflow.pt \\\n      --llm_model $pretrained_model_dir\u002Fllm.pt \\\n      --music_tokenizer $pretrained_model_dir\u002Fmusic_tokenizer \\\n      --wavtokenizer $pretrained_model_dir\u002Fwavtokenizer \\\n      --result_dir `pwd`\u002Fexp\u002Finspiremusic\u002F${task}_test \\\n      --chorus verse \ndone\n```\nHere is an example code to run inference with fast mode, i.e., without flow matching model for text-to-music and music continuation tasks.\n```\npretrained_model_dir = \"pretrained_models\u002FInspireMusic\u002F\"\nfor task in 'text-to-music' 'continuation'; do\n  python inspiremusic\u002Fbin\u002Finference.py --task $task \\\n      --gpu 0 \\\n      --config conf\u002Finspiremusic.yaml \\\n      --prompt_data data\u002Ftest\u002Fparquet\u002Fdata.list \\\n      --flow_model $pretrained_model_dir\u002Fflow.pt \\\n      --llm_model $pretrained_model_dir\u002Fllm.pt \\\n      --music_tokenizer $pretrained_model_dir\u002Fmusic_tokenizer \\\n      --wavtokenizer $pretrained_model_dir\u002Fwavtokenizer \\\n      --result_dir `pwd`\u002Fexp\u002Finspiremusic\u002F${task}_test \\\n      --chorus verse \\\n      --fast \ndone\n```\n\n\n## Roadmap\n-  2024\u002F12\n  -  75Hz InspireMusic-Base model for music generation\n    \n-  2025\u002F01\n    -  Support to generate 48kHz\n    -  75Hz InspireMusic-1.5B model for music generation\n    -  75Hz InspireMusic-1.5B-Long model for long-form music generation\n\n-  2025\u002F02\n    -  Release technical report\n\n-  Future work\n - InspireAudio model for audio generation\n - InspireSong model for song generation\n - Support multilingual generation\n\n## Citation\n```\n@inproceedings{InspireMusic2025,\n      title={InspireMusic: Integrating Super Resolution and Large Language Model for High-Fidelity Long-Form Music Generation}, \n      author={Chong Zhang and Yukun Ma and Qian Chen and Wen Wang and Shengkui Zhao and Zexu Pan and Hao Wang and Chongjia Ni and Trung Hieu Nguyen and Kun Zhou and Yidi Jiang and Chaohong Tan and Zhifu Gao and Zhihao Du and Bin Ma},\n      year={2025},\n      eprint={2503.00084},\n      archivePrefix={arXiv},\n      primaryClass={cs.SD},\n      url={https:\u002F\u002Farxiv.org\u002Fabs\u002F2503.00084}, \n}\n```\n\n## Acknowledgement\n1. codes from CosyVoice, WavTokenizer，AcademiCodec，FunASR， FunCodec， Matcha-TTS，WeNet.\n\n## Disclaimer\nThe content provided above is for research purposes only.\n","\u003Cp> \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FFunAudioLLM\u002FInspireMusic\" target=\"_blank\"> \u003Cimg alt=\"logo\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FFunAudioLLM_FunMusic_readme_d0bd05ef26fc.png\" width=\"100%\">\u003C\u002Fa>\u003C\u002Fp>\n\n\u003Cp>\n \u003Ca href=\"https:\u002F\u002Ffunaudiollm.github.io\u002Finspiremusic\" target=\"_blank\">\u003Cimg alt=\"Demo\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FDemo-InspireMusic?labelColor=%20%23FDB062&label=InspireMusic&color=%20%23f79009\">\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002FFunAudioLLM\u002FInspireMusic\" target=\"_blank\">\u003Cimg alt=\"Code\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FCode-InspireMusic?labelColor=%20%237372EB&label=InspireMusic&color=%20%235462eb\">\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002Fiic\u002FInspireMusic\" target=\"_blank\">\u003Cimg alt=\"Model\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FInspireMusic-Model-green\">\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fmodelscope.cn\u002Fstudios\u002Fiic\u002FInspireMusic\u002Fsummary\" target=\"_blank\">\u003Cimg alt=\"Space\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FSpaces-ModelScope-pink?labelColor=%20%237b8afb&label=Spaces&color=%20%230a5af8\">\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FFunAudioLLM\u002FInspireMusic\" target=\"_blank\">\u003Cimg alt=\"Space\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FHuggingFace-Spaces?labelColor=%20%239b8afb&label=Spaces&color=%20%237a5af8\">\u003C\u002Fa>\n\u003Ca href=\"http:\u002F\u002Farxiv.org\u002Fabs\u002F2503.00084\" target=\"_blank\">\u003Cimg alt=\"Paper\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-Paper-green\">\u003C\u002Fa>\n\u003C\u002Fp>\n\n![GitHub Repo stars](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FFunAudioLLM\u002FInspireMusic) 请通过点赞支持我们的社区，感谢大家的支持\n\n| [**亮点**](#highlights)\n| [**简介**](#introduction)\n| [**安装**](#installation)\n| [**快速入门**](#quick-start)\n| [**教程**](https:\u002F\u002Fgithub.com\u002FFunAudioLLM\u002FInspireMusic#tutorial)\n| [**模型**](#models)\n\n---\n\u003Ca name=\"highlight\">\u003C\u002Fa>\n**InspireMusic** 专注于音乐生成、歌曲生成和音频生成。\n- 一个专为音乐、歌曲和音频生成设计的统一工具包。\n- 高音质的音乐生成任务。\n- 长篇幅音乐生成。\n\n\u003Ca name=\"introduction\">\u003C\u002Fa>\n## 简介\nInspireMusic 是一款用于音乐、歌曲和音频生成的工具包。它由一个基于流匹配模型的自回归变压器组成。该工具包旨在帮助用户生成音乐、歌曲和音频。InspireMusic 可以通过文本转音乐和音乐续写功能生成高质量的长篇幅音乐。InspireMusic 结合了音频分词器与自回归变压器及流匹配建模技术，能够根据文本和音乐提示生成音乐、歌曲和音频。目前，该工具包主要支持音乐生成任务。\n\n## InspireMusic\n\u003Cp align=\"center\">\u003Ctable>\u003Ctr>\u003Ctd style=\"text-align:center;\">\u003Cimg alt=\"Light\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FFunAudioLLM_FunMusic_readme_68c809a37ff8.png\" width=\"100%\" \u002F>\u003C\u002Ftr>\u003Ctr>\u003Ctd style=\"text-align:center;\">\n图1：InspireMusic 的概览。我们介绍 InspireMusic，这是一款专为音乐、歌曲和音频生成设计的工具包，能够生成高质量的长篇幅音乐。InspireMusic 由以下三个关键组件构成。音频分词器将原始音频波形转换为离散的音频标记，这些标记可以被自回归变压器模型高效地处理和训练。低采样率的音频波形通过高比特率压缩的音频分词器被转换为离散标记\u003Ca href=\"https:\u002F\u002Fopenreview.net\u002Fforum?id=yBlVlS2Fd9\" target=\"_blank\">\u003Csup>[1]\u003C\u002Fsup>\u003C\u002Fa>。自回归变压器模型以 Qwen2.5\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2412.15115\" target=\"_blank\">\u003Csup>[2]\u003C\u002Fsup>\u003C\u002Fa>为基础，并采用基于文本和音频标记的下一个标记预测方法进行训练，从而能够生成连贯且符合上下文的标记序列。音频和文本标记作为输入进入自回归模型，通过预测下一个标记来生成新的标记。超分辨率流匹配模型基于流建模方法，将生成的标记映射到具有高分辨率精细声学细节的潜在特征中\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2305.02765\" target=\"_blank\">\u003Csup>[3]\u003C\u002Fsup>\u003C\u002Fa>,这些特征来自更高采样率的音频，以确保声学信息在模型之间以高保真度传递。随后，声码器会根据这些增强的潜在特征生成最终的音频波形。InspireMusic 支持一系列任务，包括文本转音乐、音乐续写、音乐重建和超分辨率等。\n\u003C\u002Ftd>\u003C\u002Ftr>\u003C\u002Ftable>\u003C\u002Fp>\n\n\u003Ca name=\"installation\">\u003C\u002Fa>\n## 安装\n### 克隆\n- 克隆仓库\n```\ngit clone --recursive https:\u002F\u002Fgithub.com\u002FFunAudioLLM\u002FInspireMusic.git\n# 如果因网络问题无法克隆子模块，请重复执行以下命令直至成功\ncd InspireMusic\ngit submodule update --recursive\n# 或者您可以手动下载第三方库 Matcha-TTS\ncd third_party && git clone https:\u002F\u002Fgithub.com\u002Fshivammehta25\u002FMatcha-TTS.git\n```\n\n### 从源代码安装\nInspireMusic 需要 Python>=3.8、PyTorch>=2.0.1、flash attention==2.6.2\u002F2.6.3 以及 CUDA>=11.8。您可以通过以下命令安装依赖项：\n\n- 安装 Conda：请参阅 https:\u002F\u002Fdocs.conda.io\u002Fen\u002Flatest\u002Fminiconda.html\n- 创建 Conda 环境：\n```\nconda create -n inspiremusic python=3.8\nconda activate inspiremusic\ncd InspireMusic\n# pynini 是 WeTextProcessing 所需的库，建议使用 Conda 安装，因为它可以在所有平台上运行。\nconda install -y -c conda-forge pynini==2.1.5\npip install -r requirements.txt -i https:\u002F\u002Fmirrors.aliyun.com\u002Fpypi\u002Fsimple\u002F --trusted-host=mirrors.aliyun.com\n# 安装 flash attention 以加速训练\npip install flash-attn --no-build-isolation\n```\n\n- 在软件包内安装：\n```\ncd InspireMusic\n# 您可以运行以下命令安装软件包\npython setup.py install\npip install flash-attn --no-build-isolation\n```\n\n我们还建议您安装 `sox` 或 `ffmpeg`，可以通过系统或 Anaconda 进行安装：\n```\n# # 安装 sox\n# ubuntu\nsudo apt-get install sox libsox-dev\n# centos\nsudo yum install sox sox-devel\n\n# 安装 ffmpeg\n# ubuntu\nsudo apt-get install ffmpeg\n# centos\nsudo yum install ffmpeg\n```\n\n### 使用 Docker\n以下是从提供的 Dockerfile 构建 Docker 镜像的示例命令：\n```\ndocker build -t inspiremusic .\n```\n\n以下是在交互模式下启动 Docker 容器的示例命令：\n```\ndocker run -ti --gpus all -v .:\u002Fworkspace\u002FInspireMusic inspiremusic\n```\n\n### 使用 Docker Compose\n以下是从 docker-compose.yml 文件构建 Docker Compose 环境和 Docker 镜像的示例命令：\n```\ndocker compose up -d --build\n```\n\n以下是在交互模式下连接到 Docker 容器的示例命令：\n```\ndocker exec -ti inspire-music bash\n```\n\n\u003Ca name=\"quick-start\">\u003C\u002Fa>\n### 快速入门\n以下是音乐生成推理的示例命令：\n```\ncd InspireMusic\nmkdir -p pretrained_models\n\n# 下载模型\n# ModelScope\ngit clone https:\u002F\u002Fwww.modelscope.cn\u002Fiic\u002FInspireMusic-1.5B-Long.git pretrained_models\u002FInspireMusic-1.5B-Long\n# HuggingFace\ngit clone https:\u002F\u002Fhuggingface.co\u002FFunAudioLLM\u002FInspireMusic-1.5B-Long.git pretrained_models\u002FInspireMusic-1.5B-Long\n\ncd examples\u002Fmusic_generation\n\n# 运行一个快速推理示例\nsh infer_1.5b_long.sh\n```\n一个用于运行音乐生成任务的示例脚本。\n```\ncd InspireMusic\u002Fexamples\u002Fmusic_generation\u002F\nsh run.sh\n```\n\n### 推理\n#### 文本到音乐任务\n文本到音乐任务的示例脚本。\n```\ncd examples\u002Fmusic_generation\n# 使用流匹配，可通过一行命令快速试用\npython -m inspiremusic.cli.inference\n\n# 自定义配置，例如以下一行命令\npython -m inspiremusic.cli.inference --task text-to-music -m \"InspireMusic-1.5B-Long\" -g 0 -t \"体验舒缓而感性的器乐爵士乐，带有波萨诺瓦风情，非常适合轻松的餐厅或水疗中心氛围。\" -c intro -s 0.0 -e 30.0 -r \"exp\u002Finspiremusic\" -o output -f wav \n\n# 不使用流匹配，可通过一行命令快速试用\npython -m inspiremusic.cli.inference --task text-to-music -g 0 -t \"体验舒缓而感性的器乐爵士乐，带有波萨诺瓦风情，非常适合轻松的餐厅或水疗中心氛围。\" --fast True\n```\n\n```\nfrom inspiremusic.cli.inference import InspireMusicModel, env_variables\nif __name__ == \"__main__\":\n  env_variables()\n  model = InspireMusicModel(model_name = \"InspireMusic-Base\")\n  model.inference(\"text-to-music\", \"体验舒缓而感性的器乐爵士乐，带有波萨诺瓦风情，非常适合轻松的餐厅或水疗中心氛围。\")\n```\n\n#### 音乐续写任务\n音乐续写任务的示例脚本。\n```\ncd examples\u002Fmusic_generation\n# 使用流匹配\npython -m inspiremusic.cli.inference --task continuation -g 0 -a audio_prompt.wav\n# 不使用流匹配\npython -m inspiremusic.cli.inference --task continuation -g 0 -a audio_prompt.wav --fast True\n```\n\n```\nfrom inspiremusic.cli.inference import InspireMusicModel\nfrom inspiremusic.cli.inference import env_variables\nif __name__ == \"__main__\":\n  env_variables()\n  model = InspireMusicModel(model_name = \"InspireMusic-Base\")\n  # 仅使用音频提示\n  model.inference(\"continuation\", None, \"audio_prompt.wav\")\n  # 同时使用文本提示和音频提示\n  model.inference(\"continuation\", \"继续生成爵士乐。\", \"audio_prompt.wav\")\n```\n\u003Ca name=\"model\">\u003C\u002Fa>\n## 模型\n您可以下载我们用于音乐生成的预训练 InspireMusic 模型。\n```\n# 使用 git 下载模型，请确保已安装 git lfs。\nmkdir -p pretrained_models\ngit clone https:\u002F\u002Fwww.modelscope.cn\u002Fiic\u002FInspireMusic.git pretrained_models\u002FInspireMusic\n```\n\n### 可用模型\n目前，我们开源的音乐生成模型支持24KHz单声道和48KHz立体声音频。下表列出了ModelScope和Huggingface模型库中的链接。\n\n| 模型名称                           | 模型链接                                                                                                                                                                                                                                                                                                                                   | 备注                                                                                                  |\n|--------------------------------------|-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|----------------------------------------------------------------------------------------------------------|\n| InspireMusic-Base-24kHz              | [![model](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FModelScope-Model-green.svg)](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002Fiic\u002FInspireMusic-Base-24kHz\u002Fsummary) [![model](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FHuggingFace-Model-green.svg)](https:\u002F\u002Fhuggingface.co\u002FFunAudioLLM\u002FInspireMusic-Base-24kHz)                                                                        | 预训练音乐生成模型，24kHz单声道，30秒                                                      |\n| InspireMusic-Base                    | [![model](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FModelScope-Model-green.svg)](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002Fiic\u002FInspireMusic\u002Fsummary) [![model](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FHuggingFace-Model-green.svg)](https:\u002F\u002Fhuggingface.co\u002FFunAudioLLM\u002FInspireMusic-Base)                                                                                         | 预训练音乐生成模型，48kHz，30秒                                                           |\n| InspireMusic-1.5B-24kHz              | [![model](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FModelScope-Model-green.svg)](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002Fiic\u002FInspireMusic-1.5B-24kHz\u002Fsummary) [![model](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FHuggingFace-Model-green.svg)](https:\u002F\u002Fhuggingface.co\u002FFunAudioLLM\u002FInspireMusic-1.5B-24kHz)                                                                        | 预训练音乐生成1.5B模型，24kHz单声道，30秒                                                 |\n| InspireMusic-1.5B                    | [![model](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FModelScope-Model-green.svg)](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002Fiic\u002FInspireMusic-1.5B\u002Fsummary) [![model](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FHuggingFace-Model-green.svg)](https:\u002F\u002Fhuggingface.co\u002FFunAudioLLM\u002FInspireMusic-1.5B)                                                                                    | 预训练音乐生成1.5B模型，48kHz，30s                                                      |\n| InspireMusic-1.5B-Long               | [![model](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FModelScope-Model-green.svg)](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002Fiic\u002FInspireMusic-1.5B-Long\u002Fsummary) [![model](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FHuggingFace-Model-green.svg)](https:\u002F\u002Fhuggingface.co\u002FFunAudioLLM\u002FInspireMusic-1.5B-Long)                                                                          | 预训练音乐生成1.5B模型，48kHz，支持长达数分钟的长格式音乐生成 |\n| InspireSong-1.5B                     | [![model](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FModelScope-Model-lightgrey.svg)]() [![model](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FHuggingFace-Model-lightgrey.svg)]()                                                                                                                                                                                          | 预训练歌曲生成1.5B模型，48kHz立体声                                                     |\n| InspireAudio-1.5B                    | [![model](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FModelScope-Model-lightgrey.svg)]() [![model](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FHuggingFace-Model-lightgrey.svg)]()                                                                                                                                                                                          | 预训练音频生成1.5B模型，48kHz立体声                                                    |\n| Wavtokenizer[\u003Csup>[1]\u003C\u002Fsup>](https:\u002F\u002Fopenreview.net\u002Fforum?id=yBlVlS2Fd9) (75Hz) | [![model](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FModelScope-Model-green.svg)](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002Fiic\u002FInspireMusic-1.5B-Long\u002Ffile\u002Fview\u002Fmaster?fileName=wavtokenizer%252Fmodel.pt) [![model](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FHuggingFace-Model-green.svg)](https:\u002F\u002Fhuggingface.co\u002FFunAudioLLM\u002FInspireMusic-1.5B-Long\u002Ftree\u002Fmain\u002Fwavtokenizer)       | 一种用于音乐的极低比特率音频分词器，采用24kHz音频下的单一码本。                       |\n| Music_tokenizer (75Hz)               | [![model](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FModelScope-Model-green.svg)](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002Fiic\u002FInspireMusic-1.5B-24kHz\u002Ffile\u002Fview\u002Fmaster?fileName=music_tokenizer%252Fmodel.pt) [![model](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FHuggingFace-Model-green.svg)](https:\u002F\u002Fhuggingface.co\u002FFunAudioLLM\u002FInspireMusic-1.5B-24kHz\u002Ftree\u002Fmain\u002Fmusic_tokenizer) | 基于HifiCodec\u003Csup>[3]\u003C\u002Fsup>的音乐分词器，适用于24kHz音频。                                       |\n| Music_tokenizer (150Hz)              | [![model](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FModelScope-Model-green.svg)](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002Fiic\u002FInspireMusic-1.5B-Long\u002Ffile\u002Fview\u002Fmaster?fileName=music_tokenizer%252Fmodel.pt) [![model](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FHuggingFace-Model-green.svg)](https:\u002F\u002Fhuggingface.co\u002FFunAudioLLM\u002FInspireMusic-1.5B-Long\u002Ftree\u002Fmain\u002Fmusic_tokenizer) | 基于HifiCodec\u003Csup>[3]\u003C\u002Fsup>的音乐分词器，适用于48kHz音频。                                       |\n\n\u003Ca name=\"tutorial\">\u003C\u002Fa>\n## 基本使用\n目前，InspireMusic包含[音乐生成](https:\u002F\u002Fgithub.com\u002FFunAudioLLM\u002FInspireMusic\u002Ftree\u002Fmain\u002Fexamples\u002Fmusic_generation)的训练与推理代码。\n\n### 训练\n以下是一个训练大语言模型的示例，支持 BF16\u002FFP16 精度训练。\n```\ntorchrun --nnodes=1 --nproc_per_node=8 \\\n    --rdzv_id=1024 --rdzv_backend=\"c10d\" --rdzv_endpoint=\"localhost:0\" \\\n    inspiremusic\u002Fbin\u002Ftrain.py \\\n    --train_engine \"torch_ddp\" \\\n    --config conf\u002Finspiremusic.yaml \\\n    --train_data data\u002Ftrain.data.list \\\n    --cv_data data\u002Fdev.data.list \\\n    --model llm \\\n    --model_dir `pwd`\u002Fexp\u002Fmusic_generation\u002Fllm\u002F \\\n    --tensorboard_dir `pwd`\u002Ftensorboard\u002Fmusic_generation\u002Fllm\u002F \\\n    --ddp.dist_backend \"nccl\" \\\n    --num_workers 8 \\\n    --prefetch 100 \\\n    --pin_memory \\\n    --deepspeed_config .\u002Fconf\u002Fds_stage2.json \\\n    --deepspeed.save_states model+optimizer \\\n    --fp16\n```\n以下是一个训练流匹配模型的示例代码，不支持 FP16 精度训练。\n```\ntorchrun --nnodes=1 --nproc_per_node=8 \\\n    --rdzv_id=1024 --rdzv_backend=\"c10d\" --rdzv_endpoint=\"localhost:0\" \\\n    inspiremusic\u002Fbin\u002Ftrain.py \\\n    --train_engine \"torch_ddp\" \\\n    --config conf\u002Finspiremusic.yaml \\\n    --train_data data\u002Ftrain.data.list \\\n    --cv_data data\u002Fdev.data.list \\\n    --model flow \\\n    --model_dir `pwd`\u002Fexp\u002Fmusic_generation\u002Fflow\u002F \\\n    --tensorboard_dir `pwd`\u002Ftensorboard\u002Fmusic_generation\u002Fflow\u002F \\\n    --ddp.dist_backend \"nccl\" \\\n    --num_workers 8 \\\n    --prefetch 100 \\\n    --pin_memory \\\n    --deepspeed_config .\u002Fconf\u002Fds_stage2.json \\\n    --deepspeed.save_states model+optimizer\n```\n\n### 推理\n\n以下是一个快速进行模型推理的示例脚本。\n```\ncd InspireMusic\u002Fexamples\u002Fmusic_generation\u002F\nsh infer.sh\n```\n以下是一个以普通模式运行推理的示例代码，即使用流匹配模型进行文本到音乐和音乐续写任务。\n```\npretrained_model_dir = \"pretrained_models\u002FInspireMusic\u002F\"\nfor task in 'text-to-music' 'continuation'; do\n  python inspiremusic\u002Fbin\u002Finference.py --task $task \\\n      --gpu 0 \\\n      --config conf\u002Finspiremusic.yaml \\\n      --prompt_data data\u002Ftest\u002Fparquet\u002Fdata.list \\\n      --flow_model $pretrained_model_dir\u002Fflow.pt \\\n      --llm_model $pretrained_model_dir\u002Fllm.pt \\\n      --music_tokenizer $pretrained_model_dir\u002Fmusic_tokenizer \\\n      --wavtokenizer $pretrained_model_dir\u002Fwavtokenizer \\\n      --result_dir `pwd`\u002Fexp\u002Finspiremusic\u002F${task}_test \\\n      --chorus verse \ndone\n```\n以下是一个以快速模式运行推理的示例代码，即在文本到音乐和音乐续写任务中不使用流匹配模型。\n```\npretrained_model_dir = \"pretrained_models\u002FInspireMusic\u002F\"\nfor task in 'text-to-music' 'continuation'; do\n  python inspiremusic\u002Fbin\u002Finference.py --task $task \\\n      --gpu 0 \\\n      --config conf\u002Finspiremusic.yaml \\\n      --prompt_data data\u002Ftest\u002Fparquet\u002Fdata.list \\\n      --flow_model $pretrained_model_dir\u002Fflow.pt \\\n      --llm_model $pretrained_model_dir\u002Fllm.pt \\\n      --music_tokenizer $pretrained_model_dir\u002Fmusic_tokenizer \\\n      --wavtokenizer $pretrained_model_dir\u002Fwavtokenizer \\\n      --result_dir `pwd`\u002Fexp\u002Finspiremusic\u002F${task}_test \\\n      --chorus verse \\\n      --fast \ndone\n```\n\n\n## 路线图\n-  2024年12月\n  -  75Hz InspireMusic-Base 模型用于音乐生成\n  \n-  2025年1月\n    -  支持生成 48kHz 音频\n    -  75Hz InspireMusic-1.5B 模型用于音乐生成\n    -  75Hz InspireMusic-1.5B-Long 模型用于长音频音乐生成\n\n-  2025年2月\n    -  发布技术报告\n\n-  未来工作\n -  InspireAudio 模型用于音频生成\n -  InspireSong 模型用于歌曲生成\n -  支持多语言生成\n\n## 引用\n```\n@inproceedings{InspireMusic2025,\n      title={InspireMusic: Integrating Super Resolution and Large Language Model for High-Fidelity Long-Form Music Generation}, \n      author={Chong Zhang and Yukun Ma and Qian Chen and Wen Wang and Shengkui Zhao and Zexu Pan and Hao Wang and Chongjia Ni and Trung Hieu Nguyen and Kun Zhou and Yidi Jiang and Chaohong Tan and Zhifu Gao and Zhihao Du and Bin Ma},\n      year={2025},\n      eprint={2503.00084},\n      archivePrefix={arXiv},\n      primaryClass={cs.SD},\n      url={https:\u002F\u002Farxiv.org\u002Fabs\u002F2503.00084}, \n}\n```\n\n## 致谢\n1. 来自 CosyVoice、WavTokenizer、AcademiCodec、FunASR、FunCodec、Matcha-TTS 和 WeNet 的代码。\n\n## 免责声明\n以上内容仅用于研究目的。","# InspireMusic 快速上手指南\n\nInspireMusic 是一个专注于音乐、歌曲和音频生成的统一工具包，支持高质量长文本生成音乐（Text-to-Music）及音乐续写（Music Continuation）。\n\n## 1. 环境准备\n\n**系统要求：**\n*   Python >= 3.8\n*   PyTorch >= 2.0.1\n*   CUDA >= 11.8\n*   Flash Attention == 2.6.2\u002F2.6.3\n\n**前置依赖安装：**\n建议通过 Conda 创建独立环境，并安装系统级音频处理工具 `sox` 或 `ffmpeg`。\n\n```bash\n# 创建并激活 Conda 环境\nconda create -n inspiremusic python=3.8\nconda activate inspiremusic\n\n# 安装 pynini (WeTextProcessing 依赖)\nconda install -y -c conda-forge pynini==2.1.5\n\n# 安装系统级音频工具 (以 Ubuntu 为例)\nsudo apt-get install sox libsox-dev ffmpeg\n# CentOS 用户请使用: sudo yum install sox sox-devel ffmpeg\n```\n\n## 2. 安装步骤\n\n### 2.1 克隆代码库\n```bash\ngit clone --recursive https:\u002F\u002Fgithub.com\u002FFunAudioLLM\u002FInspireMusic.git\ncd InspireMusic\n\n# 如果因网络问题导致子模块克隆失败，请执行以下命令重试\ngit submodule update --recursive\n```\n\n### 2.2 安装 Python 依赖\n推荐使用阿里云镜像源加速下载，并单独安装 Flash Attention 以加速推理。\n\n```bash\n# 安装基础依赖\npip install -r requirements.txt -i https:\u002F\u002Fmirrors.aliyun.com\u002Fpypi\u002Fsimple\u002F --trusted-host=mirrors.aliyun.com\n\n# 安装 Flash Attention\npip install flash-attn --no-build-isolation\n\n# (可选) 将包安装到环境中\npython setup.py install\n```\n\n> **提示**：也可以使用 Docker 快速部署：\n> ```bash\n> docker build -t inspiremusic .\n> docker run -ti --gpus all -v .:\u002Fworkspace\u002FInspireMusic inspiremusic\n> ```\n\n## 3. 基本使用\n\n### 3.1 下载预训练模型\n推荐从 ModelScope（魔搭社区）下载模型，国内访问速度更快。此处以 `InspireMusic-1.5B-Long` 为例。\n\n```bash\nmkdir -p pretrained_models\n# 从 ModelScope 下载\ngit clone https:\u002F\u002Fwww.modelscope.cn\u002Fiic\u002FInspireMusic-1.5B-Long.git pretrained_models\u002FInspireMusic-1.5B-Long\n```\n\n### 3.2 快速推理示例\n\n#### 方式一：命令行一键生成 (Text-to-Music)\n进入示例目录并运行脚本，或使用以下单行命令进行自定义生成。\n\n```bash\ncd examples\u002Fmusic_generation\n\n# 简单尝试 (包含流匹配 Flow Matching，质量更高)\npython -m inspiremusic.cli.inference\n\n# 自定义参数生成\n# -t: 文本提示, -c: 片段类型, -s\u002F-e: 起止时间, -o: 输出目录\npython -m inspiremusic.cli.inference --task text-to-music -m \"InspireMusic-1.5B-Long\" -g 0 -t \"Experience soothing and sensual instrumental jazz with a touch of Bossa Nova, perfect for a relaxing restaurant or spa ambiance.\" -c intro -s 0.0 -e 30.0 -r \"exp\u002Finspiremusic\" -o output -f wav \n\n# 快速模式 (不包含流匹配，速度更快)\npython -m inspiremusic.cli.inference --task text-to-music -g 0 -t \"Experience soothing and sensual instrumental jazz with a touch of Bossa Nova, perfect for a relaxing restaurant or spa ambiance.\" --fast True\n```\n\n#### 方式二：Python 代码调用\n\n```python\nfrom inspiremusic.cli.inference import InspireMusicModel, env_variables\n\nif __name__ == \"__main__\":\n  env_variables()\n  # 初始化模型，可选择 InspireMusic-Base 或 InspireMusic-1.5B-Long 等\n  model = InspireMusicModel(model_name = \"InspireMusic-Base\")\n  \n  # 执行文生音乐任务\n  model.inference(\"text-to-music\", \"Experience soothing and sensual instrumental jazz with a touch of Bossa Nova, perfect for a relaxing restaurant or spa ambiance.\")\n```\n\n#### 方式三：音乐续写 (Music Continuation)\n基于已有的音频片段继续生成音乐。\n\n```bash\ncd examples\u002Fmusic_generation\n\n# 仅使用音频提示\npython -m inspiremusic.cli.inference --task continuation -g 0 -a audio_prompt.wav\n\n# 同时使用文本和音频提示\npython -m inspiremusic.cli.inference --task continuation -g 0 -a audio_prompt.wav --fast True\n```\n\n**Python API 调用续写任务：**\n```python\nfrom inspiremusic.cli.inference import InspireMusicModel, env_variables\n\nif __name__ == \"__main__\":\n  env_variables()\n  model = InspireMusicModel(model_name = \"InspireMusic-Base\")\n  \n  # 仅使用音频提示\n  model.inference(\"continuation\", None, \"audio_prompt.wav\")\n  \n  # 使用文本+音频提示\n  model.inference(\"continuation\", \"Continue to generate jazz music.\", \"audio_prompt.wav\")\n```","独立游戏开发者李明正在为一款古风解谜游戏制作背景音乐，他需要一段长达 3 分钟的连贯曲目，且需根据剧情转折动态调整旋律情绪，以增强玩家的沉浸感。\n\n### 没有 FunMusic 时\n- **版权与成本高昂**：购买商用免版税音乐库授权费用昂贵，且难以找到完全契合“悬疑转温馨”特定情绪变化的现成曲目。\n- **创作门槛极高**：若尝试自行作曲，李明缺乏专业的乐理知识和乐器演奏能力，学习成本和时间投入远超开发预算。\n- **音频连贯性差**：使用简单的音频拼接工具将短片段组合成长音乐时，过渡处常出现明显的断裂或节奏不匹配，破坏游戏体验。\n- **迭代效率低下**：每次修改旋律细节都需要重新录制或聘请作曲家沟通，反馈周期长，无法配合敏捷开发的快速迭代节奏。\n\n### 使用 FunMusic 后\n- **低成本定制生成**：李明只需输入“古筝起始，逐渐融入笛声，情绪由紧张转为舒缓”等文本提示，FunMusic 即可生成高质量、无版权纠纷的原创音乐。\n- **零门槛专业产出**：依托内置的 Qwen2.5 自回归 Transformer 模型，即使不懂乐理，也能通过自然语言描述精准控制音乐风格和乐器配置。\n- **长篇幅无缝衔接**：利用其长形式音乐生成能力，FunMusic 能一次性输出结构完整、逻辑连贯的 3 分钟曲目，彻底消除人工拼接的生硬感。\n- **实时灵活迭代**：基于音乐续写功能，李明可针对特定段落调整提示词并快速重新生成，几分钟内即可完成多种版本的对比与选择，极大加速开发流程。\n\nFunMusic 将专业级音乐创作能力 democratize，让非音乐背景的开发者也能以极低边际成本获得高保真、长篇幅的定制化音频资源，显著提升内容生产效率。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FFunAudioLLM_FunMusic_d0bd05ef.png","FunAudioLLM","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FFunAudioLLM_a46ce040.png",null,"https:\u002F\u002Fgithub.com\u002FFunAudioLLM",[81,85],{"name":82,"color":83,"percentage":84},"Python","#3572A5",99.9,{"name":86,"color":87,"percentage":88},"Dockerfile","#384d54",0.1,1330,134,"2026-04-02T07:06:39","Apache-2.0","Linux","必需 NVIDIA GPU，支持 CUDA>=11.8，需安装 flash-attn (2.6.2\u002F2.6.3)","未说明",{"notes":97,"python":98,"dependencies":99},"1. 官方安装指南主要基于 Linux (Ubuntu\u002FCentOS)，Windows 支持未明确提及但 pynini 在 Windows 上安装困难，建议优先使用 Linux 或 Docker。2. 必须安装系统级音频处理工具 sox 或 ffmpeg。3. 推荐使用 Conda 创建环境并安装 pynini。4. 模型支持 24kHz 单声道和 48kHz 立体声生成。5. 可通过 Docker 或 Docker Compose 快速部署环境。",">=3.8",[100,101,102,103,104],"PyTorch>=2.0.1","flash-attn==2.6.2\u002F2.6.3","pynini==2.1.5","sox","ffmpeg",[55,13],[107,108,109,110],"music-generation","pytorch","audio-generation","audio-processing","2026-03-27T02:49:30.150509","2026-04-06T06:54:20.368276",[114,119,124,129,134,139,144,149],{"id":115,"question_zh":116,"answer_zh":117,"source_url":118},11202,"运行推理时报错 \"RuntimeError: FlashAttention only support fp16 and bf16 data type\" 怎么办？","该错误通常由环境版本不兼容引起。建议更新环境以支持最新版本的依赖。官方推荐的环境配置为：Python 3.11.11, PyTorch 2.6, CUDA 12.4, flash-attn==2.7.4.post1。请尝试升级这些组件后再次运行。","https:\u002F\u002Fgithub.com\u002FFunAudioLLM\u002FFunMusic\u002Fissues\u002F18",{"id":120,"question_zh":121,"answer_zh":122,"source_url":123},11203,"是否支持 macOS (MPS) 或 CPU 进行推理？","最新代码已支持在不支持 flash_attention_2 的设备（如 macOS MPS 或 CPU）上运行。如果遇到兼容性问题，可以尝试修改代码，将模型加载方式改为 CPU 模式：\nself.model = Qwen2ForCausalLM.from_pretrained(pretrain_path, device_map=\"cpu\")\n或者将注意力机制实现改为 flex_attention（需确保 torch 版本支持）：\nattn_implementation=\"flex_attention\"","https:\u002F\u002Fgithub.com\u002FFunAudioLLM\u002FFunMusic\u002Fissues\u002F33",{"id":125,"question_zh":126,"answer_zh":127,"source_url":128},11204,"项目支持的 Python 和 CUDA 版本有哪些？","目前已正式支持 Python 3.11 和 CUDA 12。也有用户反馈 Python 3.12 可用，但需要保证 torch 版本 \u003C= 2.4.1。建议使用官方推荐的 Python 3.11 + CUDA 12 环境以获得最佳兼容性。","https:\u002F\u002Fgithub.com\u002FFunAudioLLM\u002FFunMusic\u002Fissues\u002F24",{"id":130,"question_zh":131,"answer_zh":132,"source_url":133},11205,"在 Windows 系统上部署时遇到路径错误或 FlashAttention 安装失败怎么办？","1. 路径错误：Windows 下需要修改模型文件夹中 inspiremusic.yaml 的路径格式以适配 Windows 文件系统。\n2. FlashAttention：如果使用 fp16 或 bf16 精度，必须安装 flash_attn。如果 Windows 下编译 flash_attn 困难，可以尝试使用预编译版本（如 2.6.3 或 2.6.2），或者将精度改为 float32 并禁用 FlashAttention（但这可能影响性能或显存占用）。","https:\u002F\u002Fgithub.com\u002FFunAudioLLM\u002FFunMusic\u002Fissues\u002F17",{"id":135,"question_zh":136,"answer_zh":137,"source_url":138},11206,"为什么选择 HiFi-Codec 作为 Decoder？有没有其他选择？","选择 HiFi-Codec 是基于当前有限资源下的实验结果，其效果相对较好。虽然 VQ 过程有损，但目前观察到 token2latent_feat flow 模型的效果优于 token2melspec。如果需要更快的推理速度，可以使用基于 WavTokenizer Decoder 的 \"fast\" 模式。目前尚未尝试去掉 RVQ 直接训练 Encoder+Decoder 的模式。","https:\u002F\u002Fgithub.com\u002FFunAudioLLM\u002FFunMusic\u002Fissues\u002F41",{"id":140,"question_zh":141,"answer_zh":142,"source_url":143},11207,"如何准备训练数据（如生成 data.list, dev.list 或 parquet 文件）？","可以参考 examples\u002Fmusic_generation\u002Fdata\u002Fdataset_example 目录。基本步骤如下：\n1. 准备 text 文件和 wav.scp 文件。\n2. 参考 examples\u002Fmusic_generation\u002Frun.sh 脚本中的 stage 1 到 stage 3，将数据打包成 parquet 格式。\n更便捷的 CLI 调用接口正在开发中。","https:\u002F\u002Fgithub.com\u002FFunAudioLLM\u002FFunMusic\u002Fissues\u002F12",{"id":145,"question_zh":146,"answer_zh":147,"source_url":148},11208,"如何进行特定风格音乐的微调（Fine-tuning）？","你需要准备特定风格的数据集。具体的微调步骤可以参考 run.sh 示例脚本中的相关阶段（通常涉及数据准备和训练命令的配置）。确保数据集格式符合项目要求（参考上述数据准备问题）。","https:\u002F\u002Fgithub.com\u002FFunAudioLLM\u002FFunMusic\u002Fissues\u002F36",{"id":150,"question_zh":151,"answer_zh":152,"source_url":118},11209,"安装依赖时出现 hydra-core 和 antlr4-python3-runtime 版本冲突怎么办？","这是由于 requirements.txt 中指定的版本与 hydra-core 1.3.2 依赖的 antlr4-python3-runtime==4.9.* 冲突。解决方法包括：\n1. 更新到官方最新的环境配置（支持 Python 3.11 等新版依赖）。\n2. 手动调整 requirements.txt，放宽 antlr4-python3-runtime 的版本限制，或移除固定版本号让 pip 自动解决依赖。",[]]