[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-AIGC-Audio--AudioGPT":3,"tool-AIGC-Audio--AudioGPT":61},[4,18,26,36,44,52],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",141543,2,"2026-04-06T11:32:54",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107888,"2026-04-06T11:32:50",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":10,"last_commit_at":50,"category_tags":51,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[35,15,13,14],{"id":53,"name":54,"github_repo":55,"description_zh":56,"stars":57,"difficulty_score":10,"last_commit_at":58,"category_tags":59,"status":17},4292,"Deep-Live-Cam","hacksider\u002FDeep-Live-Cam","Deep-Live-Cam 是一款专注于实时换脸与视频生成的开源工具，用户仅需一张静态照片，即可通过“一键操作”实现摄像头画面的即时变脸或制作深度伪造视频。它有效解决了传统换脸技术流程繁琐、对硬件配置要求极高以及难以实时预览的痛点，让高质量的数字内容创作变得触手可及。\n\n这款工具不仅适合开发者和技术研究人员探索算法边界，更因其极简的操作逻辑（仅需三步：选脸、选摄像头、启动），广泛适用于普通用户、内容创作者、设计师及直播主播。无论是为了动画角色定制、服装展示模特替换，还是制作趣味短视频和直播互动，Deep-Live-Cam 都能提供流畅的支持。\n\n其核心技术亮点在于强大的实时处理能力，支持口型遮罩（Mouth Mask）以保留使用者原始的嘴部动作，确保表情自然精准；同时具备“人脸映射”功能，可同时对画面中的多个主体应用不同面孔。此外，项目内置了严格的内容安全过滤机制，自动拦截涉及裸露、暴力等不当素材，并倡导用户在获得授权及明确标注的前提下合规使用，体现了技术发展与伦理责任的平衡。",88924,"2026-04-06T03:28:53",[14,15,13,60],"视频",{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":67,"readme_en":68,"readme_zh":69,"quickstart_zh":70,"use_case_zh":71,"hero_image_url":72,"owner_login":73,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":75,"owner_location":75,"owner_email":75,"owner_twitter":75,"owner_website":75,"owner_url":76,"languages":77,"stars":86,"forks":87,"last_commit_at":88,"license":89,"difficulty_score":90,"env_os":91,"env_gpu":92,"env_ram":92,"env_deps":93,"category_tags":106,"github_topics":108,"view_count":32,"oss_zip_url":75,"oss_zip_packed_at":75,"status":17,"created_at":115,"updated_at":116,"faqs":117,"releases":148},4451,"AIGC-Audio\u002FAudioGPT","AudioGPT","AudioGPT: Understanding and Generating Speech, Music, Sound, and Talking Head","AudioGPT 是一款功能强大的开源 AI 框架，旨在让计算机像人类一样“听懂”并“创作”各类声音。它不仅能处理语音对话，还能生成音乐、音效甚至驱动虚拟数字人说话，真正实现了从单一文本交互到全方位音频感知的跨越。\n\n过去，用户往往需要分别使用不同的工具来处理录音转文字、语音合成或背景音乐生成等任务，流程繁琐且割裂。AudioGPT 通过整合多种顶尖基础模型，将语音识别与合成、风格迁移、歌声生成、音频修复、声源分离及数字人驱动等能力统一在一个平台中，极大地简化了音频内容的理解与创作流程。\n\n这款工具非常适合 AI 研究人员、开发者以及多媒体内容创作者使用。研究人员可基于其开放的代码和预训练模型探索新算法；开发者能轻松将其集成到应用中；而设计师或视频博主则能利用它高效制作高质量的配音、配乐和动态虚拟形象。\n\nAudioGPT 的独特亮点在于其广泛的兼容性与模块化设计。它无缝集成了 Whisper、VITS、DiffSinger、Make-An-Audio 等多个领域的前沿模型，支持从单声道转双声道立体声到复杂的声音提取等多种高级任务。作为一个开放项目，AudioGPT 正致力于降低音频 ","AudioGPT 是一款功能强大的开源 AI 框架，旨在让计算机像人类一样“听懂”并“创作”各类声音。它不仅能处理语音对话，还能生成音乐、音效甚至驱动虚拟数字人说话，真正实现了从单一文本交互到全方位音频感知的跨越。\n\n过去，用户往往需要分别使用不同的工具来处理录音转文字、语音合成或背景音乐生成等任务，流程繁琐且割裂。AudioGPT 通过整合多种顶尖基础模型，将语音识别与合成、风格迁移、歌声生成、音频修复、声源分离及数字人驱动等能力统一在一个平台中，极大地简化了音频内容的理解与创作流程。\n\n这款工具非常适合 AI 研究人员、开发者以及多媒体内容创作者使用。研究人员可基于其开放的代码和预训练模型探索新算法；开发者能轻松将其集成到应用中；而设计师或视频博主则能利用它高效制作高质量的配音、配乐和动态虚拟形象。\n\nAudioGPT 的独特亮点在于其广泛的兼容性与模块化设计。它无缝集成了 Whisper、VITS、DiffSinger、Make-An-Audio 等多个领域的前沿模型，支持从单声道转双声道立体声到复杂的声音提取等多种高级任务。作为一个开放项目，AudioGPT 正致力于降低音频 AI 的使用门槛，推动多模态交互技术的普及与发展。","# AudioGPT: Understanding and Generating Speech, Music, Sound, and Talking Head\n\n[![arXiv](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-Paper-\u003CCOLOR>.svg)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2304.12995)\n[![GitHub Stars](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FAIGC-Audio\u002FAudioGPT?style=social)](https:\u002F\u002Fgithub.com\u002FAIGC-Audio\u002FAudioGPT)\n![visitors](https:\u002F\u002Fvisitor-badge.glitch.me\u002Fbadge?page_id=AIGC-Audio.AudioGPT)\n[![Hugging Face](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-blue)](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FAIGC-Audio\u002FAudioGPT)\n\n\nWe provide our implementation and pretrained models as open source in this repository.\n\n\n## Get Started\n\nPlease refer to [run.md](run.md)\n\n\n## Capabilities\n\nHere we list the capability of AudioGPT at this time. More supported models and tasks are coming soon. For prompt examples, refer to [asset](assets\u002FREADME.md).\n\nCurrently not every model has repository.\n### Speech\n|            Task            |   Supported Foundation Models   | Status |\n|:--------------------------:|:-------------------------------:|:------:|\n|       Text-to-Speech       | [FastSpeech](https:\u002F\u002Fgithub.com\u002Fming024\u002FFastSpeech2), [SyntaSpeech](https:\u002F\u002Fgithub.com\u002Fyerfor\u002FSyntaSpeech), [VITS](https:\u002F\u002Fgithub.com\u002Fjaywalnut310\u002Fvits) |  Yes (WIP)   |\n|       Style Transfer       |         [GenerSpeech](https:\u002F\u002Fgithub.com\u002FRongjiehuang\u002FGenerSpeech)         |  Yes   |\n|     Speech Recognition     |           [whisper](https:\u002F\u002Fgithub.com\u002Fopenai\u002Fwhisper), [Conformer](https:\u002F\u002Fgithub.com\u002Fsooftware\u002Fconformer)           |  Yes   |\n|     Speech Enhancement     |          [ConvTasNet]()         |  Yes (WIP)   |\n|     Speech Separation      |          [TF-GridNet](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2211.12433.pdf)         |  Yes (WIP)   |\n|     Speech Translation     |          [Multi-decoder](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2109.12804.pdf)      |  WIP   |\n|      Mono-to-Binaural      |          [NeuralWarp](https:\u002F\u002Fgithub.com\u002Ffdarmon\u002FNeuralWarp)         |  Yes   |\n\n### Sing\n\n|           Task            |   Supported Foundation Models   | Status |\n|:-------------------------:|:-------------------------------:|:------:|\n|       Text-to-Sing        |         [DiffSinger](https:\u002F\u002Fgithub.com\u002FMoonInTheRiver\u002FDiffSinger), [VISinger](https:\u002F\u002Fgithub.com\u002Fjerryuhoo\u002FVISinger)          |  Yes (WIP)   |\n\n### Audio\n|          Task          | Supported Foundation Models | Status |\n|:----------------------:|:---------------------------:|:------:|\n|     Text-to-Audio      |      [Make-An-Audio]()      |  Yes   |\n|    Audio Inpainting    |      [Make-An-Audio]()      |  Yes   |\n|     Image-to-Audio     |      [Make-An-Audio]()      |  Yes   |\n|    Sound Detection     |    [Audio-transformer](https:\u002F\u002Fgithub.com\u002FRetroCirce\u002FHTS-Audio-Transformer)    | Yes    |\n| Target Sound Detection |    [TSDNet](https:\u002F\u002Fgithub.com\u002Fgy65896\u002FTSDNet)    |  Yes   |\n|    Sound Extraction    |    [LASSNet](https:\u002F\u002Fgithub.com\u002Fliuxubo717\u002FLASS)    |  Yes   |\n\n\n### Talking Head\n\n|           Task            |   Supported Foundation Models   |   Status   |\n|:-------------------------:|:-------------------------------:|:----------:|\n|  Talking Head Synthesis   |          [GeneFace](https:\u002F\u002Fgithub.com\u002Fyerfor\u002FGeneFace)           | Yes (WIP)  |\n\n\n## Acknowledgement\nWe appreciate the open source of the following projects:\n\n[ESPNet](https:\u002F\u002Fgithub.com\u002Fespnet\u002Fespnet)  \n[NATSpeech](https:\u002F\u002Fgithub.com\u002FNATSpeech\u002FNATSpeech)  \n[Visual ChatGPT](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002Fvisual-chatgpt)  \n[Hugging Face](https:\u002F\u002Fgithub.com\u002Fhuggingface)  \n[LangChain](https:\u002F\u002Fgithub.com\u002Fhwchase17\u002Flangchain)  \n[Stable Diffusion](https:\u002F\u002Fgithub.com\u002FCompVis\u002Fstable-diffusion)  \n\n","# AudioGPT：理解与生成语音、音乐、声音及对话头像\n\n[![arXiv](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-Paper-\u003CCOLOR>.svg)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2304.12995)\n[![GitHub Stars](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FAIGC-Audio\u002FAudioGPT?style=social)](https:\u002F\u002Fgithub.com\u002FAIGC-Audio\u002FAudioGPT)\n![visitors](https:\u002F\u002Fvisitor-badge.glitch.me\u002Fbadge?page_id=AIGC-Audio.AudioGPT)\n[![Hugging Face](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-blue)](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FAIGC-Audio\u002FAudioGPT)\n\n\n我们在本仓库中以开源形式提供了我们的实现和预训练模型。\n\n\n## 快速入门\n\n请参阅 [run.md](run.md)\n\n\n## 功能概览\n\n以下列出了当前AudioGPT的功能。更多支持的模型和任务即将推出。有关提示示例，请参考 [asset](assets\u002FREADME.md)。\n\n目前并非所有模型都有对应的代码库。\n### 语音\n|            任务            |   支持的基础模型   | 状态 |\n|:--------------------------:|:-------------------------------:|:------:|\n|       文本转语音       | [FastSpeech](https:\u002F\u002Fgithub.com\u002Fming024\u002FFastSpeech2), [SyntaSpeech](https:\u002F\u002Fgithub.com\u002Fyerfor\u002FSyntaSpeech), [VITS](https:\u002F\u002Fgithub.com\u002Fjaywalnut310\u002Fvits) |  是（开发中）   |\n|       风格迁移       |         [GenerSpeech](https:\u002F\u002Fgithub.com\u002FRongjiehuang\u002FGenerSpeech)         |  是   |\n|     语音识别     |           [whisper](https:\u002F\u002Fgithub.com\u002Fopenai\u002Fwhisper), [Conformer](https:\u002F\u002Fgithub.com\u002Fsoftware\u002Fconformer)           |  是   |\n|     语音增强     |          [ConvTasNet]()         |  是（开发中）   |\n|     语音分离      |          [TF-GridNet](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2211.12433.pdf)         |  是（开发中）   |\n|     语音翻译     |          [Multi-decoder](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2109.12804.pdf)      |  开发中   |\n|      单声道转双声道      |          [NeuralWarp](https:\u002F\u002Fgithub.com\u002Ffdarmon\u002FNeuralWarp)         |  是   |\n\n### 歌唱\n\n|           任务            |   支持的基础模型   | 状态 |\n|:-------------------------:|:-------------------------------:|:------:|\n|       文本转歌唱        |         [DiffSinger](https:\u002F\u002Fgithub.com\u002FMoonInTheRiver\u002FDiffSinger), [VISinger](https:\u002F\u002Fgithub.com\u002Fjerryuhoo\u002FVISinger)          |  是（开发中）   |\n\n### 音频\n|          任务          | 支持的基础模型 | 状态 |\n|:----------------------:|:---------------------------:|:------:|\n|     文本转音频      |      [Make-An-Audio]()      |  是   |\n|    音频修复    |      [Make-An-Audio]()      |  是   |\n|     图像转音频     |      [Make-An-Audio]()      |  是   |\n|    声音检测     |    [Audio-transformer](https:\u002F\u002Fgithub.com\u002FRetroCirce\u002FHTS-Audio-Transformer)    | 是    |\n| 目标声音检测 |    [TSDNet](https:\u002F\u002Fgithub.com\u002Fgy65896\u002FTSDNet)    |  是   |\n|    声音提取    |    [LASSNet](https:\u002F\u002Fgithub.com\u002Fliuxubo717\u002FLASS)    |  是   |\n\n\n### 对话头像\n\n|           任务            |   支持的基础模型   |   状态   |\n|:-------------------------:|:-------------------------------:|:----------:|\n|  对话头像合成   |          [GeneFace](https:\u002F\u002Fgithub.com\u002Fyerfor\u002FGeneFace)           | 是（开发中）  |\n\n\n## 致谢\n我们感谢以下项目的开源贡献：\n\n[ESPNet](https:\u002F\u002Fgithub.com\u002Fespnet\u002Fespnet)  \n[NATSpeech](https:\u002F\u002Fgithub.com\u002FNATSpeech\u002FNATSpeech)  \n[Visual ChatGPT](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002Fvisual-chatgpt)  \n[Hugging Face](https:\u002F\u002Fgithub.com\u002Fhuggingface)  \n[LangChain](https:\u002F\u002Fgithub.com\u002Fhwchase17\u002Flangchain)  \n[Stable Diffusion](https:\u002F\u002Fgithub.com\u002FCompVis\u002Fstable-diffusion)  ","# AudioGPT 快速上手指南\n\nAudioGPT 是一个能够理解并生成语音、音乐、音效及说话人头像的多模态 AI 工具。它整合了多个基础模型，支持文本转语音、语音识别、音频修复、歌声合成等任务。\n\n## 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n*   **操作系统**: Linux (推荐 Ubuntu 20.04+) 或 macOS\n*   **Python 版本**: Python 3.8 - 3.10\n*   **GPU**: 推荐使用 NVIDIA GPU (显存建议 16GB 以上以运行大型模型)，需安装 CUDA 11.3+\n*   **前置依赖**:\n    *   Git\n    *   FFmpeg (用于音频处理)\n    *   Conda (推荐用于环境管理)\n\n> **国内加速建议**：\n> *   代码克隆可使用 Gitee 镜像（如有）或配置 `git config --global http.proxy`。\n> *   Python 包安装建议临时切换至清华源或阿里源：\n>     ```bash\n>     pip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n>     ```\n> *   Hugging Face 模型下载若受阻，建议配置 `HF_ENDPOINT` 环境变量使用镜像站：\n>     ```bash\n>     export HF_ENDPOINT=https:\u002F\u002Fhf-mirror.com\n>     ```\n\n## 安装步骤\n\n1.  **克隆仓库**\n    ```bash\n    git clone https:\u002F\u002Fgithub.com\u002FAIGC-Audio\u002FAudioGPT.git\n    cd AudioGPT\n    ```\n\n2.  **创建虚拟环境**\n    ```bash\n    conda create -n audiogpt python=3.9\n    conda activate audiogpt\n    ```\n\n3.  **安装依赖**\n    根据项目根目录下的 `requirements.txt` 安装核心依赖：\n    ```bash\n    pip install -r requirements.txt\n    ```\n    *注：若需使用特定 GPU 版本的 PyTorch，请先前往 pytorch.org 获取对应命令安装，再安装其他依赖。*\n\n4.  **下载预训练模型**\n    部分基础模型（如 Whisper, VITS, Make-An-Audio 等）需要单独下载权重文件。请参考官方提供的 [run.md](run.md) 文档中的模型下载链接，将模型文件放置于项目指定的 `checkpoints` 或 `models` 目录下。\n\n## 基本使用\n\nAudioGPT 的核心逻辑是通过自然语言指令调用不同的底层模型。以下是最简单的 Python 调用示例。\n\n**示例：文本转语音 (Text-to-Speech)**\n\n```python\nfrom audiogpt import AudioGPT\n\n# 初始化 AudioGPT\n# 请确保已正确配置相关模型的路径\nag = AudioGPT()\n\n# 定义任务指令\nprompt = \"Generate a male voice saying: Hello, welcome to AudioGPT.\"\n\n# 执行生成\n# 返回通常为音频文件路径或音频数据\noutput_path = ag.run(prompt)\n\nprint(f\"Audio generated at: {output_path}\")\n```\n\n**示例：音频内容理解 (Speech Recognition)**\n\n```python\nfrom audiogpt import AudioGPT\n\nag = AudioGPT()\n\n# 上传音频文件进行识别\naudio_file = \"path\u002Fto\u002Fyour\u002Faudio.wav\"\nprompt = f\"Transcribe the following audio file: {audio_file}\"\n\nresult = ag.run(prompt)\nprint(result)\n```\n\n> **提示**：更多具体的 Prompt 示例（如风格迁移、歌声合成、图像转音频等）请参阅项目目录下的 `assets\u002FREADME.md` 文件。详细的高级配置和脚本运行方式请查阅 `run.md`。","一位独立游戏开发者正在为一款复古科幻冒险游戏制作原型，急需生成包含角色对话、环境音效及动态口型同步的完整音频资产。\n\n### 没有 AudioGPT 时\n- **多工具切换繁琐**：开发者需分别使用 Whisper 转写剧本、VITS 合成语音、Make-An-Audio 生成背景噪音，再手动用音频软件拼接，工作流支离破碎。\n- **口型匹配成本高**：为了让角色说话自然，必须单独寻找面部动画工具逐帧调整口型，耗时数天且效果生硬。\n- **风格统一难实现**：不同模型生成的语音和音效在音色、响度上差异巨大，后期需要大量人工修音才能确保听感一致。\n- **创意迭代缓慢**：每当剧本修改或需要尝试新的环境声（如“带有回声的太空舱风扇声”），重新生成和调整的流程极其漫长。\n\n### 使用 AudioGPT 后\n- **一站式全流程处理**：通过 AudioGPT 的统一接口，输入文本指令即可串联完成语音合成、音效生成及降噪增强，无需在不同代码库间跳转。\n- **自动生成Talking Head**：利用内置的 GeneFace 模块，AudioGPT 能直接根据生成的语音驱动角色模型，自动产出唇形同步逼真的说话视频。\n- **智能风格迁移与融合**：借助 GenerSpeech 能力，AudioGPT 可让所有角色语音保持统一的情感基调，并自动将环境音效与语音进行混音优化。\n- **即时创意验证**：开发者只需输入“生成一段带有金属质感的机器人报警声”，AudioGPT 即刻调用 Make-An-Audio 输出结果，极大加速了原型迭代。\n\nAudioGPT 通过将分散的音频 AI 模型整合为统一的多模态交互界面，让单人开发者也能高效构建具备专业级视听体验的互动内容。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FAIGC-Audio_AudioGPT_78574812.png","AIGC-Audio","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FAIGC-Audio_bd410fac.png",null,"https:\u002F\u002Fgithub.com\u002FAIGC-Audio",[78,82],{"name":79,"color":80,"percentage":81},"Python","#3572A5",99.8,{"name":83,"color":84,"percentage":85},"Shell","#89e051",0.2,10205,861,"2026-04-06T02:57:11","NOASSERTION",4,"","未说明",{"notes":94,"python":92,"dependencies":95},"README 中未直接列出具体的运行环境配置（如操作系统、GPU 型号、内存大小、Python 版本等），而是指引用户参考 'run.md' 文件以获取启动指南。该项目集成了多个基础模型（如 Whisper, VITS, Make-An-Audio 等）用于处理语音、歌唱、音频及数字人任务，实际资源需求取决于具体调用的子模型。建议查看项目仓库中的 run.md 文件或 requirements.txt（如有）以获取详细的依赖列表和环境配置。",[96,97,98,99,100,101,102,103,104,105],"ESPNet","NATSpeech","LangChain","Hugging Face","FastSpeech2","SyntaSpeech","VITS","Whisper","Make-An-Audio","GeneFace",[107,13,35],"音频",[109,110,111,112,113,114],"audio","gpt","music","sound","speech","talking-head","2026-03-27T02:49:30.150509","2026-04-06T22:53:10.136194",[118,123,128,133,138,143],{"id":119,"question_zh":120,"answer_zh":121,"source_url":122},20256,"遇到 'RuntimeError: CUDA error: invalid device ordinal' 错误该如何解决？","该错误通常与 GPU 设备索引配置有关。可以参考此 Pull Request 中的修改方案：https:\u002F\u002Fgithub.com\u002FAIGC-Audio\u002FAudioGPT\u002Fpull\u002F43\u002Ffiles。此外，调试时可以考虑设置环境变量 CUDA_LAUNCH_BLOCKING=1 以获得更准确的堆栈信息。","https:\u002F\u002Fgithub.com\u002FAIGC-Audio\u002FAudioGPT\u002Fissues\u002F63",{"id":124,"question_zh":125,"answer_zh":126,"source_url":127},20257,"安装时提示 'opencv-contrib-python==4.3.0.36 is yanked' 或找不到该版本怎么办？","该特定版本的 OpenCV 已被废弃。解决方法是修改 requirements.txt 文件，将版本号替换为更新的版本。例如，可以将其改为 'opencv-contrib-python~=4.5.0' 或 'opencv-contrib-python==4.4.0.46'，然后重新运行安装命令。","https:\u002F\u002Fgithub.com\u002FAIGC-Audio\u002FAudioGPT\u002Fissues\u002F54",{"id":129,"question_zh":130,"answer_zh":131,"source_url":132},20258,"在 MacBook Air M1 (Apple Silicon) 上运行时提示 'Torch not compiled with CUDA enabled' 错误如何解决？","M1 Mac 不支持 CUDA。您可以尝试将代码中的设备参数从 'device=\"cuda:0\"' 修改为 'device=\"mps\"' 以利用 Metal Performance Shaders 加速。如果仍然遇到问题或不介意运行速度较慢，也可以将设备设置为 'cpu'，但强烈建议使用带有 CUDA 核心的 GPU 实例以获得最佳性能。","https:\u002F\u002Fgithub.com\u002FAIGC-Audio\u002FAudioGPT\u002Fissues\u002F56",{"id":134,"question_zh":135,"answer_zh":136,"source_url":137},20259,"导入 gradio 或 fastapi 时出现 'ImportError: cannot import name dataclass_transform' 错误怎么办？","这通常是由于依赖包版本过旧或不兼容导致的。请尝试运行以下命令升级相关包并修复环境：\n1. pip install -U pip setuptools wheel\n2. pip install -U spacy\n3. python -m spacy download en_core_web_sm\n4. pip install numba --upgrade","https:\u002F\u002Fgithub.com\u002FAIGC-Audio\u002FAudioGPT\u002Fissues\u002F75",{"id":139,"question_zh":140,"answer_zh":141,"source_url":142},20260,"AudioGPT 是否支持在 CPU 上运行？","支持。虽然项目默认使用 GPU 加速，但可以在初始化模型时将设备参数指定为 'cpu'（例如在代码中设置 device=\"cpu\"）。请注意，由于 AudioGPT 使用大规模模型，在 CPU 上运行可能会导致生成速度非常慢，建议仅在无法使用 GPU 时作为备选方案。","https:\u002F\u002Fgithub.com\u002FAIGC-Audio\u002FAudioGPT\u002Fissues\u002F94",{"id":144,"question_zh":145,"answer_zh":146,"source_url":147},20261,"安装过程中遇到严重的依赖冲突问题，如何查看正确的环境配置？","如果遇到按照 run.md 安装时的依赖冲突问题，建议检查维护者或成功运行者的 pip 包列表（pip list）以对比版本差异。确保所有核心库（如 torch, torchvision, torchaudio 等）的版本相互兼容，必要时尝试创建全新的虚拟环境进行安装。","https:\u002F\u002Fgithub.com\u002FAIGC-Audio\u002FAudioGPT\u002Fissues\u002F61",[]]