[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-gpt-omni--mini-omni2":3,"tool-gpt-omni--mini-omni2":61},[4,18,26,36,44,52],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",141543,2,"2026-04-06T11:32:54",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107888,"2026-04-06T11:32:50",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":10,"last_commit_at":50,"category_tags":51,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[35,15,13,14],{"id":53,"name":54,"github_repo":55,"description_zh":56,"stars":57,"difficulty_score":10,"last_commit_at":58,"category_tags":59,"status":17},4292,"Deep-Live-Cam","hacksider\u002FDeep-Live-Cam","Deep-Live-Cam 是一款专注于实时换脸与视频生成的开源工具，用户仅需一张静态照片，即可通过“一键操作”实现摄像头画面的即时变脸或制作深度伪造视频。它有效解决了传统换脸技术流程繁琐、对硬件配置要求极高以及难以实时预览的痛点，让高质量的数字内容创作变得触手可及。\n\n这款工具不仅适合开发者和技术研究人员探索算法边界，更因其极简的操作逻辑（仅需三步：选脸、选摄像头、启动），广泛适用于普通用户、内容创作者、设计师及直播主播。无论是为了动画角色定制、服装展示模特替换，还是制作趣味短视频和直播互动，Deep-Live-Cam 都能提供流畅的支持。\n\n其核心技术亮点在于强大的实时处理能力，支持口型遮罩（Mouth Mask）以保留使用者原始的嘴部动作，确保表情自然精准；同时具备“人脸映射”功能，可同时对画面中的多个主体应用不同面孔。此外，项目内置了严格的内容安全过滤机制，自动拦截涉及裸露、暴力等不当素材，并倡导用户在获得授权及明确标注的前提下合规使用，体现了技术发展与伦理责任的平衡。",88924,"2026-04-06T03:28:53",[14,15,13,60],"视频",{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":72,"owner_avatar_url":73,"owner_bio":74,"owner_company":74,"owner_location":74,"owner_email":74,"owner_twitter":74,"owner_website":74,"owner_url":75,"languages":76,"stars":81,"forks":82,"last_commit_at":83,"license":84,"difficulty_score":10,"env_os":85,"env_gpu":86,"env_ram":87,"env_deps":88,"category_tags":101,"github_topics":74,"view_count":32,"oss_zip_url":74,"oss_zip_packed_at":74,"status":17,"created_at":104,"updated_at":105,"faqs":106,"releases":146},4552,"gpt-omni\u002Fmini-omni2","mini-omni2","Towards Open-source GPT-4o with Vision, Speech and Duplex Capabilities。","Mini-Omni2 是一款旨在迈向开源版 GPT-4o 的多模态交互模型，能够同时理解图像、音频和文本输入，并支持与用户进行端到端的实时语音对话。它主要解决了传统多模态系统依赖外部语音识别（ASR）和语音合成（TTS）模块导致的延迟高、流程复杂的问题，实现了无需额外组件的原生“语音对语音”交互。\n\n该工具特别适合 AI 开发者、研究人员以及希望探索下一代人机交互模式的技术爱好者使用。其核心亮点在于具备“全双工”交互能力：模型在说话时也能持续聆听，支持用户通过关键词随时打断，从而模拟出更自然流畅的人类对话体验。此外，Mini-Omni2 采用文本引导的延迟并行输出技术，显著降低了首字音频延迟，确保响应即时性。虽然目前训练数据以英语为主，但借助 Whisper 编码器，它也能理解多种语言的输入。作为一个基于 Qwen2 架构的开源项目，Mini-Omni2 为构建低成本、高效率的实时多模态应用提供了宝贵的技术参考与实践基础。","\r\n# Mini-Omni2\r\n\r\n\u003Cp align=\"center\">\r\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fgpt-omni_mini-omni2_readme_0d2238b11820.png\" width=\"90%\"\u002F>\r\n\u003C\u002Fp>\r\n\r\n\r\n\u003Cp align=\"center\">\r\n🤗 \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fgpt-omni\u002Fmini-omni2\">Hugging Face\u003C\u002Fa>   | 📖 \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fgpt-omni\u002Fmini-omni2\">Github\u003C\u002Fa> \r\n|     📑 \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2410.11190\">Technical report\u003C\u002Fa> \r\n\u003C\u002Fp>\r\n\r\n\u003Ch5 align=\"center\"> If you like little Omni2, please give us a star⭐ and cite our \u003Ca href=\"(https:\u002F\u002Farxiv.org\u002Fabs\u002F2410.11190)\">paper\u003C\u002Fa>!\u003C\u002Fh2>\r\n\r\n## Introduction\r\nMini-Omni2 is an **omni-interactive** model. It can **understand image, audio and text inputs and has end-to-end voice conversations with users**. Featuring **real-time voice output**, **omni-capable multimodal understanding** and flexible interaction **ability with interruption mechanism while speaking**.\r\n\r\n\u003Cp align=\"center\">\r\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fgpt-omni_mini-omni2_readme_dfeaab4bcab8.jpeg\" width=\"100%\"\u002F>\r\n\u003C\u002Fp>\r\n\r\n\r\n## Updates\r\n\r\n- **2024.10:** Release the model, technical report, inference and chat demo code.\r\n\r\n## Features\r\n✅ **Multimodal interaction**: with the ability to understand images, speech and text, just like GPT-4o.\r\n\r\n✅ **Real-time speech-to-speech** conversational capabilities. No extra ASR or TTS models required, just like [Mini-Omni](https:\u002F\u002Fgithub.com\u002Fgpt-omni\u002Fmini-omni).\r\n\r\n\u003C!-- ✅ **Streaming audio output**: with first-chunk latency of audio stream less than 0.3s. -->\r\n\r\n\u003C!-- ✅ **Duplex interaction**: hearing while speaking, it can be interrupted by key words like \"stop omni\". -->\r\n\r\n\r\n## Demo\r\n\r\nNOTE: need to unmute first.\r\n\r\nhttps:\u002F\u002Fgithub.com\u002Fuser-attachments\u002Fassets\u002Fad97ca7f-f8b4-40c3-a7e8-fa54b4edf155\r\n\r\n## Install\r\n\r\nCreate a new conda environment and install the required packages:\r\n\r\n```sh\r\nconda create -n omni python=3.10\r\nconda activate omni\r\n\r\ngit clone https:\u002F\u002Fgithub.com\u002Fgpt-omni\u002Fmini-omni2.git\r\ncd mini-omni2\r\npip install -r requirements.txt\r\n```\r\n\r\n## Quick start\r\n\r\n**Interactive demo**\r\n\r\n- start server\r\n\r\nNOTE: you need to start the server before running the streamlit or gradio demo with API_URL set to the server address.\r\n\r\n```sh\r\nsudo apt-get install ffmpeg\r\nconda activate omni\r\ncd mini-omni2\r\npython3 server.py --ip '0.0.0.0' --port 60808\r\n```\r\n\r\n\r\n- run streamlit demo\r\n\r\nNOTE: you need to run streamlit **locally** with PyAudio installed. \r\n\r\n```sh\r\npip install PyAudio==0.2.14\r\nAPI_URL=http:\u002F\u002F0.0.0.0:60808\u002Fchat streamlit run webui\u002Fomni_streamlit.py\r\n```\r\n\r\n\r\n**Local test**\r\n\r\n```sh\r\nconda activate omni\r\ncd mini-omni2\r\n# test run the preset audio samples and questions\r\npython inference_vision.py\r\n```\r\n\r\n## Mini-Omni2 Overview\r\n\r\n**1. Multimodal Modeling**:\r\nWe use multiple sequences as the input and output of the model. In the input part, we will concatenate image, audio and text features to perform a series of comprehensive tasks, as shown in the following figures. In the output part, we use text-guided delayed parallel output to generate real-time speech responses.\r\n\u003Cp align=\"center\">\r\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fgpt-omni_mini-omni2_readme_a9bb1fc7b9e9.png\" width=\"100%\"\u002F>\r\n\u003C\u002Fp>\r\n\r\n**2. Multi-stage Training**:\r\nWe propose an efficient alignment training method and conduct encoder adaptation, modal alignment, and multimodal fine-tuning respectively in the three-stage training.\r\n\u003Cp align=\"center\">\r\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fgpt-omni_mini-omni2_readme_8dfba152aecc.jpeg\" width=\"100%\"\u002F>\r\n\u003C\u002Fp>\r\n\r\n\u003C!-- **3. Cases**:\r\nHere are more cases of Mini-Omni2:\r\n\u003Cp align=\"center\">\r\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fgpt-omni_mini-omni2_readme_cb38a9a46319.png\" width=\"100%\"\u002F>\r\n\u003C\u002Fp> -->\r\n\r\n## FAQ\r\n\r\n**1. Does the model support other languages?**\r\n\r\nNo, the model is only trained on English. However, as we use whisper as the audio encoder, the model can understand other languages which is supported by whisper (like chinese), but the output is only in English.\r\n\r\n**2. Error: can not run streamlit in local browser, with remote streamlit server**\r\n    \r\nYou need start streamlit **locally** with PyAudio installed.\r\n\r\n\r\n## Acknowledgements \r\n\r\n- [Qwen2](https:\u002F\u002Fgithub.com\u002FQwenLM\u002FQwen2\u002F) as the LLM backbone.\r\n- [litGPT](https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flitgpt\u002F) for training and inference.\r\n- [whisper](https:\u002F\u002Fgithub.com\u002Fopenai\u002Fwhisper\u002F)  for audio encoding.\r\n- [clip](https:\u002F\u002Fgithub.com\u002Fopenai\u002FCLIP)  for image encoding.\r\n- [snac](https:\u002F\u002Fgithub.com\u002Fhubertsiuzdak\u002Fsnac\u002F)  for audio decoding.\r\n- [CosyVoice](https:\u002F\u002Fgithub.com\u002FFunAudioLLM\u002FCosyVoice) for generating synthetic speech.\r\n- [OpenOrca](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FOpen-Orca\u002FOpenOrca) and [MOSS](https:\u002F\u002Fgithub.com\u002FOpenMOSS\u002FMOSS\u002Ftree\u002Fmain) for alignment.\r\n\r\n## Citation\r\n\r\n```bibtex\r\n@article{xie2024miniomni2opensourcegpt4ovision,\r\n      title={Mini-Omni2: Towards Open-source GPT-4o with Vision, Speech and Duplex Capabilities}, \r\n      author={Zhifei Xie and Changqiao Wu},\r\n      year={2024},\r\n      eprint={2410.11190},\r\n      archivePrefix={arXiv},\r\n      primaryClass={eess.AS},\r\n      journal={ArXiv},\r\n      volume={abs\u002F2410.11190},\r\n}\r\n```\r\n## Star History\r\n[![Star History Chart](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fgpt-omni_mini-omni2_readme_ef0f6a1044bd.png)](https:\u002F\u002Fstar-history.com\u002F#gpt-omni\u002Fmini-omni2&Date)\r\n","# Mini-Omni2\r\n\r\n\u003Cp align=\"center\">\r\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fgpt-omni_mini-omni2_readme_0d2238b11820.png\" width=\"90%\"\u002F>\r\n\u003C\u002Fp>\r\n\r\n\r\n\u003Cp align=\"center\">\r\n🤗 \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fgpt-omni\u002Fmini-omni2\">Hugging Face\u003C\u002Fa>   | 📖 \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fgpt-omni\u002Fmini-omni2\">Github\u003C\u002Fa> \r\n|     📑 \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2410.11190\">Technical report\u003C\u002Fa> \r\n\u003C\u002Fp>\r\n\r\n\u003Ch5 align=\"center\"> 如果你喜欢小Omni2，请给我们点个赞⭐，并引用我们的\u003Ca href=\"(https:\u002F\u002Farxiv.org\u002Fabs\u002F2410.11190)\">论文\u003C\u002Fa>！\u003C\u002Fh2>\r\n\r\n## 简介\r\nMini-Omni2是一个**全模态交互**模型。它可以**理解图像、音频和文本输入，并与用户进行端到端的语音对话**。其特点是**实时语音输出**、**全模态多模态理解能力**，以及在说话时具备灵活的**可中断交互能力**。\n\n\u003Cp align=\"center\">\r\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fgpt-omni_mini-omni2_readme_dfeaab4bcab8.jpeg\" width=\"100%\"\u002F>\r\n\u003C\u002Fp>\r\n\r\n\r\n## 更新\r\n\r\n- **2024年10月：** 发布模型、技术报告、推理及聊天演示代码。\n\n## 特性\r\n✅ **多模态交互**：具备理解图像、语音和文本的能力，就像GPT-4o一样。\n\n✅ **实时语音到语音**对话能力。无需额外的ASR或TTS模型，就像[Mini-Omni](https:\u002F\u002Fgithub.com\u002Fgpt-omni\u002Fmini-omni)一样。\n\n\u003C!-- ✅ **流式音频输出**：音频流的第一个分块延迟小于0.3秒。 -->\r\n\r\n\u003C!-- ✅ **双工交互**：边听边说，可以通过“stop omni”等关键词打断。 -->\r\n\r\n\r\n## 演示\r\n\r\n注意：需要先取消静音。\n\nhttps:\u002F\u002Fgithub.com\u002Fuser-attachments\u002Fassets\u002Fad97ca7f-f8b4-40c3-a7e8-fa54b4edf155\n\n## 安装\n\n创建一个新的conda环境并安装所需的包：\n\n```sh\nconda create -n omni python=3.10\nconda activate omni\n\ngit clone https:\u002F\u002Fgithub.com\u002Fgpt-omni\u002Fmini-omni2.git\ncd mini-omni2\npip install -r requirements.txt\n```\r\n\r\n## 快速开始\r\n\r\n**交互式演示**\r\n\r\n- 启动服务器\r\n\r\n注意：在运行streamlit或gradio演示之前，需要先启动服务器，并将API_URL设置为服务器地址。\n\n```sh\nsudo apt-get install ffmpeg\nconda activate omni\ncd mini-omni2\npython3 server.py --ip '0.0.0.0' --port 60808\n```\n\n\n- 运行streamlit演示\r\n\r\n注意：你需要在本地运行streamlit，并安装PyAudio。\n\n```sh\npip install PyAudio==0.2.14\nAPI_URL=http:\u002F\u002F0.0.0.0:60808\u002Fchat streamlit run webui\u002Fomni_streamlit.py\n```\n\n\n**本地测试**\r\n\r\n```sh\nconda activate omni\ncd mini-omni2\n# 测试预设的音频样本和问题\npython inference_vision.py\n```\r\n\r\n## Mini-Omni2概述\r\n\r\n**1. 多模态建模**：\n我们使用多个序列作为模型的输入和输出。在输入部分，我们将图像、音频和文本特征拼接在一起，以执行一系列综合任务，如图所示。在输出部分，我们采用文本引导的延迟并行输出来生成实时语音响应。\n\u003Cp align=\"center\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fgpt-omni_mini-omni2_readme_a9bb1fc7b9e9.png\" width=\"100%\"\u002F>\n\u003C\u002Fp>\n\n**2. 多阶段训练**：\n我们提出了一种高效的对齐训练方法，并在三阶段训练中分别进行编码器适配、模态对齐和多模态微调。\n\u003Cp align=\"center\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fgpt-omni_mini-omni2_readme_8dfba152aecc.jpeg\" width=\"100%\"\u002F>\n\u003C\u002Fp>\n\n\u003C!-- **3. 案例**：\n以下是Mini-Omni2的更多案例：\n\u003Cp align=\"center\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fgpt-omni_mini-omni2_readme_cb38a9a46319.png\" width=\"100%\"\u002F>\n\u003C\u002Fp> -->\n\n## 常见问题解答\r\n\r\n**1. 模型是否支持其他语言？**\n\n不，该模型仅用英语进行训练。不过，由于我们使用whisper作为音频编码器，模型可以理解whisper支持的其他语言（例如中文），但输出仅为英语。\n\n**2. 错误：无法在本地浏览器中运行streamlit，但远程streamlit服务器正常工作**\n\n你需要在本地启动streamlit，并确保已安装PyAudio。\n\n\n## 致谢\r\n\r\n- [Qwen2](https:\u002F\u002Fgithub.com\u002FQwenLM\u002FQwen2\u002F) 作为LLM骨干。\n- [litGPT](https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flitgpt\u002F) 用于训练和推理。\n- [whisper](https:\u002F\u002Fgithub.com\u002Fopenai\u002Fwhisper\u002F) 用于音频编码。\n- [clip](https:\u002F\u002Fgithub.com\u002Fopenai\u002FCLIP) 用于图像编码。\n- [snac](https:\u002F\u002Fgithub.com\u002Fhubertsiuzdak\u002Fsnac\u002F) 用于音频解码。\n- [CosyVoice](https:\u002F\u002Fgithub.com\u002FFunAudioLLM\u002FCosyVoice) 用于生成合成语音。\n- [OpenOrca](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FOpen-Orca\u002FOpenOrca) 和 [MOSS](https:\u002F\u002Fgithub.com\u002FOpenMOSS\u002FMOSS\u002Ftree\u002Fmain) 用于对齐。\n\n## 引用\r\n\r\n```bibtex\n@article{xie2024miniomni2opensourcegpt4ovision,\n      title={Mini-Omni2: 开源GPT-4o视觉、语音和双工能力的探索}, \n      author={Zhifei Xie and Changqiao Wu},\n      year={2024},\n      eprint={2410.11190},\n      archivePrefix={arXiv},\n      primaryClass={eess.AS},\n      journal={ArXiv},\n      volume={abs\u002F2410.11190},\n}\n```\r\n\r\n## 星标历史\r\n[![星标历史图表](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fgpt-omni_mini-omni2_readme_ef0f6a1044bd.png)](https:\u002F\u002Fstar-history.com\u002F#gpt-omni\u002Fmini-omni2&Date)","# Mini-Omni2 快速上手指南\n\nMini-Omni2 是一款开源的多模态交互模型，支持图像、音频和文本输入，并具备端到端的实时语音对话能力。它无需额外的 ASR（语音识别）或 TTS（语音合成）模型，即可实现类似 GPT-4o 的实时语音交互体验。\n\n## 环境准备\n\n在开始之前，请确保您的系统满足以下要求：\n\n*   **操作系统**: Linux (推荐 Ubuntu) 或 macOS。Windows 用户建议使用 WSL2。\n*   **Python 版本**: 3.10\n*   **包管理器**: Conda (推荐)\n*   **系统依赖**: `ffmpeg` (用于音频处理)\n*   **硬件建议**: 需要 NVIDIA GPU 以进行流畅的推理（显存需求视具体量化版本而定，建议 16GB 以上以获得最佳体验）。\n\n## 安装步骤\n\n### 1. 创建并激活 Conda 环境\n\n```sh\nconda create -n omni python=3.10\nconda activate omni\n```\n\n### 2. 克隆项目代码\n\n```sh\ngit clone https:\u002F\u002Fgithub.com\u002Fgpt-omni\u002Fmini-omni2.git\ncd mini-omni2\n```\n\n> **提示**：如果 GitHub 连接缓慢，国内用户可使用镜像加速：\n> `git clone https:\u002F\u002Fghp.ci\u002Fhttps:\u002F\u002Fgithub.com\u002Fgpt-omni\u002Fmini-omni2.git`\n\n### 3. 安装 Python 依赖\n\n```sh\npip install -r requirements.txt\n```\n\n> **提示**：国内用户建议使用清华源或阿里源加速安装：\n> `pip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple`\n\n### 4. 安装系统级音频依赖\n\nMini-Omni2 依赖 `ffmpeg` 处理音频流，且前端演示需要 `PyAudio`。\n\n**Ubuntu\u002FDebian:**\n```sh\nsudo apt-get update\nsudo apt-get install ffmpeg\n```\n\n**macOS:**\n```sh\nbrew install ffmpeg\n```\n\n**安装 PyAudio (用于本地 Streamlit 演示):**\n```sh\npip install PyAudio==0.2.14\n```\n*(注：若 `pip` 安装 PyAudio 失败，Linux 用户可能需要先安装 `portaudio19-dev`，macOS 用户需确保已安装 `portaudio`)*\n\n## 基本使用\n\nMini-Omni2 提供两种主要的使用方式：交互式 Web 演示和本地脚本测试。\n\n### 方式一：运行交互式 Web 演示 (推荐)\n\n该模式启动一个本地服务器和一个 Streamlit 网页界面，支持实时语音对话。\n\n**第一步：启动后端服务器**\n\n在终端中运行以下命令启动 API 服务：\n\n```sh\nconda activate omni\ncd mini-omni2\npython3 server.py --ip '0.0.0.0' --port 60808\n```\n*保持此终端窗口运行，不要关闭。*\n\n**第二步：启动前端界面**\n\n打开一个新的终端窗口，设置 API 地址并运行 Streamlit：\n\n```sh\nconda activate omni\ncd mini-omni2\nAPI_URL=http:\u002F\u002F0.0.0.0:60808\u002Fchat streamlit run webui\u002Fomni_streamlit.py\n```\n\n运行成功后，浏览器会自动打开演示页面。请确保允许浏览器访问麦克风权限，并在页面上取消静音即可开始对话。\n\n### 方式二：本地脚本测试\n\n如果您只想测试预设的音频样本和视觉问答功能，无需启动服务器，可直接运行推理脚本：\n\n```sh\nconda activate omni\ncd mini-omni2\npython inference_vision.py\n```\n\n该脚本将加载模型并对内置的测试数据进行推理，输出结果将打印在终端中。","一位视障开发者正在远程调试一段包含复杂图表和语音注释的代码库，需要实时理解屏幕内容并与同事进行自然对话。\n\n### 没有 mini-omni2 时\n- **交互链路割裂**：必须分别运行图像识别模型、语音转文字（ASR）和文字转语音（TTS）三个独立服务，系统架构臃肿且维护成本高。\n- **响应延迟严重**：由于多模型串行处理，从看到图表到听到反馈往往有数秒延迟，无法实现流畅的“打断式”交流。\n- **多模态理解困难**：难以同时处理“看着图表说话”的场景，同事的语音解释和屏幕上的代码错误无法被同步关联分析。\n- **部署门槛高**：需要为不同组件配置复杂的依赖环境，且在边缘设备上几乎无法运行如此庞大的组合系统。\n\n### 使用 mini-omni2 后\n- **端到端一体化**：mini-omni2 单个模型即可直接接收图像、音频和文本输入，并直接输出语音，无需额外拼接 ASR 或 TTS 模块。\n- **实时双向互动**：凭借原生支持的流式语音输出和低延迟特性，开发者可在模型播报过程中随时喊停并插入新问题，体验如真人通话般自然。\n- **深度多模态融合**：模型能同步“看”懂屏幕截图中的代码逻辑，“听”懂同事的口头修正，并立即用语音给出综合解决方案。\n- **轻量便捷部署**：基于优化的架构，mini-omni2 可在普通消费级显卡甚至部分边缘设备上快速启动，大幅降低落地难度。\n\nmini-omni2 通过原生的全双工多模态交互能力，将繁琐的多模型串联流程简化为单一的实时语音对话，真正实现了开源界的\"GPT-4o\"级体验。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fgpt-omni_mini-omni2_0d2238b1.png","gpt-omni","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fgpt-omni_31737c67.png",null,"https:\u002F\u002Fgithub.com\u002Fgpt-omni",[77],{"name":78,"color":79,"percentage":80},"Python","#3572A5",100,1877,205,"2026-03-31T06:40:02","MIT","Linux","未说明（基于 Qwen2\u002FWhisper\u002FCLIP 架构，通常推理需要 NVIDIA GPU，具体显存需求未在文档中明确）","未说明",{"notes":89,"python":90,"dependencies":91},"1. 官方安装指南明确使用 conda 创建环境并指定 Python 3.10。\n2. Linux 环境下运行服务器需安装系统级依赖 ffmpeg (sudo apt-get install ffmpeg)。\n3. 运行本地 Streamlit 演示必须安装 PyAudio==0.2.14，且需在本地浏览器运行。\n4. 模型仅针对英语训练，输出仅限英语（虽可通过 Whisper 理解其他语言输入）。\n5. 架构依赖包括 Qwen2 (LLM), Whisper (音频编码), CLIP (图像编码), SNAC (音频解码)。","3.10",[92,93,94,95,96,97,98,99,100],"PyAudio==0.2.14","streamlit","ffmpeg","torch (隐含)","transformers (隐含)","whisper (隐含)","clip (隐含)","snac (隐含)","litGPT (隐含)",[35,15,102,103],"音频","其他","2026-03-27T02:49:30.150509","2026-04-07T01:51:09.965485",[107,112,117,122,127,132,137,141],{"id":108,"question_zh":109,"answer_zh":110,"source_url":111},20716,"运行 server.py 时出现 'Error opening input: No such file or directory' 错误怎么办？","这是因为视频流尚未激活。你需要点击界面上的 'START' 按钮来启动视频流，之后程序才能正常读取输入文件。后续可能会更新演示视频以更清楚地说明此过程。","https:\u002F\u002Fgithub.com\u002Fgpt-omni\u002Fmini-omni2\u002Fissues\u002F4",{"id":113,"question_zh":114,"answer_zh":115,"source_url":116},20717,"运行 Streamlit 时遇到 'ModuleNotFoundError: No module named utils' 错误如何解决？","这是路径配置问题。请进入项目根目录并设置 PYTHONPATH 环境变量。具体命令如下：\ncd mini-omni2\nexport PYTHONPATH=$(pwd):$PYTHONPATH\n设置完成后再次运行即可解决。","https:\u002F\u002Fgithub.com\u002Fgpt-omni\u002Fmini-omni2\u002Fissues\u002F21",{"id":118,"question_zh":119,"answer_zh":120,"source_url":121},20718,"在哪里可以下载模型所需的 checkpoint 文件？","你可以从 Hugging Face 手动下载所有相关文件：https:\u002F\u002Fhuggingface.co\u002Fgpt-omni\u002Fmini-omni2\u002Ftree\u002Fmain\n下载完成后，将所有文件放入项目目录下的 .\u002Fcheckpoint 文件夹中即可。","https:\u002F\u002Fgithub.com\u002Fgpt-omni\u002Fmini-omni2\u002Fissues\u002F42",{"id":123,"question_zh":124,"answer_zh":125,"source_url":126},20719,"在 Ubuntu 上安装 PyAudio 时遇到编译错误（缺少 Python.h）怎么办？","该错误通常是因为缺少 Python 开发头文件。你需要安装 python3-dev 包。在 Ubuntu\u002FDebian 系统上，请运行以下命令：\nsudo apt-get install python3-dev portaudio19-dev\n安装完成后再尝试 pip install pyaudio。","https:\u002F\u002Fgithub.com\u002Fgpt-omni\u002Fmini-omni2\u002Fissues\u002F24",{"id":128,"question_zh":129,"answer_zh":130,"source_url":131},20720,"如何为模型添加更自然的人声语音？","目前预训练模型不支持直接切换人声。若要实现此功能，需要使用包含人类对话的数据集对模型进行重新训练（re-train）。","https:\u002F\u002Fgithub.com\u002Fgpt-omni\u002Fmini-omni2\u002Fissues\u002F16",{"id":133,"question_zh":134,"answer_zh":135,"source_url":136},20721,"模型是否支持同时输入音频、视觉和文本，并输出文本或音频？","目前不支持混合输入。由于模型训练时未使用“文本 + 音频 + 图像”的混合数据，因此暂时无法同时处理这三种输入模式。","https:\u002F\u002Fgithub.com\u002Fgpt-omni\u002Fmini-omni2\u002Fissues\u002F34",{"id":138,"question_zh":139,"answer_zh":140,"source_url":111},20722,"为什么我的 Streamlit 响应速度很慢，生成令牌数很低？","这通常与计算平台性能有关。如果在 Streamlit 上想要实现实时、不间断的响应，理论最低速度需要达到每秒 13 个令牌（tokens\u002Fs）。如果当前速度仅为 5 tokens\u002Fs，说明硬件算力不足。目前模型使用的是原始 fp32 格式，未来社区可能会协助进行量化优化以提升速度。",{"id":142,"question_zh":143,"answer_zh":144,"source_url":145},20723,"在没有本地 GPU 的服务器上运行时，遇到 'Invalid input device (no default output device)' 音频错误怎么办？","这通常是因为服务器环境没有默认的音频输入\u002F输出设备。建议将后端服务部署在服务器上，而在本地电脑运行 Streamlit 界面，并通过 HTTP API 连接到服务器。即：服务器只运行推理部分，本地运行 webui 并指向服务器的 API 地址。","https:\u002F\u002Fgithub.com\u002Fgpt-omni\u002Fmini-omni2\u002Fissues\u002F23",[]]