[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-lhl--voicechat2":3,"tool-lhl--voicechat2":65},[4,17,27,35,48,57],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",151918,2,"2026-04-12T11:33:05",[13,14,15],"开发框架","Agent","语言模型","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,3,"2026-04-06T11:19:32",[15,26,14,13],"图像",{"id":28,"name":29,"github_repo":30,"description_zh":31,"stars":32,"difficulty_score":10,"last_commit_at":33,"category_tags":34,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,15],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":10,"last_commit_at":41,"category_tags":42,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",85092,"2026-04-10T11:13:16",[26,43,44,45,14,46,15,13,47],"数据工具","视频","插件","其他","音频",{"id":49,"name":50,"github_repo":51,"description_zh":52,"stars":53,"difficulty_score":54,"last_commit_at":55,"category_tags":56,"status":16},5784,"funNLP","fighting41love\u002FfunNLP","funNLP 是一个专为中文自然语言处理（NLP）打造的超级资源库，被誉为\"NLP 民工的乐园”。它并非单一的软件工具，而是一个汇集了海量开源项目、数据集、预训练模型和实用代码的综合性平台。\n\n面对中文 NLP 领域资源分散、入门门槛高以及特定场景数据匮乏的痛点，funNLP 提供了“一站式”解决方案。这里不仅涵盖了分词、命名实体识别、情感分析、文本摘要等基础任务的标准工具，还独特地收录了丰富的垂直领域资源，如法律、医疗、金融行业的专用词库与数据集，甚至包含古诗词生成、歌词创作等趣味应用。其核心亮点在于极高的全面性与实用性，从基础的字典词典到前沿的 BERT、GPT-2 模型代码，再到高质量的标注数据和竞赛方案，应有尽有。\n\n无论是刚刚踏入 NLP 领域的学生、需要快速验证想法的算法工程师，还是从事人工智能研究的学者，都能在这里找到急需的“武器弹药”。对于开发者而言，它能大幅减少寻找数据和复现模型的时间；对于研究者，它提供了丰富的基准测试资源和前沿技术参考。funNLP 以开放共享的精神，极大地降低了中文自然语言处理的开发与研究成本，是中文 AI 社区不可或缺的宝藏仓库。",79857,1,"2026-04-08T20:11:31",[15,43,46],{"id":58,"name":59,"github_repo":60,"description_zh":61,"stars":62,"difficulty_score":54,"last_commit_at":63,"category_tags":64,"status":16},6590,"gpt4all","nomic-ai\u002Fgpt4all","GPT4All 是一款让普通电脑也能轻松运行大型语言模型（LLM）的开源工具。它的核心目标是打破算力壁垒，让用户无需依赖昂贵的显卡（GPU）或云端 API，即可在普通的笔记本电脑和台式机上私密、离线地部署和使用大模型。\n\n对于担心数据隐私、希望完全掌控本地数据的企业用户、研究人员以及技术爱好者来说，GPT4All 提供了理想的解决方案。它解决了传统大模型必须联网调用或需要高端硬件才能运行的痛点，让日常设备也能成为强大的 AI 助手。无论是希望构建本地知识库的开发者，还是单纯想体验私有化 AI 聊天的普通用户，都能从中受益。\n\n技术上，GPT4All 基于高效的 `llama.cpp` 后端，支持多种主流模型架构（包括最新的 DeepSeek R1 蒸馏模型），并采用 GGUF 格式优化推理速度。它不仅提供界面友好的桌面客户端，支持 Windows、macOS 和 Linux 等多平台一键安装，还为开发者提供了便捷的 Python 库，可轻松集成到 LangChain 等生态中。通过简单的下载和配置，用户即可立即开始探索本地大模型的无限可能。",77307,"2026-04-11T06:52:37",[15,13],{"id":66,"github_repo":67,"name":68,"description_en":69,"description_zh":70,"ai_summary_zh":70,"readme_en":71,"readme_zh":72,"quickstart_zh":73,"use_case_zh":74,"hero_image_url":75,"owner_login":76,"owner_name":77,"owner_avatar_url":78,"owner_bio":79,"owner_company":80,"owner_location":81,"owner_email":82,"owner_twitter":82,"owner_website":83,"owner_url":84,"languages":85,"stars":98,"forks":99,"last_commit_at":100,"license":101,"difficulty_score":102,"env_os":103,"env_gpu":104,"env_ram":105,"env_deps":106,"category_tags":118,"github_topics":82,"view_count":10,"oss_zip_url":82,"oss_zip_packed_at":82,"status":16,"created_at":119,"updated_at":120,"faqs":121,"releases":162},6866,"lhl\u002Fvoicechat2","voicechat2","Local SRT\u002FLLM\u002FTTS Voicechat","voicechat2 是一款专为本地部署设计的高性能 AI 语音对话工具，旨在让用户在完全离线的环境下，实现低延迟的“语音输入 - 大模型思考 - 语音输出”全流程交互。它有效解决了传统云端语音服务存在的数据隐私顾虑、网络依赖以及高昂的 API 调用成本问题，让敏感数据无需离开本地即可享受智能对话体验。\n\n该工具特别适合具备一定技术基础的开发者、AI 研究人员以及注重隐私极客用户。其核心亮点在于高度模块化的架构设计：用户可自由组合替换语音识别（如 whisper.cpp、faster-whisper）、大语言模型（如 llama.cpp 或兼容 OpenAI 接口的服务）以及语音合成（如 Coqui-TTS、StyleTTS2、Piper 等）组件，灵活适配不同硬件与需求。借助 WebSocket 技术，voicechat2 不仅支持简单的远程访问，还内置了基于 Web 的交互界面和语音活动检测（VAD）功能。在性能表现上，优化后的配置在高端显卡上可将端到端延迟压缩至 300 毫秒左右，带来近乎实时的流畅对话体验，是构建私有化智能语音助手的理想选择。","# voicechat2\nA fast, fully local AI Voicechat using WebSockets\n- WebSocket server, allows for simple remote access\n- Default web UI w\u002F VAD using [ricky0123\u002Fvad](https:\u002F\u002Fgithub.com\u002Fricky0123\u002Fvad), Opus support using [symblai\u002Fopus-encdec](https:\u002F\u002Fgithub.com\u002Fsymblai\u002Fopus-encdec)\n- Modular\u002Fswappable SRT, LLM, TTS servers\n  - SRT: [whisper.cpp](https:\u002F\u002Fgithub.com\u002Fggerganov\u002Fwhisper.cpp), [faster-whisper](https:\u002F\u002Fgithub.com\u002FSYSTRAN\u002Ffaster-whisper), or [HF Transformers whisper](https:\u002F\u002Fhuggingface.co\u002Fdocs\u002Ftransformers\u002Fen\u002Fmodel_doc\u002Fwhisper)\n  - LLM: [llama.cpp](https:\u002F\u002Fgithub.com\u002Fggerganov\u002Fllama.cpp) or any OpenAI API compatible server\n  - TTS: [coqui-tts](https:\u002F\u002Fgithub.com\u002Fidiap\u002Fcoqui-ai-TTS), [StyleTTS2](https:\u002F\u002Fgithub.com\u002Fyl4579\u002FStyleTTS2), [Piper](https:\u002F\u002Fgithub.com\u002Frhasspy\u002Fpiper), [MeloTTS](https:\u002F\u002Fgithub.com\u002Fmyshell-ai\u002FMeloTTS)\n\n[voicechat2 demo video](https:\u002F\u002Fgithub.com\u002Fuser-attachments\u002Fassets\u002F498ce979-18b6-4225-b0da-01b6910e2bd7)\n\n\u003Csup>*Unmute to hear the audio*\u003C\u002Fsup>\n\nOn an 7900-class AMD RDNA3 card, voice-to-voice latency is in the 1 second range:\n- [distil-whisper\u002Fdistil-large-v2](https:\u002F\u002Fhuggingface.co\u002Fdistil-whisper\u002Fdistil-large-v2)\n- [bartowski\u002FMeta-Llama-3.1-8B-Instruct-GGUF](https:\u002F\u002Fhuggingface.co\u002Fbartowski\u002FMeta-Llama-3.1-8B-Instruct-GGUF) (Q4_K_M)\n- tts_models\u002Fen\u002Fvctk\u002Fvits (Coqui TTS default VITS models)\n\nOn a 4090, using [Faster Whisper](https:\u002F\u002Fgithub.com\u002FSYSTRAN\u002Ffaster-whisper) with [faster-distil-whisper-large-v2](https:\u002F\u002Fhuggingface.co\u002FSystran\u002Ffaster-distil-whisper-large-v2) we can cut the latency down to as low as 300ms:  \n\n[voicechat2 demo](https:\u002F\u002Fgithub.com\u002Fuser-attachments\u002Fassets\u002F5b8a3805-0116-4f7b-920d-231a2dbfb481)\n\nYou can of course run any model or swap out any of the SRT, LLM, TTS components as you like. For example, you can run [whisper.cpp](https:\u002F\u002Fgithub.com\u002Fggerganov\u002Fwhisper.cpp) for SRT, or we have a [StyleTTS2](https:\u002F\u002Fgithub.com\u002Fyl4579\u002FStyleTTS2) server in the test folder for an alternative TTS. For a bit more about this project, see my [Hackster.io writeup](https:\u002F\u002Fwww.hackster.io\u002Flhl\u002Fvoicechat2-local-ai-voice-chat-4c48f2).\n\n# Install\nThese installation instructions are for Ubuntu LTS and assume you've [setup your ROCm](https:\u002F\u002Frocm.docs.amd.com\u002Fprojects\u002Finstall-on-linux\u002Fen\u002Flatest\u002Ftutorial\u002Fquick-start.html) or [CUDA](https:\u002F\u002Fdocs.nvidia.com\u002Fcuda\u002Fcuda-installation-guide-linux\u002F) already.\n\nI recommend you use [conda](https:\u002F\u002Fdocs.conda.io\u002Fen\u002Flatest\u002F) or (my preferred), [mamba](https:\u002F\u002Fmamba.readthedocs.io\u002Fen\u002Flatest\u002Finstallation\u002Fmamba-installation.html) for environment management. It will make your life easier.\n\n## System Prereqs\n```\nsudo apt update\n\n# Not strictly required but the helpers we use\nsudo apt install byobu curl wget\n\n# Audio processing\nsudo apt install espeak-ng ffmpeg libopus0 libopus-dev \n```\n\n## Checkout code \n```\n# Create env\nmamba create -y -n voicechat2 python=3.11\n\n# Setup\nmamba activate voicechat2\ngit clone https:\u002F\u002Fgithub.com\u002Flhl\u002Fvoicechat2\ncd voicechat2\npip install -r requirements.txt\n```\n\n## llama.cpp\n```\n# Build llama.cpp\ngit clone https:\u002F\u002Fgithub.com\u002Fggerganov\u002Fllama.cpp\ncd llama.cpp\n# AMD version\nmake GGML_HIPBLAS=1 -j \n# Nvidia version\nmake GGML_CUDA=1 -j \n\n# Grab your preferred GGUF model\nwget https:\u002F\u002Fhuggingface.co\u002Fbartowski\u002FMeta-Llama-3-8B-Instruct-GGUF\u002Fresolve\u002Fmain\u002FMeta-Llama-3-8B-Instruct-Q4_K_M.gguf\n\n# If you're going to go to the next instruction\ncd ..\n```\n\nSome extra convenience scripts for launching:\n```\nrun-voicechat2.sh - on your GPU machine, tries to launch all servers in separate byobu sessions; update the MODEL variables\nremote-tunnel.sh - connect your GPU machine to a jump machine\nlocal-tunnel.sh - connect to the GPU machine via a jump machine\n```\n\n# Other AI Voicechat Projects\n\n## Speech To Speech\nA project released after voicechat2 that uses a similar modular approach but is local device oriented\n- https:\u002F\u002Fgithub.com\u002Feustlb\u002Fspeech-to-speech\n- No license?\n\n## webrtc-ai-voice-chat\nThe demo shows a fair amount of latency (~10s) but this project isn't the closest to what we're doing (it uses WebRTC not websockets) from voicechat2 (HF Transformers, Ollama)\n- https:\u002F\u002Fgithub.com\u002Flalanikarim\u002Fwebrtc-ai-voice-chat\n- Apache 2.0\n\n## june\nA console-based local client (HF Transformers, Ollama, Coqui TTS, PortAudio)\n- https:\u002F\u002Fgithub.com\u002Fmezbaul-h\u002Fjune\n- MIT\n\n## GlaDOS\nThis is a very responsive console-based local-client app that also has VAD and interruption support, plus a really clever hook! (whisper.cpp, llama.cpp, piper, espeak)\n- https:\u002F\u002Fgithub.com\u002Fdnhkng\u002FGlaDOS\n- MIT\n\n## local-talking-llm\nAnother console-based local client, more of a proof of concept but with w\u002F blog writeup.\n- https:\u002F\u002Fgithub.com\u002Fvndee\u002Flocal-talking-llm\n- https:\u002F\u002Fblog.duy.dev\u002Fbuild-your-own-voice-assistant-and-run-it-locally\u002F\n- MIT\n\n## BUD-E - natural_voice_assistant\nAnother console-based local client (FastConformer, HF Transformers, StyleTTS2, espeak)\n- https:\u002F\u002Fgithub.com\u002FLAION-AI\u002Fnatural_voice_assistant\n- MIT\n\n## LocalAIVoiceChat\nKoljaB has a number of interesting projects around console-based local clients like [RealtimeSTT](https:\u002F\u002Fgithub.com\u002FKoljaB\u002FRealtimeSTT), [RealtimeTTS](https:\u002F\u002Fgithub.com\u002FKoljaB\u002FRealtimeTTS), [Linguflex](https:\u002F\u002Fgithub.com\u002FKoljaB\u002FLinguflex), etc. (faster_whisper, llama.cpp, Coqui XTTS)\n- https:\u002F\u002Fgithub.com\u002FKoljaB\u002FLocalAIVoiceChat\n- NC (Coqui Model License)\n\n## rtvi-web-demo\nThis is *not* a local voicechat client, but it does have a neat WebRTC front-end, so might be worth poking around into (Vite\u002FReact, Tailwind, Radix)\n- https:\u002F\u002Fgithub.com\u002Frtvi-ai\u002Frtvi-web-demo\n","# voicechat2\n一个基于 WebSocket 的快速、完全本地的 AI 语音聊天系统\n- WebSocket 服务器，支持简单的远程访问\n- 默认 Web UI 配备 VAD 功能，使用 [ricky0123\u002Fvad](https:\u002F\u002Fgithub.com\u002Fricky0123\u002Fvad)，并支持 Opus 编解码，使用 [symblai\u002Fopus-encdec](https:\u002F\u002Fgithub.com\u002Fsymblai\u002Fopus-encdec)\n- 模块化\u002F可替换的 SRT、LLM 和 TTS 服务器\n  - SRT：[whisper.cpp](https:\u002F\u002Fgithub.com\u002Fggerganov\u002Fwhisper.cpp)、[faster-whisper](https:\u002F\u002Fgithub.com\u002FSYSTRAN\u002Ffaster-whisper) 或 [HF Transformers whisper](https:\u002F\u002Fhuggingface.co\u002Fdocs\u002Ftransformers\u002Fen\u002Fmodel_doc\u002Fwhisper)\n  - LLM：[llama.cpp](https:\u002F\u002Fgithub.com\u002Fggerganov\u002Fllama.cpp) 或任何兼容 OpenAI API 的服务器\n  - TTS：[coqui-tts](https:\u002F\u002Fgithub.com\u002Fidiap\u002Fcoqui-ai-TTS)、[StyleTTS2](https:\u002F\u002Fgithub.com\u002Fyl4579\u002FStyleTTS2)、[Piper](https:\u002F\u002Fgithub.com\u002Frhasspy\u002Fpiper)、[MeloTTS](https:\u002F\u002Fgithub.com\u002Fmyshell-ai\u002FMeloTTS)\n\n[voicechat2 演示视频](https:\u002F\u002Fgithub.com\u002Fuser-attachments\u002Fassets\u002F498ce979-18b6-4225-b0da-01b6910e2bd7)\n\n\u003Csup>*请取消静音以收听音频*\u003C\u002Fsup>\n\n在 AMD RDNA3 架构的 7900 系列显卡上，语音到语音的延迟约为 1 秒：\n- [distil-whisper\u002Fdistil-large-v2](https:\u002F\u002Fhuggingface.co\u002Fdistil-whisper\u002Fdistil-large-v2)\n- [bartowski\u002FMeta-Llama-3.1-8B-Instruct-GGUF](https:\u002F\u002Fhuggingface.co\u002Fbartowski\u002FMeta-Llama-3.1-8B-Instruct-GGUF) (Q4_K_M)\n- tts_models\u002Fen\u002Fvctk\u002Fvits（Coqui TTS 默认 VITS 模型）\n\n而在 RTX 4090 上，使用 [Faster Whisper](https:\u002F\u002Fgithub.com\u002FSYSTRAN\u002Ffaster-whisper) 和 [faster-distil-whisper-large-v2](https:\u002F\u002Fhuggingface.co\u002FSystran\u002Ffaster-distil-whisper-large-v2)，延迟可以降低至低至 300 毫秒：\n\n[voicechat2 演示](https:\u002F\u002Fgithub.com\u002Fuser-attachments\u002Fassets\u002F5b8a3805-0116-4f7b-920d-231a2dbfb481)\n\n当然，你可以根据需要运行任何模型，或随意更换 SRT、LLM 和 TTS 组件。例如，你可以使用 [whisper.cpp](https:\u002F\u002Fgithub.com\u002Fggerganov\u002Fwhisper.cpp) 作为 SRT，或者在测试文件夹中找到一个 [StyleTTS2](https:\u002F\u002Fgithub.com\u002Fyl4579\u002FStyleTTS2) 服务器作为替代的 TTS 选择。若想了解更多关于该项目的信息，请参阅我的 [Hackster.io 文章](https:\u002F\u002Fwww.hackster.io\u002Flhl\u002Fvoicechat2-local-ai-voice-chat-4c48f2)。\n\n# 安装\n以下安装说明适用于 Ubuntu LTS，并假定你已经完成了 [ROCm](https:\u002F\u002Frocm.docs.amd.com\u002Fprojects\u002Finstall-on-linux\u002Fen\u002Flatest\u002Ftutorial\u002Fquick-start.html) 或 [CUDA](https:\u002F\u002Fdocs.nvidia.com\u002Fcuda\u002Fcuda-installation-guide-linux\u002F) 的设置。\n\n我建议使用 [conda](https:\u002F\u002Fdocs.conda.io\u002Fen\u002Flatest\u002F) 或（我个人更推荐）[mamba](https:\u002F\u002Fmamba.readthedocs.io\u002Fen\u002Flatest\u002Finstallation\u002Fmamba-installation.html) 来管理环境，这会让操作更加便捷。\n\n## 系统先决条件\n```\nsudo apt update\n\n# 并非严格必要，但对我们使用的工具很有帮助\nsudo apt install byobu curl wget\n\n# 音频处理\nsudo apt install espeak-ng ffmpeg libopus0 libopus-dev \n```\n\n## 克隆代码\n```\n# 创建环境\nmamba create -y -n voicechat2 python=3.11\n\n# 设置\nmamba activate voicechat2\ngit clone https:\u002F\u002Fgithub.com\u002Flhl\u002Fvoicechat2\ncd voicechat2\npip install -r requirements.txt\n```\n\n## llama.cpp\n```\n# 构建 llama.cpp\ngit clone https:\u002F\u002Fgithub.com\u002Fggerganov\u002Fllama.cpp\ncd llama.cpp\n# AMD 版本\nmake GGML_HIPBLAS=1 -j \n# Nvidia 版本\nmake GGML_CUDA=1 -j \n\n# 下载你喜欢的 GGUF 模型\nwget https:\u002F\u002Fhuggingface.co\u002Fbartowski\u002FMeta-Llama-3-8B-Instruct-GGUF\u002Fresolve\u002Fmain\u002FMeta-Llama-3-8B-Instruct-Q4_K_M.gguf\n\n# 如果要继续下一步\ncd ..\n```\n\n一些方便的启动脚本：\n```\nrun-voicechat2.sh - 在你的 GPU 机器上尝试在独立的 byobu 会话中启动所有服务器；请更新 MODEL 变量\nremote-tunnel.sh - 将你的 GPU 机器连接到跳板机\nlocal-tunnel.sh - 通过跳板机连接到 GPU 机器\n```\n\n# 其他 AI 语音聊天项目\n\n## Speech To Speech\n一个在 voicechat2 之后发布的项目，采用类似的模块化方法，但更偏向于本地设备端应用\n- https:\u002F\u002Fgithub.com\u002Feustlb\u002Fspeech-to-speech\n- 无许可证？\n\n## webrtc-ai-voice-chat\n演示显示延迟较大（约 10 秒），但该项目与 voicechat2 的实现方式并不完全一致（它使用 WebRTC 而不是 WebSocket）。voicechat2 使用的是 HF Transformers 和 Ollama。\n- https:\u002F\u002Fgithub.com\u002Flalanikarim\u002Fwebrtc-ai-voice-chat\n- Apache 2.0\n\n## june\n一个基于控制台的本地客户端（HF Transformers、Ollama、Coqui TTS、PortAudio）\n- https:\u002F\u002Fgithub.com\u002Fmezbaul-h\u002Fjune\n- MIT\n\n## GlaDOS\n这是一个响应迅速的基于控制台的本地客户端，具备 VAD 和打断功能，并且有一个非常巧妙的钩子！（whisper.cpp、llama.cpp、piper、espeak）\n- https:\u002F\u002Fgithub.com\u002Fdnhkng\u002FGlaDOS\n- MIT\n\n## local-talking-llm\n另一个基于控制台的本地客户端，更像是一个概念验证，附带博客文章。\n- https:\u002F\u002Fgithub.com\u002Fvndee\u002Flocal-talking-llm\n- https:\u002F\u002Fblog.duy.dev\u002Fbuild-your-own-voice-assistant-and-run-it-locally\u002F\n- MIT\n\n## BUD-E - natural_voice_assistant\n另一个基于控制台的本地客户端（FastConformer、HF Transformers、StyleTTS2、espeak）\n- https:\u002F\u002Fgithub.com\u002FLAION-AI\u002Fnatural_voice_assistant\n- MIT\n\n## LocalAIVoiceChat\nKoljaB 拥有一系列有趣的基于控制台的本地客户端项目，如 [RealtimeSTT](https:\u002F\u002Fgithub.com\u002FKoljaB\u002FRealtimeSTT)、[RealtimeTTS](https:\u002F\u002Fgithub.com\u002FKoljaB\u002FRealtimeTTS)、[Linguflex](https:\u002F\u002Fgithub.com\u002FKoljaB\u002FLinguflex) 等（faster_whisper、llama.cpp、Coqui XTTS）。\n- https:\u002F\u002Fgithub.com\u002FKoljaB\u002FLocalAIVoiceChat\n- NC（Coqui 模型许可）\n\n## rtvi-web-demo\n这并不是一个本地语音聊天客户端，但它有一个简洁的 WebRTC 前端，或许值得探索一下（Vite\u002FReact、Tailwind、Radix）。\n- https:\u002F\u002Fgithub.com\u002Frtvi-ai\u002Frtvi-web-demo","# voicechat2 快速上手指南\n\nvoicechat2 是一个快速、完全本地化的 AI 语音聊天工具，基于 WebSocket 实现。它支持模块化替换语音识别 (SRT)、大语言模型 (LLM) 和语音合成 (TTS) 组件，适合在本地部署低延迟的语音交互系统。\n\n## 环境准备\n\n### 系统要求\n- **操作系统**: Ubuntu LTS (推荐)\n- **GPU 驱动**: \n  - AMD 显卡：需预先安装 [ROCm](https:\u002F\u002Frocm.docs.amd.com\u002Fprojects\u002Finstall-on-linux\u002Fen\u002Flatest\u002Ftutorial\u002Fquick-start.html)\n  - NVIDIA 显卡：需预先安装 [CUDA](https:\u002F\u002Fdocs.nvidia.com\u002Fcuda\u002Fcuda-installation-guide-linux\u002F)\n- **性能参考**:\n  - AMD RDNA3 (7900 系列): 端到端延迟约 1 秒\n  - NVIDIA RTX 4090 (配合 Faster Whisper): 延迟可低至 300ms\n\n### 前置依赖\n安装必要的系统工具和音频处理库：\n\n```bash\nsudo apt update\n\n# 安装辅助工具（非严格必须但推荐使用）\nsudo apt install byobu curl wget\n\n# 安装音频处理依赖\nsudo apt install espeak-ng ffmpeg libopus0 libopus-dev \n```\n\n## 安装步骤\n\n### 1. 创建虚拟环境\n推荐使用 `mamba` 或 `conda` 管理环境（以下以 mamba 为例）：\n\n```bash\n# 创建 Python 3.11 环境\nmamba create -y -n voicechat2 python=3.11\n\n# 激活环境\nmamba activate voicechat2\n\n# 克隆项目代码\ngit clone https:\u002F\u002Fgithub.com\u002Flhl\u002Fvoicechat2\ncd voicechat2\n\n# 安装 Python 依赖\n# 提示：国内用户可配置 pip 镜像源加速下载\npip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n### 2. 编译 LLM 后端 (llama.cpp)\n根据显卡类型选择对应的编译指令：\n\n```bash\n# 克隆 llama.cpp\ngit clone https:\u002F\u002Fgithub.com\u002Fggerganov\u002Fllama.cpp\ncd llama.cpp\n\n# AMD 显卡编译命令\nmake GGML_HIPBLAS=1 -j \n\n# NVIDIA 显卡编译命令\nmake GGML_CUDA=1 -j \n\n# 下载模型文件 (示例：Llama-3-8B-Instruct Q4_K_M)\nwget https:\u002F\u002Fhuggingface.co\u002Fbartowski\u002FMeta-Llama-3-8B-Instruct-GGUF\u002Fresolve\u002Fmain\u002FMeta-Llama-3-8B-Instruct-Q4_K_M.gguf\n\n# 返回项目根目录\ncd ..\n```\n*注：国内访问 HuggingFace 较慢，建议使用镜像站（如 hf-mirror.com）下载模型。*\n\n### 3. 启动服务\n项目提供了便捷的启动脚本，利用 `byobu` 在多个会话中并行启动各组件服务器。\n\n在使用前，请编辑 `run-voicechat2.sh` 脚本，更新其中的 `MODEL` 变量为你实际下载的模型路径。\n\n```bash\n# 在 GPU 机器上运行，自动拉起所有服务\n.\u002Frun-voicechat2.sh\n```\n\n*其他辅助脚本:*\n- `remote-tunnel.sh`: 将 GPU 机器连接到跳板机。\n- `local-tunnel.sh`: 通过跳板机连接回 GPU 机器。\n\n## 基本使用\n\n1. **启动服务**: 执行上述 `.\u002Frun-voicechat2.sh` 脚本。\n2. **访问界面**: 脚本运行后，默认会启动一个基于 Web 的用户界面。通常在浏览器中访问 `http:\u002F\u002Flocalhost:PORT` (具体端口查看脚本输出日志)。\n3. **开始对话**:\n   - 网页界面集成了 VAD (语音活动检测) 和 Opus 编码支持。\n   - 允许麦克风权限，直接对着麦克风说话。\n   - 系统将自动完成：语音转文字 -> LLM 推理 -> 文字转语音 的全流程，并播放回复音频。\n\n**自定义组件**:\n你可以随时替换模块。例如：\n- **SRT (语音识别)**: 可切换为 `whisper.cpp`, `faster-whisper` 或 `HF Transformers`。\n- **TTS (语音合成)**: 项目测试文件夹中包含了 `StyleTTS2` 服务端示例，也可使用 `Coqui-TTS`, `Piper`, `MeloTTS` 等。","一位专注于隐私保护的独立开发者，希望在本地搭建一套低延迟的 AI 语音助手，用于在离线环境下进行实时的代码逻辑咨询与文档整理。\n\n### 没有 voicechat2 时\n- **隐私泄露风险高**：必须依赖云端 API 处理语音和文本，敏感的代码片段或内部业务逻辑存在上传外泄的隐患。\n- **响应延迟严重**：网络传输加上云端排队，导致语音对话的端到端延迟往往超过数秒，打断思维连贯性，无法实现自然流畅的“对讲”体验。\n- **架构耦合紧密**：语音识别（STT）、大模型（LLM）和语音合成（TTS）通常被绑定在单一重型服务中，难以针对特定硬件（如 AMD 显卡）单独优化某个模块。\n- **部署成本高昂**：缺乏统一的本地 WebSocket 服务框架，需要手动拼接多个开源项目，配置复杂且难以维护远程访问接口。\n\n### 使用 voicechat2 后\n- **数据完全本地化**：利用 whisper.cpp 和 llama.cpp 等组件，所有音频解析、推理和合成均在本地 GPU 完成，确保核心数据不出内网。\n- **极致低延迟交互**：在 RTX 4090 等硬件上，通过模块化优化将语音到语音的延迟压缩至 300ms 左右，实现了接近真人对话的即时响应。\n- **灵活模块替换**：支持自由 swapping 组件，例如针对 AMD 显卡切换 ROCm 版本的 llama.cpp，或替换为 StyleTTS2 以获得更自然的音色，完美适配异构硬件。\n- **开箱即用的远程接入**：内置 WebSocket 服务器和默认 Web UI，配合简单的隧道脚本，即可安全地从其他设备远程访问本地算力资源。\n\nvoicechat2 通过全本地化、模块化及低延迟的特性，让开发者能够在保障数据绝对安全的前提下，拥有媲美云服务的流畅 AI 语音交互体验。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Flhl_voicechat2_8eba78f3.png","lhl","Leonard","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Flhl_2728efe7.jpg","Independent technologist, CTO @shisa-ai ","@AUGMXNT","Tokyo",null,"http:\u002F\u002Frandomfoo.net\u002F","https:\u002F\u002Fgithub.com\u002Flhl",[86,90,94],{"name":87,"color":88,"percentage":89},"Python","#3572A5",74.2,{"name":91,"color":92,"percentage":93},"HTML","#e34c26",23,{"name":95,"color":96,"percentage":97},"Shell","#89e051",2.8,770,90,"2026-04-12T06:47:54","Apache-2.0",4,"Linux","必需。支持 NVIDIA (CUDA) 或 AMD (ROCm) GPU。示例中提到 RTX 4090 和 AMD RDNA3 (7900 系列)。需自行安装 CUDA 或 ROCm 驱动。","未说明 (取决于所选 LLM 和 STT 模型大小，运行 8B 模型建议 16GB+)",{"notes":107,"python":108,"dependencies":109},"1. 安装说明仅针对 Ubuntu LTS，假设已预先配置好 ROCm 或 CUDA 环境。\n2. 强烈建议使用 conda 或 mamba 进行环境管理。\n3. 系统需预装 espeak-ng, ffmpeg, libopus0, libopus-dev 等音频处理库。\n4. 如需使用 llama.cpp，需根据显卡类型 (AMD\u002FNvidia) 手动编译并开启对应加速选项 (GGML_HIPBLAS 或 GGML_CUDA)。\n5. 延迟表现取决于硬件：RTX 4090 可达 300ms，AMD 7900 系列约为 1 秒。","3.11",[110,111,112,113,114,115,116,117],"whisper.cpp 或 faster-whisper 或 transformers (STT)","llama.cpp 或 OpenAI API 兼容服务 (LLM)","coqui-tts 或 StyleTTS2 或 Piper 或 MeloTTS (TTS)","ricky0123\u002Fvad (VAD)","symblai\u002Fopus-encdec (Opus)","ffmpeg","libopus","espeak-ng",[15,47],"2026-03-27T02:49:30.150509","2026-04-12T20:16:07.400647",[122,127,132,137,142,147,152,157],{"id":123,"question_zh":124,"answer_zh":125,"source_url":126},30965,"停止录音时出现 'Cannot read properties of undefined (reading 'stop')' 错误怎么办？","这通常是一个服务器端连接问题。请检查：1. 确保后端服务器正在运行；2. 确认浏览器支持并允许与该服务器建立 WebSocket 连接；3. 检查网络延迟显示是否为 0，如果是，说明客户端未能正确连接到服务器。","https:\u002F\u002Fgithub.com\u002Flhl\u002Fvoicechat2\u002Fissues\u002F14",{"id":128,"question_zh":129,"answer_zh":130,"source_url":131},30966,"遇到 'VAD Initialization Error'（语音活动检测初始化错误）如何解决？","该错误通常与特定浏览器版本有关。建议尝试以下方案：1. 查看浏览器控制台中的具体报错信息；2. 完全禁用 VAD 功能，改用手动开始\u002F停止录音模式。该项目使用的浏览器端 VAD 基于 ricky0123\u002Fvad 库。","https:\u002F\u002Fgithub.com\u002Flhl\u002Fvoicechat2\u002Fissues\u002F17",{"id":133,"question_zh":134,"answer_zh":135,"source_url":136},30967,"在只有 CPU 和 16GB 内存的 Linux 服务器上性能如何？","官方未提供具体的基准测试数据，因为性能高度依赖于具体的硬件配置和模型大小。维护者建议用户在自有环境中进行测试并反馈结果。一般来说，没有 GPU 加速会导致推理速度显著下降。","https:\u002F\u002Fgithub.com\u002Flhl\u002Fvoicechat2\u002Fissues\u002F18",{"id":138,"question_zh":139,"answer_zh":140,"source_url":141},30968,"如何在项目中替换或测试不同的语音处理组件（如 ASR 或 TTS）？","项目中的 `test` 文件夹包含多种不同的实现方案供尝试。如果你想利用 VoiceChat2 的前端来报告延迟数据，可以直接交换组件，将其作为测试平台使用。","https:\u002F\u002Fgithub.com\u002Flhl\u002Fvoicechat2\u002Fissues\u002F16",{"id":143,"question_zh":144,"answer_zh":145,"source_url":146},30969,"启动程序时出现关于 `torch.load` 和 `weights_only=False` 的警告如何处理？","这是一个来自 PyTorch 的未来版本兼容性警告，提示默认行为将在未来更改以增强安全性。目前可以直接忽略该警告，它不会影响程序的正常运行。","https:\u002F\u002Fgithub.com\u002Flhl\u002Fvoicechat2\u002Fissues\u002F11",{"id":148,"question_zh":149,"answer_zh":150,"source_url":151},30970,"macOS 系统支持运行该项目吗？","支持，项目可以在 macOS 上运行。但是，处理速度将完全取决于你系统的硬件性能（特别是是否有 Apple Silicon 芯片或独立显卡）。","https:\u002F\u002Fgithub.com\u002Flhl\u002Fvoicechat2\u002Fissues\u002F9",{"id":153,"question_zh":154,"answer_zh":155,"source_url":156},30971,"为什么集成 SenseVoice 时会调用 ffmpeg 失败？","已知的一个问题是，虽然 ffmpeg 单独读取临时文件没有问题，但在项目内部调用 ffmpeg 处理 SenseVoice 的输出时会失败。这可能需要检查 ffmpeg 的路径配置或临时文件的权限问题。","https:\u002F\u002Fgithub.com\u002Flhl\u002Fvoicechat2\u002Fissues\u002F6",{"id":158,"question_zh":159,"answer_zh":160,"source_url":161},30972,"浏览器端的 VAD（语音活动检测）有什么限制或依赖？","浏览器端 VAD 依赖于 Opus 编码。由于 Firefox 不允许随意更改采样率匹配，因此在某些浏览器上可能仅支持 VAD 模式。如果遇到兼容性问题，可能需要替换 Opus 编码器实现（如使用 libopusjs 等库）。","https:\u002F\u002Fgithub.com\u002Flhl\u002Fvoicechat2\u002Fissues\u002F3",[]]