quillman
quillman 是一款基于 Moshi 语音大模型构建的开源实时语音聊天应用。它致力于解决传统语音交互中响应延迟高、对话不连贯的痛点，通过双向流式传输技术，让用户与 AI 的交流如同真人对话般自然流畅，在良好网络环境下几乎实现零延迟响应。
这款工具的核心亮点在于集成了 Kyutai Lab 研发的 Moshi 模型，能够持续聆听、规划并即时回应；同时采用 Mimi 流式编解码器维持不间断的音频流，并利用 Opus 编码压缩网络传输数据，确保了极高的交互效率。此外，项目基于 Modal 云平台部署，后端使用 FastAPI 提供 WebSocket 接口，前端则采用 React 构建，架构清晰且易于扩展。
quillman 非常适合开发者和技术研究人员使用。对于希望探索语音大模型应用的开发者而言，它提供了一个完整的代码起点和实验场，方便快速搭建自己的智能语音助手；对于研究人员，它则是测试语音 - 文本基础模型交互逻辑的理想平台。虽然普通用户也可通过演示链接体验其丝滑的对话能力，但其主要价值在于为技术社区提供了一套可复用、可定制的开源解决方案，推动语音交互技术的创新与实践。
使用场景
一位远程客服主管需要为夜班团队部署一个能实时响应客户咨询的语音助手，以缓解人力不足的压力。
没有 quillman 时
- 传统语音机器人必须等用户说完一整句话并静音后，经过漫长的云端转录和推理才能开始回应，导致对话中出现尴尬的长时间停顿。
- 系统架构复杂，开发者需分别搭建语音识别、文本大模型和语音合成三个独立服务，自行处理音频流拼接，延迟极高且容易断连。
- 无法实现自然的“打断”功能，当用户在机器人回答过程中插话时，系统往往充耳不闻，继续播放完预设内容，体验极差。
- 音频压缩效率低，在网络波动时通话质量严重下降，甚至出现卡顿或杂音，影响客户满意度。
使用 quillman 后
- 依托 Moshi 模型的端到端语音能力，quillman 实现了双向流式传输，能在用户话音未落时就开始规划回复，响应速度接近真人对话节奏。
- 开箱即用的全栈架构集成了 Mimi 编解码器与 Opus 音频编码，开发者只需通过 Modal 部署即可拥有低延迟、高保真的连续语音流，无需繁琐集成。
- 支持自然的全双工交互，当用户中途打断时，quillman 能立即感知并停止当前输出，转而倾听新指令，交互流畅度大幅提升。
- 高效的音频压缩算法确保即使在一般网络环境下，也能维持清晰稳定的通话质量，保障夜间客户服务不掉线。
quillman 通过将复杂的流式语音模型工程化封装，让开发者能以极低门槛构建出具备“类人”反应速度的实时语音应用。
运行环境要求
- 未说明
未说明 (后端基于 Modal 平台运行，具体 GPU 配置由 Modal 自动管理)
未说明
快速开始
QuiLLMan: 与 Moshi 的语音聊天
一款由语音到语音语言模型和双向流式传输驱动的完整语音聊天应用。
后端使用 Kyutai Lab 的 Moshi 模型，该模型会持续监听、规划并响应用户。它利用 Mimi 流式编码器/解码器模型来保持音频输入输出的不间断流，并使用一个 语音-文本基础模型 来决定何时以及如何做出回应。
得益于双向 WebSocket 流式传输以及在网络上传输音频时采用 Opus 音频编解码器 进行压缩，在网络状况良好的情况下，响应时间几乎可以做到即时，与人类说话的节奏非常接近。
您可以在这里找到实时演示。
此仓库旨在作为您构建基于语言模型的应用程序的起点，同时也可作为实验的游乐场。欢迎并鼓励大家贡献代码！
[注：此代码仅用于示例说明；在将任何模型用于商业用途之前，请务必检查其许可证。]
文件结构
- React 前端（
src/frontend/），由src/app.py提供服务 - Moshi WebSocket 服务器（
src/moshi.py）
本地开发
要求
- 在当前 Python 虚拟环境中安装
modal（pip install modal） - 拥有一个 Modal 账户（
modal setup） - 在您的环境中设置 Modal 令牌（
modal token new）
推理模块的开发
Moshi 服务器是一个 Modal 类 模块，用于加载模型并维护流式状态，同时配备一个 FastAPI HTTP 服务器，以通过互联网暴露 WebSocket 接口。
要为 Moshi 模块运行一个开发服务器，请从仓库根目录运行以下命令：
modal serve -m src.moshi
终端输出中会显示一个用于建立 WebSocket 连接的 URL。
当 modal serve 进程运行时，对项目文件的任何更改都会自动生效。按 Ctrl+C 可停止应用程序。
测试 WebSocket 连接
我们可以在另一个终端中，使用 tests/moshi_client.py 客户端直接从命令行测试 WebSocket 连接。
它需要一些非标准依赖项，可以通过以下命令安装：
python -m venv venv
source venv/bin/activate
pip install -r requirements/requirements-dev.txt
安装好依赖后，运行终端客户端：
python tests/moshi_client.py
然后就可以开始讲话了！请确保您的麦克风和扬声器已启用。
HTTP 服务器和前端的开发
位于 src/app.py 的 HTTP 服务器是第二个 FastAPI 应用程序，用于将前端作为静态文件提供服务。
可以使用以下命令运行一个开发服务器：
modal serve src.app
由于 src/app.py 导入了 src/moshi.py 模块，这也会启动 Moshi WebSocket 服务器。
终端输出中会显示一个 URL，您可以访问该 URL 来使用您的应用。
当 modal serve 进程运行时，对项目文件的任何更改都会自动生效。按 Ctrl+C 可停止应用程序。
请注意，对于前端更改，可能需要清除浏览器缓存。
部署到 Modal
当您对更改满意后，即可部署您的应用：
modal deploy src.app
这将同时部署前端服务器和 Moshi WebSocket 服务器。
需要注意的是，在 Modal 上保持应用部署并不会产生任何费用！Modal 应用程序是无服务器架构，不使用时会缩放到零。
相似工具推荐
stable-diffusion-webui
stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。 无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。
everything-claude-code
everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。 通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。 这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上
ComfyUI
ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。 这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。 无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。
NextChat
NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。 这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。 NextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。
ML-For-Beginners
ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。 无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。
ragflow
RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。 在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。 这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。