Open-LLM-VTuber

📢 v2.0 Development: 我们正在专注于 Open-LLM-VTuber v2.0 —— 代码库的彻底重写。v2.0 目前处于早期讨论和规划阶段。我们恳请您暂时不要为 v1 提交新的功能需求 issue 或 pull request。如需参与 v2 的讨论或贡献，请加入我们在 Zulip 上的开发者社区。每周会议安排将在 Zulip 上公布。我们将继续修复 v1 的 bug，并处理现有的 pull request。

英文 README | 中文 README | 韩语 README | 日语 README

Documentation |

常见问题 Common Issues doc (Written in Chinese): https://docs.qq.com/pdf/DTFZGQXdTUXhIYWRq

User Survey: https://forms.gle/w6Y6PiHTZr1nzbtWA

调查问卷(中文): https://wj.qq.com/s2/16150415/f50a/

:warning: 本项目尚处于早期阶段，目前正处于积极开发中。

:warning: 如果您希望远程运行服务器并在其他设备上访问它，例如在电脑上运行服务器而在手机上访问，您需要配置 https，因为前端的麦克风只能在安全上下文中启动（即 https 或 localhost）。请参阅 MDN Web Doc。因此，您应该通过反向代理配置 https，以便在远程设备（非 localhost）上访问该页面。

⭐️ 什么是这个项目？

Open-LLM-VTuber 是一款独特的语音交互式 AI 伴侣，不仅支持实时语音对话和视觉感知，还拥有生动的Live2D 头像。所有功能均可在您的电脑上完全离线运行！

您可以将其视为自己的私人 AI 伴侣——无论您想要一个 虚拟女友、男友、可爱宠物，还是任何其他角色，它都能满足您的期望。该项目全面支持 Windows、macOS 和 Linux，并提供两种使用模式：网页版和桌面客户端（特别支持透明背景桌面宠物模式，让 AI 伴侣可以伴随您在屏幕上的任何位置）。

尽管长期记忆功能暂时移除（即将回归），但由于聊天记录的持久化存储，您始终可以继续之前未完成的对话，不会丢失任何珍贵的互动时刻。

在后端支持方面，我们集成了丰富的 LLM 推理、文本转语音和语音识别解决方案。如果您想自定义您的 AI 伴侣，可以参考 角色定制指南 来调整 AI 伴侣的外观和个性。

之所以命名为 Open-LLM-Vtuber 而不是 Open-LLM-Companion 或 Open-LLM-Waifu，是因为项目的最初开发目标是利用可在 Windows 以外的平台上离线运行的开源解决方案，重现闭源 AI Vtuber neuro-sama。

👀 演示

✨ 特色与亮点

• 🖥️ 跨平台支持：完美兼容 macOS、Linux 和 Windows。我们支持 NVIDIA 和非 NVIDIA GPU，并提供在 CPU 上运行或使用云端 API 来处理资源密集型任务的选项。部分组件还支持在 macOS 上进行 GPU 加速。

• 🔒 离线模式支持：完全离线运行，仅使用本地模型——无需联网。您的对话全程保存在设备上，确保隐私与安全。

• 💻 美观且强大的网页端与桌面端客户端：同时提供网页版和桌面端两种使用模式，支持丰富的交互功能与个性化设置。桌面端客户端可在窗口模式与桌面宠物模式之间自由切换，让 AI 伴侣时刻陪伴在您身边。

• 🎯 高级交互功能：

  • 👁️ 视觉感知，支持摄像头、屏幕录制与截图，让您的 AI 伴侣能够“看见”您和您的屏幕。
  • 🎤 无需耳机即可语音打断（AI 不会听到自己的声音）。
  • 🫱 触控反馈，通过点击或拖拽与您的 AI 伴侣互动。
  • 😊 Live2D 表情，可从后台设置情绪映射以控制模型表情。
  • 🐱 宠物模式，支持透明背景、全局置顶以及鼠标穿透——您可以将 AI 伴侣拖动到屏幕上的任意位置。
  • 💭 显示 AI 的内心想法，让您无需言语即可看到 AI 的表情、思绪与行为。
  • 🗣️ AI 主动发言功能。
  • 💾 聊天记录持久化，随时切换回之前的对话。
  • 🌍 支持 TTS 翻译（例如，您用中文聊天，而 AI 使用日语语音）。

• 🧠 广泛的模型支持：

  • 🤖 大语言模型（LLM）：Ollama、OpenAI（以及任何 OpenAI 兼容的 API）、Gemini、Claude、Mistral、DeepSeek、智谱 AI、GGUF、LM Studio、vLLM 等。
  • 🎙️ 自动语音识别（ASR）：sherpa-onnx、FunASR、Faster-Whisper、Whisper.cpp、Whisper、Groq Whisper、Azure ASR 等。
  • 🔊 文本转语音（TTS）：sherpa-onnx、pyttsx3、MeloTTS、Coqui-TTS、GPTSoVITS、Bark、CosyVoice、Edge TTS、Fish Audio、Azure TTS 等。

• 🔧 高度可定制：

  • ⚙️ 简单的模块配置：只需修改简单的配置文件即可切换各种功能模块，无需深入代码。
  • 🎨 角色定制：导入自定义 Live2D 模型，为您的 AI 伴侣打造独一无二的外观。通过调整 Prompt 来塑造 AI 伴侣的人设。还可进行语音克隆，赋予 AI 伴侣您心仪的嗓音。
  • 🧩 灵活的 Agent 实现：继承并实现 Agent 接口，即可集成任何 Agent 架构，如 HumeAI EVI、OpenAI Her、Mem0 等。
  • 🔌 良好的扩展性：模块化设计使您可以轻松添加自己的 LLM、ASR、TTS 等模块实现，随时扩展新功能。

👥 用户评价

感谢开发者开源并分享这款“女朋友”，让大家都能使用！

这款“女朋友”已被使用超过 10 万次。

🚀 快速入门

请参阅我们的文档中的快速入门章节以进行安装。

☝ 更新

:warning: v1.0.0 存在破坏性变更，需重新部署。您仍可以通过以下方法更新，但 conf.yaml 文件不兼容，且大部分依赖项需要使用 uv 重新安装。对于从 v1.0.0 之前版本升级的用户，建议按照最新部署指南重新部署该项目。

如果您安装的是 v1.0.0 之后的版本，请使用 uv run update.py 进行更新。

😢 卸载

大多数文件，包括 Python 依赖和模型，都存储在项目文件夹中。

不过，通过 ModelScope 或 Hugging Face 下载的模型也可能位于 MODELSCOPE_CACHE 或 HF_HOME 中。虽然我们尽量将这些模型放在项目的 models 目录下，但最好还是再确认一下。

请查阅安装指南，移除您不再需要的额外工具，例如 uv、ffmpeg 或 deeplx。

🤗 想要贡献？

请查看开发指南。

🎉🎉🎉 相关项目

ylxmf2005/LLM-Live2D-Desktop-Assitant

• 您的 Live2D 桌面助手，由 LLM 驱动！适用于 Windows 和 macOS，可感知您的屏幕、获取剪贴板内容，并以独特的声音响应语音指令。具备语音唤醒、唱歌功能以及对电脑的全面控制，让您与心爱的角色无缝互动。

📜 第三方许可证

Live2D 示例模型声明

本项目包含由 Live2D Inc. 提供的 Live2D 示例模型。这些资产分别依据 Live2D 免费素材许可协议及 Live2D Cubism 示例数据使用条款获得授权，不在本项目的 MIT 许可范围内。

本内容使用了 Live2D Inc. 所拥有并受版权保护的示例数据。示例数据的使用严格遵守 Live2D Inc. 制定的条款与条件（详见 Live2D 免费素材许可协议 和 使用条款）。

注意：若用于商业用途，尤其是中大型企业，使用这些 Live2D 示例模型可能需要额外的授权许可。如您计划将本项目用于商业目的，请务必事先获得 Live2D Inc. 的相应授权，或使用不含这些模型的项目版本。

贡献者

感谢我们的贡献者与维护者，正是他们的努力才让这个项目成为现实。

星标历史

Open-LLM-VTuber 快速上手指南

---

环境准备

系统要求

• 支持 Windows, macOS, Linux 系统
• 推荐使用 Python 3.10+ 环境
• 需要安装以下依赖：
  • uv（Python 包管理工具）
  • ffmpeg
  • deeplx（可选）

💡 提示：如需加速依赖包下载，建议使用国内镜像源，例如：

uv --index-url https://pypi.tuna.tsinghua.edu.cn/simple install <package-name>

---

安装步骤

1. 克隆项目仓库

git clone https://github.com/Open-LLM-VTuber/Open-LLM-VTuber.git
cd Open-LLM-VTuber

2. 安装依赖

uv sync

⚠️ 注意：如果遇到依赖冲突或版本问题，请参考 官方文档 中的最新部署指南。

3. 启动服务

uv run main.py

📌 如果你使用的是 v1.0.0 之前的版本，需要重新部署项目并更新配置文件。请参考 最新部署指南。

---

基本使用

启动后访问 Web 界面

默认情况下，服务会在本地启动一个 Web 服务器，你可以通过浏览器访问：

http://localhost:8000

🔒 如果你需要远程访问（如手机访问电脑上的服务），请配置 HTTPS 反向代理，否则前端麦克风功能将无法启用。

使用桌面客户端（可选）

如果你希望以桌面宠物模式运行 AI 伴侣，可以使用桌面客户端：

uv run desktop_client.py

🖼️ 桌面客户端支持透明背景、全局置顶和鼠标穿透等功能，AI 伴侣可以自由拖动到屏幕任意位置。

---

小结

通过以上步骤，你已经成功部署了 Open-LLM-VTuber，并可以通过 Web 或桌面客户端与你的 AI 伴侣进行互动。更多高级功能和自定义设置，请参考 官方文档。