将科幻作品中强大 Jarvis 式 AI 伴侣的梦想变为现实。

Linguflex 2.0

源于我对科幻的热爱，这个项目旨在模拟与 AI 人格进行引人入胜、真实且接近人类的互动。

它提供基于语音的自定义角色对话，并配备一系列实用功能：控制智能家居设备、播放音乐、上网搜索、获取电子邮件、显示当前天气和新闻、协助安排日程，以及搜索或生成图片等。

无论您是寻求创新 AI 体验的用户，还是对该项目感兴趣的开发者，我都诚挚邀请您探索这一框架。任何见解、建议和贡献都将不胜感激。我希望在社区的帮助下，将这个个人热爱的项目推向其最大潜力，共同推动 AI 的发展。

📓 Linguflex 2.0 安装指南

理解安装挑战（点击展开）

有时有人会说：“直接提供一个 Docker 容器就好了，安装太难了。”我理解这种沮丧，但原因在于：

1. 复杂的集成：Linguflex 是一个庞大的框架，结合了先进的 TTS 技术，如实时本地神经网络 TTS 语音生成与实时 RVC 微调，同时还包含大量其他功能。要确保所有这些组件在一个环境中协同工作，就像为你最喜欢的 60 个 Python 库找到最低公分母，而不是仅仅三个库一样。此外，该系统必须在不同平台、操作系统版本、Python 环境、CUDA 版本和 CuDNN 版本之间保持一致运行。这无疑是一道复杂的难题。
2. 依赖管理：Python 的特性使其环境本身就不稳定。即使在依赖文件中指定了固定版本，也无法保证稳定性，因为间接依赖——即我们直接依赖的库所依赖的库——可能会独立更新，从而导致不兼容或中断。这种间接依赖的不稳定性会随着时间推移引入破坏性变化，常常需要重新安装库或调整依赖树来解决新的冲突。

耐心是关键：请对安装过程保持耐心。可能第一次尝试并不会成功。有时候，我只需要一点提示就能解决问题；而有时，您自己也能解决这些问题。当然，也有极少数情况下我们确实无能为力。我们会一步步努力减少这些罕见情况的发生。

注：我一直在不断探索更友好的安装方式（包括 Docker）。

🎥 安装视频教程
🎥 实际演示（短片）

核心功能

• 🆕新功能🆕： 现已支持 Ollama，特别感谢 🌟Philip Ehrbright🌟 在开发此功能方面所做的卓越工作！
• 本地运行：所有功能均在本地运行，包括本地语音转文本、本地 TTS 和本地语言模型推理，确保隐私与可靠性。
• 超低延迟：Linguflex 的每个环节都经过精心优化，以最大限度地减少响应时间，在语言模型交互和文本转语音（TTS）生成方面均实现了无与伦比的速度。
• 高质量音频：通过使用语音克隆技术，并将微调后的 XTTS 与微调后的 RVC 后处理 AI 模型相结合，Linguflex 能够在本地 TTS 合成中提供接近 Elevenlabs 的音质。
• 增强的功能性：简化的功能选择使 Linguflex 能够快速适应并响应各种基于文本的命令和查询。我们通过对用户输入进行关键词预解析，以减少语言模型的负担，从而更容易选择正确的功能并降低混淆。
• 开发者友好：得益于简约清晰的代码框架，构建新模块变得更加直观高效。

模块

核心模块

• Listen（音频输入模块）：作为 Linguflex 的听觉系统，该模块能够精确地通过麦克风捕捉用户的语音指令。
• Brain：认知处理模块。Linguflex 的核心，负责处理用户输入，可使用本地语言模型或 OpenAI GPT API。
• Speech（音频输出模块）：提供多种提供商选项的实时 TTS，并具备高级语音调优能力，包括实时语音克隆（RVC）。

当前扩展模块

• Mimic：这款创意工具允许用户设计自定义 AI 角色，为其分配由 Speech 模块创建的独特声音，并在不同角色之间切换。
• Music：一个可通过语音命令播放选定歌曲或专辑的模块，通过音乐集成提升用户体验。
• Mail：通过 IMAP 协议检索电子邮件，与您的数字通信无缝对接。
• Weather：提供当前位置的天气数据及预报。
• House：用于控制 Tuya 兼容设备的智能家居模块，提升您的居住体验。
• Calendar：管理个人日历和预约，支持 Google 日历集成。
• Search：利用 Google Search API 进行文本和图片搜索。
• Server：提供 Web 服务器功能，以便连接智能手机等外部设备。

即将推出的模块

• See：借助 GPT Vision API，赋予助手视觉能力。可以处理摄像头拍摄的照片和桌面截图。
• Memory：存储和检索可转换为 JSON 格式的数据。
• News：提供最新新闻的精简摘要。
• Finance：提供财务管理功能，集成多种金融 API，实现投资的实时追踪。
• Create：使用 DALL-E API 生成图像，将文本提示转化为生动的图像。

入门

请按照模块指南，获取关于如何设置和配置 Linguflex 模块的分步说明。

许可证

代码库采用 MIT 许可证，而 TTS 模型权重则遵循以下各 TTS 引擎的单独许可证：

CoquiEngine

• 许可证：仅对非商业项目开源。
• 商业使用：需购买付费方案。
• 详情：CoquiEngine 许可证

ElevenlabsEngine

• 许可证：仅对非商业项目开源。
• 商业使用：所有付费方案均可使用。
• 详情：ElevenlabsEngine 许可证

AzureEngine

• 许可证：仅对非商业项目开源。
• 商业使用：从标准层级开始可用。
• 详情：AzureEngine 许可证

SystemEngine

• 许可证：Mozilla 公共许可证 2.0 和 GNU 较宽松通用公共许可证 (LGPL) 第 3 版。
• 商业使用：在此许可证下允许。
• 详情：SystemEngine 许可证

OpenAIEngine

• 许可证：请阅读 OpenAI 使用条款

Linguflex 2.0 快速上手指南

Linguflex 是一个旨在实现科幻级 AI 伴侣（类似 Jarvis）的开源框架。它支持本地运行，具备超低延迟的语音交互、高保真语音克隆（TTS + RVC）、智能家居控制、音乐播放及网络搜索等功能，并新增了对 Ollama 本地大模型的支持。

环境准备

由于 Linguflex 集成了实时神经 TTS、RVC 微调及多种 AI 模块，对环境依赖要求较高。请确保满足以下条件：

• 操作系统：推荐 Linux (Ubuntu) 或 Windows 10/11。macOS 支持有限，部分功能可能受限。
• Python 版本：Python 3.9 - 3.11（过高版本可能导致依赖冲突）。
• GPU 加速：强烈建议配备 NVIDIA 显卡以支持本地推理和语音合成。
  • 需安装对应的 CUDA 和 CuDNN。
  • 显存建议：8GB 以上以获得最佳体验（最低 4GB 可尝试运行精简模式）。
• 前置依赖：
  • git
  • ffmpeg (用于音频处理)
  • portaudio (Linux 下需安装 libportaudio2)
  • C++ 编译工具链 (Windows 需安装 "Build Tools for Visual Studio", Linux 需 build-essential)

注意：项目依赖复杂，建议使用虚拟环境（如 venv 或 conda）进行隔离安装。

安装步骤

1. 克隆项目

git clone https://github.com/KoljaB/Linguflex.git
cd Linguflex

2. 创建并激活虚拟环境

python -m venv venv
# Windows
venv\Scripts\activate
# Linux/macOS
source venv/bin/activate

3. 安装核心依赖

由于依赖项众多且涉及底层音频库，首次安装可能需要较长时间。若遇到网络问题，可配置国内 pip 镜像源（如清华源）。

# 推荐使用国内镜像加速安装
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

重要提示：

• 安装过程中若出现报错，通常与 CUDA 版本不匹配或缺少系统级音频库有关。请根据报错信息检查 CUDA 环境或安装缺失的系统包（如 sudo apt-get install portaudio19-dev）。
• 目前官方尚未提供稳定的 Docker 镜像，因为整合所有组件（TTS, RVC, LLM）在不同平台的一致性极具挑战性，建议直接在宿主机安装。

4. 配置模块

在安装完成后，需根据需求配置具体模块。

• 复制示例配置文件：

  cp config/config.example.yaml config/config.yaml
  

• 编辑 config/config.yaml，填入你的 API Key（如 OpenAI、Google Search、Tuya Smart Home 等）或设置本地模型路径（如 Ollama、XTTS 模型）。

详细配置请参考 Modules Guide。

基本使用

完成安装和配置后，即可启动 Linguflex。

启动程序

在激活的虚拟环境中运行主程序：

python main.py

使用示例

启动成功后，系统将加载听觉模块（Listen）、大脑模块（Brain）和语音模块（Speech）。

1. 语音交互：直接对着麦克风说话。
   • 用户：“今天天气怎么样？”
   • Linguflex：调用 Weather 模块获取数据，并通过高保真语音播报结果。
2. 切换角色：如果你配置了 Mimic 模块。
   • 用户：“切换到钢铁侠模式。”
   • Linguflex：加载对应的声音克隆配置和人格设定。
3. 控制设备：如果你配置了 House 模块（需 Tuya 兼容设备）。
   • 用户：“打开客厅的灯。”
   • Linguflex：解析指令并发送控制信号。

进阶：使用 Ollama 本地模型

若要完全离线运行，请在配置文件中将 brain 模块 provider 设置为 ollama，并确保本地已运行 Ollama 服务：

# 终端另开窗口运行 Ollama (示例使用 llama3)
ollama run llama3

Linguflex 将自动连接本地端口进行推理，实现数据完全本地化。

---

注：本项目的代码遵循 MIT 许可证，但内置的 TTS 模型权重（如 Coqui, Elevenlabs 等）遵循各自的许可协议，商业用途请务必查阅相关条款。