本地AI语音聊天

提供与AI的实时对话功能，完全在您的PC上本地运行，支持自定义AI人格和声音。

提示: 任何对最先进语音解决方案感兴趣的人士也请查看Linguflex。它允许您通过语音控制环境，是目前功能最强大、最成熟的开源助手之一。

注意: 如果您遇到“通用合成错误：isin() 接收到无效的参数组合”错误，这是由于新的transformers库引入了与Coqui TTS不兼容的问题（详见此处）。请降级到旧版本的transformers：pip install transformers==4.38.2，或将RealtimeTTS升级到最新版本：pip install realtimetts==0.4.1。

关于项目

将强大的Zephyr 7B语言模型与实时语音转文本和文本转语音库集成，打造一个快速且富有吸引力的基于语音的本地聊天机器人。

https://github.com/KoljaB/LocalAIVoiceChat/assets/7604638/cebacdad-8a57-4a03-bfd1-a469730dda51

提示: 如果您在安装llama.cpp时遇到问题，请同时查看我的本地情感AI语音聊天项目。该项目包含具备情绪感知的实时文本转语音输出，并提供多种LLM提供商选项。您也可以使用不同的AI模型。

技术栈

• llama_cpp 与 Zephyr 7B
  • 基于Llama的语言模型库接口
• RealtimeSTT 与 faster_whisper
  • 实时语音转文本转录库
• RealtimeTTS 与 Coqui XTTS
  • 实时文本转语音合成库

注意事项

本软件处于实验性Alpha阶段，尚未达到生产级别的稳定性。当前用于合成的XTTS模型仍存在一些小瑕疵，而Zephyr虽然作为7B规模的模型表现相当出色，但其回答质量当然无法与GPT-4、Claude或Perplexity相媲美。

请将此视为提供本地实时聊天机器人早期版本的一次尝试。

更新

• 升级至Coqui XTTS 2.0模型
• 修复RealtimeTTS中的一个bug（Coqui模型下载未能正常工作）

先决条件

您需要一块配备约8GB显存的GPU才能以实时方式运行此程序。

对于NVIDIA用户

• NVIDIA CUDA Toolkit 11.8:

  • 访问NVIDIA CUDA Toolkit归档页面。
  • 选择11.x版本，并按照说明进行下载和安装。

• NVIDIA cuDNN 8.7.0 for CUDA 11.x:

  • 导航至NVIDIA cuDNN归档页面。
  • 找到并下载“cuDNN v8.7.0（2022年11月28日），适用于CUDA 11.x”。
  • 按照提供的安装指南操作。

对于AMD用户

• 安装ROCm v.5.7.1

  • 下载ROCm SDK版本5.7.1
  • 按照提供的安装指南进行操作。

• FFmpeg:

  根据您的操作系统安装FFmpeg：

  • Ubuntu/Debian:

    sudo apt update && sudo apt install ffmpeg
    

  • Arch Linux:

    sudo pacman -S ffmpeg
    

  • macOS (Homebrew):

    brew install ffmpeg
    

  • Windows (Chocolatey):

    choco install ffmpeg
    

  • Windows (Scoop):

    scoop install ffmpeg
    

安装步骤

1. 克隆仓库或下载源代码包。

2. 安装llama.cpp

   • （对于AMD用户）在下一步之前，将环境变量LLAMA_HIPBLAS设置为on

   • 官方安装方法：

   pip install llama-cpp-python --force-reinstall --upgrade --no-cache-dir --verbose
   

   • 如果官方安装对您不起作用，请安装text-generation-webui，它为许多平台和环境提供了优秀的预编译轮子。

3. 安装实时库

   • 安装主要库：

     pip install RealtimeSTT==0.1.7
     pip install RealtimeTTS==0.2.7
     

4. 从这里下载zephyr-7b-beta.Q5_K_M.gguf。

   • 打开creation_params.json文件，在model_path中输入已下载模型的路径。
   • 调整n_gpu_layers（0–35，若显存更多可适当提高）和n_threads（CPU线程数，建议不要用尽所有核心，留一些给TTS）。

5. 若出现依赖冲突，请安装特定版本的冲突库：

   pip install networkx==2.8.8
   pip install typing_extensions==4.8.0
   pip install fsspec==2023.6.0
   pip install imageio==2.31.6
   pip install numpy==1.24.3
   pip install requests==2.31.0
   

运行应用

 python ai_voicetalk_local.py

自定义

更改AI人格

打开chat_params.json文件以更改对话场景。

更改AI声音

• 打开ai_voicetalk_local.py文件。
• 找到这一行：coqui_engine = CoquiEngine(cloning_reference_wav="female.wav", language="en")
• 将“female.wav”替换为您想要克隆的声音所在的WAV文件名（44100或22050 Hz单声道16位）。

语音结束检测

如果第一句话在您说完第二句之前就被转录了，请在AudioToTextRecorder中提高post_speech_silence_duration： AudioToTextRecorder(model="tiny.en", language="en", spinner=False, post_speech_silence_duration = 1.5)

贡献

我们热烈欢迎有助于增强或改进该项目的贡献。欢迎您提出修改或修复建议，并创建拉取请求。

许可证

该项目采用Coqui公共模型许可证1.0.0。

该许可证仅允许非商业用途机器学习模型及其输出。

联系方式

Kolja Beigel

• 邮箱: kolja.beigel@web.de

如有关于此项目的任何疑问或需要支持，请随时联系我们。

LocalAIVoiceChat 快速上手指南

LocalAIVoiceChat 是一个完全在本地运行的实时 AI 语音聊天工具。它集成了 Zephyr 7B 语言模型、RealtimeSTT（语音转文字）和 RealtimeTTS（文字转语音），让你能在自己的电脑上与具有自定义人格和声音的 AI 进行流畅对话。

注意：本项目处于实验性 Alpha 阶段，需要显卡支持以实现实时响应。

环境准备

系统要求

• GPU: 需要约 8 GB 显存 (VRAM) 的显卡以支持实时运行。
• 操作系统: Windows, Linux (Ubuntu/Debian/Arch), 或 macOS。

前置依赖安装

1. GPU 驱动与环境

根据你的显卡品牌安装相应工具：

• NVIDIA 用户:

  • 安装 NVIDIA CUDA Toolkit 11.8 (下载链接)。
  • 安装 NVIDIA cuDNN 8.7.0 (对应 CUDA 11.x) (下载链接)。

• AMD 用户:

  • 安装 ROCm v5.7.1 (下载链接)。
  • 重要: 在安装 llama.cpp 前，需设置环境变量 LLAMA_HIPBLAS=on。

2. 安装 FFmpeg

该工具依赖 FFmpeg 处理音频，请根据系统选择以下命令安装：

• Ubuntu/Debian:

  sudo apt update && sudo apt install ffmpeg
  

• Arch Linux:

  sudo pacman -S ffmpeg
  

• macOS (Homebrew):

  brew install ffmpeg
  

• Windows (Chocolatey):

  choco install ffmpeg
  

• Windows (Scoop):

  scoop install ffmpeg
  

安装步骤

1. 获取源码

克隆仓库或下载源代码包到本地。

2. 安装 llama.cpp

这是运行大语言模型的核心库。

• 通用安装命令 (推荐先尝试此方法):

  pip install llama-cpp-python --force-reinstall --upgrade --no-cache-dir --verbose
  

  (注：如果上述命令失败，建议安装 text-generation-webui，它提供了针对多种平台预编译好的 wheel 文件)

• AMD 用户特别步骤: 在执行安装前，请先设置环境变量：

  export LLAMA_HIPBLAS=on  # Linux/Mac
  set LLAMA_HIPBLAS=on     # Windows CMD
  $env:LLAMA_HIPBLAS="on"  # Windows PowerShell
  

3. 安装实时语音库

安装语音识别和合成库的指定版本：

pip install RealtimeSTT==0.1.7
pip install RealtimeTTS==0.2.7

4. 解决依赖冲突 (可选)

如果遇到依赖冲突错误，请强制安装以下特定版本：

pip install networkx==2.8.8
pip install typing_extensions==4.8.0
pip install fsspec==2023.6.0
pip install imageio==2.31.6
pip install numpy==1.24.3
pip install requests==2.31.0

5. 下载模型并配置

1. 从 HuggingFace 下载模型文件：zephyr-7b-beta.Q5_K_M.gguf。
2. 打开项目目录下的 creation_params.json 文件。
3. 修改 model_path 为你刚才下载的模型文件的完整路径。
4. (可选) 调整参数：
   • n_gpu_layers: 0-35 之间，显存越大可设越高。
   • n_threads: CPU 线程数，建议保留部分核心给 TTS 使用，不要占满所有核心。

提示: 若遇到 General synthesis error: isin() received an invalid combination of arguments 错误，请降级 transformers 库： pip install transformers==4.38.2 或升级 RealtimeTTS: pip install realtimetts==0.4.1

基本使用

启动应用

在终端中运行以下命令启动聊天机器人：

python ai_voicetalk_local.py

自定义配置

1. 修改 AI 人格 编辑 chat_params.json 文件，更改对话场景和系统提示词（System Prompt）来定义 AI 的性格。

2. 克隆自定义声音 编辑 ai_voicetalk_local.py 文件，找到以下代码行：

coqui_engine = CoquiEngine(cloning_reference_wav="female.wav", language="en")

将 "female.wav" 替换为你自己的音频文件路径。

• 要求: WAV 格式，单声道，16-bit，采样率 44100 Hz 或 22050 Hz。

3. 调整语音结束检测 如果 AI 在你还没说完时就打断，可以在代码中找到 AudioToTextRecorder 初始化部分，增加 post_speech_silence_duration 的值（单位为秒）：

AudioToTextRecorder(model="tiny.en", language="en", spinner=False, post_speech_silence_duration = 1.5)