voicechat2

一个基于 WebSocket 的快速、完全本地的 AI 语音聊天系统

• WebSocket 服务器，支持简单的远程访问
• 默认 Web UI 配备 VAD 功能，使用 ricky0123/vad，并支持 Opus 编解码，使用 symblai/opus-encdec
• 模块化/可替换的 SRT、LLM 和 TTS 服务器
  • SRT：whisper.cpp、faster-whisper 或 HF Transformers whisper
  • LLM：llama.cpp 或任何兼容 OpenAI API 的服务器
  • TTS：coqui-tts、StyleTTS2、Piper、MeloTTS

voicechat2 演示视频

^{请取消静音以收听音频}

在 AMD RDNA3 架构的 7900 系列显卡上，语音到语音的延迟约为 1 秒：

• distil-whisper/distil-large-v2
• bartowski/Meta-Llama-3.1-8B-Instruct-GGUF (Q4_K_M)
• tts_models/en/vctk/vits（Coqui TTS 默认 VITS 模型）

而在 RTX 4090 上，使用 Faster Whisper 和 faster-distil-whisper-large-v2，延迟可以降低至低至 300 毫秒：

voicechat2 演示

当然，你可以根据需要运行任何模型，或随意更换 SRT、LLM 和 TTS 组件。例如，你可以使用 whisper.cpp 作为 SRT，或者在测试文件夹中找到一个 StyleTTS2 服务器作为替代的 TTS 选择。若想了解更多关于该项目的信息，请参阅我的 Hackster.io 文章。

安装

以下安装说明适用于 Ubuntu LTS，并假定你已经完成了 ROCm 或 CUDA 的设置。

我建议使用 conda 或（我个人更推荐）mamba 来管理环境，这会让操作更加便捷。

系统先决条件

sudo apt update

# 并非严格必要，但对我们使用的工具很有帮助
sudo apt install byobu curl wget

# 音频处理
sudo apt install espeak-ng ffmpeg libopus0 libopus-dev 

克隆代码

# 创建环境
mamba create -y -n voicechat2 python=3.11

# 设置
mamba activate voicechat2
git clone https://github.com/lhl/voicechat2
cd voicechat2
pip install -r requirements.txt

llama.cpp

# 构建 llama.cpp
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
# AMD 版本
make GGML_HIPBLAS=1 -j 
# Nvidia 版本
make GGML_CUDA=1 -j 

# 下载你喜欢的 GGUF 模型
wget https://huggingface.co/bartowski/Meta-Llama-3-8B-Instruct-GGUF/resolve/main/Meta-Llama-3-8B-Instruct-Q4_K_M.gguf

# 如果要继续下一步
cd ..

一些方便的启动脚本：

run-voicechat2.sh - 在你的 GPU 机器上尝试在独立的 byobu 会话中启动所有服务器；请更新 MODEL 变量
remote-tunnel.sh - 将你的 GPU 机器连接到跳板机
local-tunnel.sh - 通过跳板机连接到 GPU 机器

其他 AI 语音聊天项目

Speech To Speech

一个在 voicechat2 之后发布的项目，采用类似的模块化方法，但更偏向于本地设备端应用

• https://github.com/eustlb/speech-to-speech
• 无许可证？

webrtc-ai-voice-chat

演示显示延迟较大（约 10 秒），但该项目与 voicechat2 的实现方式并不完全一致（它使用 WebRTC 而不是 WebSocket）。voicechat2 使用的是 HF Transformers 和 Ollama。

• https://github.com/lalanikarim/webrtc-ai-voice-chat
• Apache 2.0

june

一个基于控制台的本地客户端（HF Transformers、Ollama、Coqui TTS、PortAudio）

• https://github.com/mezbaul-h/june
• MIT

GlaDOS

这是一个响应迅速的基于控制台的本地客户端，具备 VAD 和打断功能，并且有一个非常巧妙的钩子！（whisper.cpp、llama.cpp、piper、espeak）

• https://github.com/dnhkng/GlaDOS
• MIT

local-talking-llm

另一个基于控制台的本地客户端，更像是一个概念验证，附带博客文章。

• https://github.com/vndee/local-talking-llm
• https://blog.duy.dev/build-your-own-voice-assistant-and-run-it-locally/
• MIT

BUD-E - natural_voice_assistant

另一个基于控制台的本地客户端（FastConformer、HF Transformers、StyleTTS2、espeak）

• https://github.com/LAION-AI/natural_voice_assistant
• MIT

LocalAIVoiceChat

KoljaB 拥有一系列有趣的基于控制台的本地客户端项目，如 RealtimeSTT、RealtimeTTS、Linguflex 等（faster_whisper、llama.cpp、Coqui XTTS）。

• https://github.com/KoljaB/LocalAIVoiceChat
• NC（Coqui 模型许可）

rtvi-web-demo

这并不是一个本地语音聊天客户端，但它有一个简洁的 WebRTC 前端，或许值得探索一下（Vite/React、Tailwind、Radix）。

• https://github.com/rtvi-ai/rtvi-web-demo

voicechat2 快速上手指南

voicechat2 是一个快速、完全本地化的 AI 语音聊天工具，基于 WebSocket 实现。它支持模块化替换语音识别 (SRT)、大语言模型 (LLM) 和语音合成 (TTS) 组件，适合在本地部署低延迟的语音交互系统。

环境准备

系统要求

• 操作系统: Ubuntu LTS (推荐)
• GPU 驱动:
  • AMD 显卡：需预先安装 ROCm
  • NVIDIA 显卡：需预先安装 CUDA
• 性能参考:
  • AMD RDNA3 (7900 系列): 端到端延迟约 1 秒
  • NVIDIA RTX 4090 (配合 Faster Whisper): 延迟可低至 300ms

前置依赖

安装必要的系统工具和音频处理库：

sudo apt update

# 安装辅助工具（非严格必须但推荐使用）
sudo apt install byobu curl wget

# 安装音频处理依赖
sudo apt install espeak-ng ffmpeg libopus0 libopus-dev 

安装步骤

1. 创建虚拟环境

推荐使用 mamba 或 conda 管理环境（以下以 mamba 为例）：

# 创建 Python 3.11 环境
mamba create -y -n voicechat2 python=3.11

# 激活环境
mamba activate voicechat2

# 克隆项目代码
git clone https://github.com/lhl/voicechat2
cd voicechat2

# 安装 Python 依赖
# 提示：国内用户可配置 pip 镜像源加速下载
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 编译 LLM 后端 (llama.cpp)

根据显卡类型选择对应的编译指令：

# 克隆 llama.cpp
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp

# AMD 显卡编译命令
make GGML_HIPBLAS=1 -j 

# NVIDIA 显卡编译命令
make GGML_CUDA=1 -j 

# 下载模型文件 (示例：Llama-3-8B-Instruct Q4_K_M)
wget https://huggingface.co/bartowski/Meta-Llama-3-8B-Instruct-GGUF/resolve/main/Meta-Llama-3-8B-Instruct-Q4_K_M.gguf

# 返回项目根目录
cd ..

注：国内访问 HuggingFace 较慢，建议使用镜像站（如 hf-mirror.com）下载模型。

3. 启动服务

项目提供了便捷的启动脚本，利用 byobu 在多个会话中并行启动各组件服务器。

在使用前，请编辑 run-voicechat2.sh 脚本，更新其中的 MODEL 变量为你实际下载的模型路径。

# 在 GPU 机器上运行，自动拉起所有服务
./run-voicechat2.sh

其他辅助脚本:

• remote-tunnel.sh: 将 GPU 机器连接到跳板机。
• local-tunnel.sh: 通过跳板机连接回 GPU 机器。

基本使用

1. 启动服务: 执行上述 ./run-voicechat2.sh 脚本。
2. 访问界面: 脚本运行后，默认会启动一个基于 Web 的用户界面。通常在浏览器中访问 http://localhost:PORT (具体端口查看脚本输出日志)。
3. 开始对话:
   • 网页界面集成了 VAD (语音活动检测) 和 Opus 编码支持。
   • 允许麦克风权限，直接对着麦克风说话。
   • 系统将自动完成：语音转文字 -> LLM 推理 -> 文字转语音 的全流程，并播放回复音频。

自定义组件: 你可以随时替换模块。例如：

• SRT (语音识别): 可切换为 whisper.cpp, faster-whisper 或 HF Transformers。
• TTS (语音合成): 项目测试文件夹中包含了 StyleTTS2 服务端示例，也可使用 Coqui-TTS, Piper, MeloTTS 等。