VERBI - 语音助手 🎙️

动机 ✨✨✨

欢迎来到语音助手项目！🎙️ 我们的目标是打造一款模块化的语音助手应用，让您能够针对各个组件尝试使用最先进的（SOTA）模型。模块化的设计提供了极大的灵活性，您可以自由选择用于转录、响应生成和文本到语音（TTS）的不同 SOTA 模型。这种设计便于对不同模型进行测试与比较，使其成为语音助手技术研发的理想平台。无论您是开发者、研究人员还是爱好者，这个项目都适合您！

特性 🧰

• 模块化设计：轻松切换转录、响应生成和 TTS 的不同模型。
• 支持多种 API：集成 OpenAI、Groq 和 Deepgram 等 API，并预留了本地模型的接口。
• 音频录制与播放：可从麦克风录制音频，并播放生成的语音。
• 配置管理：通过 config.py 实现集中式配置，方便设置与管理。

项目结构 📂

voice_assistant/
├── voice_assistant/
│   ├── __init__.py
│   ├── audio.py
│   ├── api_key_manager.py
│   ├── config.py
│   ├── transcription.py
│   ├── response_generation.py
│   ├── text_to_speech.py
│   ├── utils.py
│   ├── local_tts_api.py
│   ├── local_tts_generation.py
├── .env
├── run_voice_assistant.py
├── piper_server.py
├── setup.py
├── requirements.txt
└── README.md

设置说明 📋

前置条件 ✅

• Python 3.10 或更高版本
• 虚拟环境（推荐）

分步指南 🔢

1. 📥 克隆仓库

   git clone https://github.com/PromtEngineer/Verbi.git
   cd Verbi

2. 🐍 设置虚拟环境

使用 venv：

    python -m venv venv
    source venv/bin/activate  # 在 Windows 上使用 `venv\Scripts\activate`

使用 conda：

    conda create --name verbi python=3.10
    conda activate verbi

3. 📦 安装所需包

   pip install -r requirements.txt

4. 🛠️ 设置环境变量

在根目录下创建一个 .env 文件，并添加你的 API 密钥：

    OPENAI_API_KEY=your_openai_api_key
    GROQ_API_KEY=your_groq_api_key
    DEEPGRAM_API_KEY=your_deepgram_api_key
    LOCAL_MODEL_PATH=path/to/local/model
    PIPER_SERVER_URL=server_url

5. 🧩 配置模型

编辑 config.py 文件以选择你想要使用的模型：

    class Config:
        # 模型选择
        TRANSCRIPTION_MODEL = 'groq'  # 选项：'openai', 'groq', 'deepgram', 'fastwhisperapi', 'local'
        RESPONSE_MODEL = 'groq'       # 选项：'openai', 'groq', 'ollama', 'local'
        TTS_MODEL = 'deepgram'        # 选项：'openai', 'deepgram', 'elevenlabs', 'local', 'melotts', 'piper'

        # API 密钥和路径
        OPENAI_API_KEY = os.getenv("OPENAI_API_KEY")
        GROQ_API_KEY = os.getenv("GROQ_API_KEY")
        DEEPGRAM_API_KEY = os.getenv("DEEPGRAM_API_KEY")
        LOCAL_MODEL_PATH = os.getenv("LOCAL_MODEL_PATH")

如果你通过 Ollama 在本地运行 LLM，请确保在启动 Verbi 之前，Ollama 服务器已经运行。

6. 🔊 配置 ElevenLabs 的 Jarvis 音色

• 音色样本 在这里。
• 按照这个 链接 将 Jarvis 音色添加到你的 ElevenLabs 账户中。
• 将音色命名为“Paul J.”，或者如果你喜欢其他名字，请确保它与 text_to_speech.py 文件中的 ELEVENLABS_VOICE_ID 变量一致。

7. 🏃 运行语音助手

   python run_voice_assistant.py

8. 🎤 安装 FastWhisperAPI

   可选步骤，如果你需要本地转录模型

   克隆仓库

      cd..
      git clone https://github.com/3choff/FastWhisperAPI.git
      cd FastWhisperAPI
   

   安装所需包：

      pip install -r requirements.txt
   

   运行 API

      fastapi run main.py
   

   替代设置和运行方法

   该 API 也可以直接在 Docker 容器或 Google Colab 中运行。

   Docker：

   构建 Docker 容器：

      docker build -t fastwhisperapi .
   

   运行容器

      docker run -p 8000:8000 fastwhisperapi
   

   有关 Google Colab 方法，请参阅仓库文档：https://github.com/3choff/FastWhisperAPI/blob/main/README.md

9. 🎤 安装本地 TTS - MeloTTS

   可选步骤，如果你需要本地文本转语音模型

   从 Github 安装 MeloTTS

   使用以下 链接 根据你的操作系统安装 MeloTTS。

   当软件包安装到你的本地虚拟环境中后，你可以使用以下命令启动 API 服务器。

      python voice_assistant/local_tts_api.py
   

   local_tts_api.py 文件实现了一个 FastAPI 服务器，它会监听传入的文本并使用 MeloTTS 模型生成音频。为了使用本地 TTS 模型，你需要更新 config.py 文件，将：

      TTS_MODEL = 'melotts'        # 选项：'openai', 'deepgram', 'elevenlabs', 'local', 'melotts', 'piper'
   

10. 🎤 安装本地 TTS - Piper

    MeloTTS 的更快、更轻量级替代方案

    从 Github 下载 Piper 二进制文件和语音

    使用以下 链接 根据你的操作系统安装 Piper 二进制文件。

    使用以下 链接 下载 Piper 语音。每种语音包含两个文件： | .onnx | 实际的语音模型 | | .onnx.json | 模型配置文件 |

    例如：

    models/en_US-lessac-medium/
    ├── en_US-lessac-medium.onnx
    ├── en_US-lessac-medium.onnx.json
    

    当二进制文件和语音下载到你的系统后，编辑 piper_server.py 并提供二进制文件和语音的路径。

       piper_executable = "./piper/piper"  # 示例路径指向 Piper 二进制文件
       model_path = "en_US-lessac-medium.onnx" # 示例路径指向 .onnx 文件
    

    你可以使用以下命令启动 API 服务器。

       python piper_server.py
    

    piper_server.py 文件实现了一个 FastAPI 服务器，它会监听传入的文本并使用 Piper 模型生成音频。为了使用本地 TTS 模型，你需要更新 config.py 文件，将：

       TTS_MODEL = 'piper'        # 选项：'openai', 'deepgram', 'elevenlabs', 'local', 'melotts', 'piper'
    

    你可以运行主程序，开始使用带有本地模型的 Verbi。

模型选项 ⚙️

转录模型 🎤

• OpenAI：使用 OpenAI 的 Whisper 模型。
• Groq：使用 Groq 的 Whisper-large-v3 模型。
• Deepgram：使用 Deepgram 的转录模型。
• FastWhisperAPI：使用 FastWhisperAPI，这是一个由 Faster Whisper 提供支持的本地转录 API。
• Local：用于本地语音转文本（STT）模型的占位符。

回应生成模型 💬

• OpenAI：使用 OpenAI 的 GPT-4 模型。
• Groq：使用 Groq 的 LLaMA 模型。
• Ollama：使用通过 Ollama 提供服务的任何模型。
• Local：用于本地语言模型的占位符。

文本转语音（TTS）模型 🔊

• OpenAI：使用 OpenAI 的 TTS 模型，搭配“fable”音色。
• Deepgram：使用 Deepgram 的 TTS 模型，搭配“aura-angus-en”音色。
• ElevenLabs：使用 ElevenLabs 的 TTS 模型，搭配“Paul J.”音色。
• Local：用于本地 TTS 模型的占位符。

模块详细说明 📘

• run_verbi.py: 主脚本，用于运行语音助手。
• voice_assistant/config.py: 管理配置设置和 API 密钥。
• voice_assistant/api_key_manager.py: 根据配置的模型获取 API 密钥。
• voice_assistant/audio.py: 用于录音和播放音频的函数。
• voice_assistant/transcription.py: 使用各种 API 进行音频转录。
• voice_assistant/response_generation.py: 使用多种语言模型生成响应。
• voice_assistant/text_to_speech.py: 将文本响应转换为语音。
• voice_assistant/utils.py: 包含删除文件等实用工具函数。
• voice_assistant/local_tts_api.py: 包含运行 MeloTTS 模型的 API 实现。
• voice_assistant/local_tts_generation.py: 包含使用 MeloTTS API 生成音频的代码。
• voice_assistant/__init__.py: 初始化 voice_assistant 包。

路线图 🛤️🛤️🛤️

以下是语音助手项目的下一步计划：

1. 添加流式支持：实现音频输入和输出的实时流式传输。
2. 添加对 ElevenLabs 和增强版 Deepgram 的 TTS 支持：集成更多高质量、多样化的 TTS 选项。
3. 添加填充音频：在等待模型响应时，加入背景或填充音频，以提升用户体验。
4. 全面支持本地模型：在转录、响应生成和 TTS 方面扩展对本地模型的支持。

贡献 🤝

我们欢迎社区的贡献！如果您想帮助改进该项目，请按照以下步骤操作：

1. 克隆仓库并创建分支。
2. 创建新分支（git checkout -b feature-branch）。
3. 进行更改并提交（git commit -m '添加新功能'）。
4. 推送到该分支（git push origin feature-branch）。
5. 打开一个包含您更改详情的拉取请求。

星标历史 ✨✨✨

Verbi 语音助手快速上手指南

Verbi 是一个模块化的开源语音助手项目，支持灵活切换转录（STT）、大语言模型（LLM）和语音合成（TTS）的后端服务。你可以轻松组合 OpenAI、Groq、Deepgram 等云端 API，或使用 Ollama、Faster Whisper、Piper 等本地模型进行实验。

环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统：Windows, macOS 或 Linux
• Python 版本：Python 3.10 或更高版本
• 依赖管理：推荐使用 venv 或 conda 创建虚拟环境
• 可选本地服务：
  • 若使用本地 LLM，需安装并运行 Ollama。
  • 若使用本地 STT，需部署 FastWhisperAPI。
  • 若使用本地 TTS，需安装 MeloTTS 或 Piper。

安装步骤

1. 克隆项目

git clone https://github.com/PromtEngineer/Verbi.git
cd Verbi

2. 创建并激活虚拟环境

使用 venv:

python -m venv venv
source venv/bin/activate  # Windows 用户请使用: venv\Scripts\activate

使用 conda:

conda create --name verbi python=3.10
conda activate verbi

3. 安装依赖包

pip install -r requirements.txt

💡 国内加速提示：如果下载速度慢，可使用清华源或阿里源： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

4. 配置环境变量

在项目根目录创建 .env 文件，填入你的 API Key 和本地模型路径：

OPENAI_API_KEY=your_openai_api_key
GROQ_API_KEY=your_groq_api_key
DEEPGRAM_API_KEY=your_deepgram_api_key
LOCAL_MODEL_PATH=path/to/local/model
PIPER_SERVER_URL=server_url

5. 选择模型配置

编辑 voice_assistant/config.py 文件，根据需求修改模型选项：

class Config:
    # 模型选择
    TRANSCRIPTION_MODEL = 'groq'  # 可选：'openai', 'groq', 'deepgram', 'fastwhisperapi', 'local'
    RESPONSE_MODEL = 'groq'       # 可选：'openai', 'groq', 'ollama', 'local'
    TTS_MODEL = 'deepgram'        # 可选：'openai', 'deepgram', 'elevenlabs', 'local', 'melotts', 'piper'

    # API Keys (从 .env 读取)
    OPENAI_API_KEY = os.getenv("OPENAI_API_KEY")
    GROQ_API_KEY = os.getenv("GROQ_API_KEY")
    DEEPGRAM_API_KEY = os.getenv("DEEPGRAM_API_KEY")
    LOCAL_MODEL_PATH = os.getenv("LOCAL_MODEL_PATH")

注意：如果你选择 RESPONSE_MODEL = 'ollama'，请确保在运行 Verbi 前已启动 Ollama 服务。

基本使用

完成上述配置后，即可启动语音助手。程序将调用麦克风录音，并通过你配置的模型进行对话。

启动命令

python run_voice_assistant.py

进阶：使用本地模型（可选）

如果你希望完全在本地运行（不消耗 API 额度），需额外部署本地服务：

方案 A：本地语音转文字 (FastWhisperAPI)

1. 克隆并进入目录：

   cd ..
   git clone https://github.com/3choff/FastWhisperAPI.git
   cd FastWhisperAPI
   pip install -r requirements.txt
   

2. 启动服务：

   fastapi run main.py
   

3. 回到 Verbi 目录，将 config.py 中的 TRANSCRIPTION_MODEL 设为 'fastwhisperapi'。

方案 B：本地语音合成 (Piper - 轻量推荐)

1. 下载 Piper 二进制文件和语音模型 (.onnx)。
2. 编辑 piper_server.py，指定二进制路径和模型路径：

   piper_executable = "./piper/piper"
   model_path = "en_US-lessac-medium.onnx"
   

3. 启动服务：

   python piper_server.py
   

4. 将 config.py 中的 TTS_MODEL 设为 'piper'。

配置完成后，再次运行 python run_voice_assistant.py 即可体验全本地化流程。