一个黑客的 AI 语音助手

我不再维护这个仓库了。如果你想接手，请给我发消息。

构建你自己的语音 AI。这个仓库是为我的 YouTube 视频系列 准备的，该系列讲解如何使用 PyTorch 构建一个 AI 语音助手。

寻求贡献者！

我们正在寻找贡献者来帮助完善这个助手。目前还有很多工作要做。这将是一个很好的机会，让你学习机器学习，并从头开始构建一个完整的机器学习系统。如果你感兴趣，请加入我们的 Discord 服务器。

待办事项：

• 唤醒词模型和引擎
• 预训练唤醒词模型，可用于针对自定义唤醒词进行微调
• 语音识别模型、预训练模型和引擎
• 自然语言理解模型、预训练模型和引擎
• 语音合成模型、预训练模型和引擎
• 技能框架
• 核心 AI 语音助手逻辑，用于集成唤醒词、语音识别、自然语言理解、语音合成以及技能框架。

在本地机器上运行

依赖项

• Python 3
• PortAudio（以便 PyAudio 录音正常工作）
• ctcdecode - 用于语音识别

如果你使用的是 Mac，可以通过 Homebrew 安装 PortAudio。

注意：如果你使用 Windows，某些功能可能无法正常工作，例如 torchaudio。建议在 Linux 或 Mac 上尝试，或者在 Windows 上使用 WSL2。

使用虚拟环境（推荐）

1. virtualenv voiceassistant.venv
2. source voiceassistant.venv/bin/activate

pip 包

pip install -r requirements.txt

使用 Docker 运行

设置

如果你只使用 CPU： docker build -f cpu.Dockerfile -t voiceassistant .

如果你的机器支持 CUDA： docker build -f Dockerfile -t voiceassistant .

唤醒词

唤醒词 YouTube 视频

脚本

更多详细信息请查看这些文件，了解脚本参数和说明：

wakeword/neuralnet/train.py 用于训练模型。 wakeword/neuralnet/optimize_graph.py 用于创建可用于 engine.py 的生产就绪图。 wakeword/engine.py 用于演示唤醒词模型。 wakeword/scripts/collect_wakeword_audio.py 用于收集唤醒词和环境数据。 wakeword/scripts/split_audio_into_chunks.py 用于将音频分割成 n 秒的片段。 wakeword/scripts/split_commonvoice.py 如果你下载了 Common Voice 数据集，可以使用此脚本将其分割成 n 秒的片段。 wakeword/scripts/create_wakeword_jsons.py 用于创建用于训练的唤醒词 JSON 文件。

训练和演示你的唤醒词模型的步骤

更多详细信息请查看这些文件，了解脚本参数和说明：

1. 收集数据

   1. 可以使用 python collect_wakeword_audio.py 收集环境和唤醒词数据：

      cd VoiceAssistant/wakeword/scripts
      mkdir data
      cd data
      mkdir 0 1 wakewords
      python collect_wakeword_audio.py --sample_rate 8000 --seconds 2 --interactive --interactive_save_path ./data/wakewords
      

   2. 为了避免数据不平衡问题，我们可以复制唤醒词片段：

      python replicate_audios.py --wakewords_dir data/wakewords/ --copy_destination data/1/ --copy_number 100
      

   3. 务必收集其他语音数据，例如 Common Voice 数据集。使用 split_audio_into_chunks.py 将数据分割成 n 秒的片段。
   4. 将数据分别放入名为 0 和 1 的两个目录中：0 用于非唤醒词数据，1 用于唤醒词数据。使用 create_wakeword_jsons.py 创建训练和测试 JSON 文件。
   5. 按照以下格式创建训练和测试 JSON 文件：

      // 每个样本占一行
      {"key": "/path/to/audio/sample.wav, "label": 0}
      {"key": "/path/to/audio/sample.wav, "label": 1}
      

2. 训练模型

   1. 使用 train.py 训练模型。
   2. 模型训练完成后，使用 optimize_graph.py 创建优化后的 PyTorch 模型。

3. 测试

   1. 使用 engine.py 脚本进行测试。

语音识别

语音识别 YouTube 视频

脚本

更多详细信息请查看这些文件，了解脚本参数和说明：

speechrecognition/scripts/mimic_create_jsons.py 用于使用 Mimic Recording Studio 创建训练和测试 JSON 文件。 speechrecognition/scripts/commonvoice_create_jsons.py 用于将 MP3 转换为 WAV，并使用 Common Voice 数据集创建训练和测试 JSON 文件。 spechrecognition/neuralnet/train.py 用于训练模型。 spechrecognition/neuralnet/optimize_graph.py 用于创建可用于 engine.py 的生产就绪图。 spechrecognition/engine.py 用于演示语音识别模型。 spechrecognition/demo/demo.py 用于通过 Web GUI 演示语音识别模型。

语音识别模型预训练或微调步骤

预训练模型可在此 Google Drive 链接中找到。

1. 收集您自己的数据——预训练模型是在 Common Voice 数据集上训练的。为了让该模型更好地适用于您的场景，您可以使用 Mimic Recording Studio 录制大约一小时左右的语音数据。该工具提供了可供朗读的提示文本。

   1. 使用 Mimic Recording Studio 或您自己的数据集收集音频。
   2. 确保将音频切分为每段 5 至 16 秒的片段。
   3. 按照以下格式创建训练和测试的 JSON 文件：

       // 每个样本独占一行
       {"key": "/path/to/audio/speech.wav, "text": "这是您的文本"}
       {"key": "/path/to/audio/speech.wav, "text": "另一个文本示例"}
   

   使用 mimic_create_jsons.py 脚本，基于 Mimic Recording Studio 的数据生成训练和测试的 JSON 文件。

    python mimic_create_jsons.py --file_folder_directory /dir/to/the/folder/with/the/studio/data --save_json_path /path/where/you/want/them/saved
   

   （Mimic Recording Studio 的文件通常存储在 ~/mimic-recording-studio-master/backend/audio_files/[random_string] 目录下。）

   使用 commonvoice_create_jsons.py 脚本，将 CommonVoice 数据集中的 MP3 文件转换为 WAV 格式，并生成训练和测试的 JSON 文件：

    python commonvoice_create_jsons.py --file_path /path/to/commonvoice/file/.tsv --save_json_path /path/where/you/want/them/saved 
   

   如果不需要转换格式，可以添加 --not-convert 参数。

2. 训练模型

   1. 使用 train.py 脚本进行微调。请参阅 train.py 中的 argparse 参数说明以了解其他选项。

      python train.py --train_file /path/to/train/json --valid_file /path/to/valid/json --load_model_from /path/to/pretrain/speechrecognition.ckpt
   

   2. 若要从零开始训练，请在 train.py 中省略 --load_model_from 参数。
   3. 模型训练完成后，使用 optimize_graph.py 脚本创建一个冻结并优化后的 PyTorch 模型。预训练的优化后模型可在 Google Drive 链接中找到，文件名为 speechrecognition.zip。

3. 测试

   1. 使用 engine.py 脚本进行测试。

树莓派

关于如何在树莓派上运行此项目的文档正在编写中……

A-Hackers-AI-Voice-Assistant 快速上手指南

注意：本项目作者已停止维护。如需贡献或接手项目，可加入其 Discord 社区。本指南基于现有代码整理，旨在帮助开发者快速构建基于 PyTorch 的 AI 语音助手原型。

环境准备

系统要求

• 推荐系统：Linux 或 macOS
• Windows 用户：部分组件（如 torchaudio）在 Windows 原生环境下可能无法正常工作，建议使用 WSL2 (Windows Subsystem for Linux) 运行。
• 硬件：
  • CPU 模式：任意现代计算机
  • GPU 模式：支持 CUDA 的 NVIDIA 显卡（用于加速训练和推理）
  • 树莓派：文档正在完善中，暂不推荐新手直接使用。

前置依赖

确保系统已安装以下基础软件：

• Python 3
• PortAudio（用于音频录制）
  • macOS: brew install portaudio
  • Ubuntu/Debian: sudo apt-get install portaudio19-dev python3-pyaudio
  • CentOS/Fedora: sudo dnf install portaudio-devel

安装步骤

推荐使用虚拟环境进行隔离安装。

1. 创建并激活虚拟环境

virtualenv voiceassistant.venv
source voiceassistant.venv/bin/activate

2. 安装 Python 依赖

pip install -r requirements.txt

注：若下载速度慢，可临时使用国内镜像源：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

3. (可选) Docker 部署

如果你希望使用容器化运行：

• 仅使用 CPU:

  docker build -f cpu.Dockerfile -t voiceassistant .
  

• 使用 CUDA (GPU):

  docker build -f Dockerfile -t voiceassistant .
  

基本使用

本项目核心功能分为 唤醒词检测 (Wake Word) 和 语音识别 (Speech Recognition) 两个主要模块。以下是各模块的最小化运行流程。

模块一：唤醒词检测 (Wake Word)

1. 数据收集与准备

收集包含唤醒词和环境噪音的音频数据，并整理为训练格式。

cd VoiceAssistant/wakeword/scripts
mkdir -p data/0 data/1 data/wakewords

# 交互式收集唤醒词音频 (采样率 8000Hz, 每段 2 秒)
python collect_wakeword_audio.py --sample_rate 8000 --seconds 2 --interactive --interactive_save_path ./data/wakewords

# 平衡数据集：复制唤醒词样本以避免类别不平衡
python replicate_audios.py --wakewords_dir data/wakewords/ --copy_destination data/1/ --copy_number 100

# 将非唤醒词语料库（如 Common Voice）切片并放入 data/0 目录
# (需先自行下载 Common Voice 数据集，然后使用 split_audio_into_chunks.py 处理)

# 生成训练所需的 JSON 标签文件
python create_wakeword_jsons.py

生成的 JSON 格式示例：

{"key": "/path/to/audio/sample.wav", "label": 0}
{"key": "/path/to/audio/sample.wav", "label": 1}

2. 训练模型

cd ../neuralnet
# 训练模型
python train.py

# 优化模型图以便生产环境使用
python optimize_graph.py

3. 测试演示

cd ..
python engine.py

---

模块二：语音识别 (Speech Recognition)

你可以选择微调预训练模型（推荐）或从头训练。 预训练模型下载地址：Google Drive

1. 数据准备

使用 Mimic Recording Studio 录制约 1 小时的个人语音数据，或使用 Mozilla Common Voice 数据集。

• 使用 Mimic 数据生成 JSON:

  cd VoiceAssistant/speechrecognition/scripts
  python mimic_create_jsons.py --file_folder_directory /dir/to/the/folder/with/the/studio/data --save_json_path /path/where/you/want/them/saved
  

• 使用 Common Voice 数据生成 JSON (含 MP3 转 WAV):

  python commonvoice_create_jsons.py --file_path /path/to/commonvoice/file/.tsv --save_json_path /path/where/you/want/them/saved
  

  若不转换格式，添加 --not-convert 参数。

生成的 JSON 格式示例：

{"key": "/path/to/audio/speech.wav", "text": "this is your text"}

2. 微调模型 (Fine-tuning)

cd ../neuralnet
python train.py --train_file /path/to/train/json --valid_file /path/to/valid/json --load_model_from /path/to/pretrain/speechrecognition.ckpt

若要从头训练，请省略 --load_model_from 参数。

3. 优化与测试

# 优化模型
python optimize_graph.py

# 命令行测试
cd ..
python engine.py

# Web GUI 演示 (需额外配置前端依赖)
python demo/demo.py