环境配置详细教程 B站

0. anaconda\ffmpeg安装

    网上很多教程，自行搜索

    SenseVoiceSmall模型下载：
        自动下载：设置215行 model_dir = "iic/SenseVoiceSmall"
        手动下载：https://www.modelscope.cn/models/iic/SenseVoiceSmall/files
    
    QWen模型下载：
        自动下载：设置220行 model_name = "Qwen/Qwen2.5-1.5B-Instruct"，开启科学上网，可从huggingface自动下载
        手动下载：https://www.modelscope.cn/models/ 搜索QWen，结果中下载显存可支持模型

1. 创建虚拟环境

    conda create -n chatAudio python=3.10
    conda activate chatAudio

2. 安装pytorch+cuda版本，本地测试2.0以上版本均可，这里安装torch=2.3.1+cuda11.8

    pip install torch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 --index-url https://download.pytorch.org/whl/cu118

    其它适合自己电脑的torch+cuda版本可在torch官网查找
    https://pytorch.org/get-started/previous-versions/

3. 简易版本安装，不使用cosyvoice时依赖项较少

    pip install edge-tts==6.1.17 funasr==1.1.12 ffmpeg==1.4 opencv-python==4.10.0.84 transformers==4.45.2 webrtcvad==2.0.10 qwen-vl-utils==0.0.8 pygame==2.6.1 langid==1.1.6 langdetect==1.0.9 accelerate==0.33.0 PyAudio==0.2.14

    可执行验证：
    python 13_SenceVoice_QWen2.5_edgeTTS_realTime.py

至此，不调用cosyvoice作为合成的交互可成功调用了。

4. cosyvoice依赖库

    大家反馈较多pynini、wetext安装方法：
    conda install -c conda-forge pynini=2.1.6
    pip install WeTextProcessing --no-deps

5. cosyvoice其它依赖项安装（如遇到权限问题导致安装失败，以管理员形式打开终端）

   pip install HyperPyYAML==1.2.2 modelscope==1.15.0 onnxruntime==1.19.2 openai-whisper==20231117 importlib_resources==6.4.5 sounddevice==0.5.1 matcha-tts==0.0.7.0

   可执行验证：
    python 10_SenceVoice_QWen2.5_cosyVoice.py

:sparkles: 241130-updata

新增声纹识别功能

设置固定声纹注册语音存储目录，如目录为空则自动进入声纹注册模式。默认注册语音时长大于3秒，可自定义，一般而言时长越长，声纹效果越稳定。 声纹模型采用阿里开源的CAM++，其采用3D-Speaker中文数据训练，符合中文对话需求

新增自由定义唤醒词功能

使用SenceVoice的语音识别能力实现，将语音识别的汉字转为拼音进行匹配。将唤醒词/指令词设置为中文对应拼音，可自由定制。15.0_SenceVoice_kws_CAM++.py中默认为'ni hao xiao qian'，15.1_SenceVoice_kws_CAM++.py中默认为'zhan qi lai'[暗影君王实在太cool辣]

新增对话历史内容记忆功能

通过建立user、system历史队列实现。开启新一轮对话时，首先获取历史记忆，而后拼接新的输入指令。可自由定义最大历史长度，默认为512。

对应脚本：

无历史记忆：15.0_SenceVoice_kws_CAM++.py

有历史记忆：15.1_SenceVoice_kws_CAM++.py

[演示demo，B站] (https://www.bilibili.com/video/BV1Q6zpYpEgv)

Have fun! 😊

:sparkles: 241123-updata

更新单模态自由打断语音交互

使用webrtcvad进行实时vad检测，设置一个检测时间段=0.5s，有效语音激活率=40%，每个检测chunk=20ms。也就是说500ms/20ms=25个检测段，如果25*0.4=10个片段激活，则该0.5秒为有效音，加入缓存。

可改进点：使用模型VAD，去除噪声干扰

13_SenceVoice_QWen2.5_edgeTTS_realTime.py

音视频多模态语音交互

基于以上逻辑，替换QWen2.5-1.5B模型为QWen2-VL-2B，可实现音视频多模态交互。模型具有两种输入格式，图片/视频

14_SenceVoice_QWen2VL_edgeTTS_realTime.py

[演示demo，B站] (https://www.bilibili.com/video/BV1uQBCYrEYL)

:sparkles: 241027-语音交互大模型/SenceVoice-QWen2.5-TTS

框架

SenceVoice-QWen2.5-CosyVoice搭建

此工程主代码来于[CosyVoice] (https://github.com/FunAudioLLM/CosyVoice)

在CosyVoice基础上添加[SenceVoice] (https://github.com/modelscope/FunASR) 作为语音识别模型

添加[QWwn2.5] (https://github.com/QwenLM/Qwen2.5) 作为大语言模型进行对话理解

3种语音合成方法

CoosyVoice推理速度慢，严重影响对话实时性，额外添加pyttsx3和edgeTTS

EdgeTTS实验过程出现链接错误问题，升级版本至6.1.17解决，无需科学上网

All dependencies are listed in requirements.txt, the interactive inference scripts are 10/11/12_SenceVoice_QWen2.5_xxx.py.

Have fun! 😊

ASR-LLM-TTS 快速上手指南

本指南帮助开发者快速搭建基于 SenseVoice（语音识别）、Qwen2.5（大语言模型）和 TTS（语音合成）的实时语音交互系统。

1. 环境准备

系统要求

• 操作系统: Windows / Linux / macOS
• Python 版本: 3.10
• GPU: 支持 CUDA 的 NVIDIA 显卡（推荐显存 8GB 以上，具体视模型大小而定）
• 前置软件:
  • Anaconda (用于管理虚拟环境)
  • FFmpeg (用于音频处理，需配置环境变量)

模型资源

项目依赖以下模型，可选择自动下载或手动下载后放置到指定目录：

• SenseVoiceSmall (ASR):
  • 自动：代码中设置 model_dir = "iic/SenseVoiceSmall"
  • 手动：ModelScope 下载链接
• Qwen2.5 (LLM):
  • 自动：代码中设置 model_name = "Qwen/Qwen2.5-1.5B-Instruct" (需网络通畅)
  • 手动：在 ModelScope 搜索 "QWen"，根据显存选择合适版本下载。
• 声纹模型 (可选): CAM++ (首次运行自动下载)

---

2. 安装步骤

第一步：创建虚拟环境

conda create -n chatAudio python=3.10
conda activate chatAudio

第二步：安装 PyTorch (CUDA 版本)

根据本地显卡驱动选择合适的版本，以下以 CUDA 11.8 + Torch 2.3.1 为例：

pip install torch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 --index-url https://download.pytorch.org/whl/cu118

注：其他版本请参考 PyTorch 官网历史版本。

第三步：安装基础依赖 (轻量版)

如果不使用 CosyVoice 进行高保真语音合成（使用 EdgeTTS 替代），安装以下依赖即可运行基础功能：

pip install edge-tts==6.1.17 funasr==1.1.12 ffmpeg==1.4 opencv-python==4.10.0.84 transformers==4.45.2 webrtcvad==2.0.10 qwen-vl-utils==0.0.8 pygame==2.6.1 langid==1.1.6 langdetect==1.0.9 accelerate==0.33.0 PyAudio==0.2.14

验证安装：

python 13_SenceVoice_QWen2.5_edgeTTS_realTime.py

第四步：安装 CosyVoice 完整依赖 (可选)

如需使用 CosyVoice 进行更自然的语音合成及声纹克隆，需额外安装以下库：

1. 安装特定编译库：

conda install -c conda-forge pynini=2.1.6
pip install WeTextProcessing --no-deps

2. 安装其余依赖（如遇权限错误请以管理员身份运行终端）：

pip install HyperPyYAML==1.2.2 modelscope==1.15.0 onnxruntime==1.19.2 openai-whisper==20231117 importlib_resources==6.4.5 sounddevice==0.5.1 matcha-tts==0.0.7.0

验证安装：

python 10_SenceVoice_QWen2.5_cosyVoice.py

---

3. 基本使用

场景 A：实时语音对话 (轻量版)

使用 EdgeTTS 合成语音，响应速度快，无需复杂配置。

python 13_SenceVoice_QWen2.5_edgeTTS_realTime.py

功能特点：支持单模态语音打断、实时语音识别与大模型对话。

场景 B：实时语音对话 (高保真版)

使用 CosyVoice 合成语音，支持声纹注册与克隆。

python 10_SenceVoice_QWen2.5_cosyVoice.py

功能特点：音色更自然，首次运行若声纹目录为空会自动进入注册模式（需录制大于 3 秒的语音）。

场景 C：自定义唤醒词与历史记忆

支持通过拼音定制唤醒词（如 "ni hao xiao qian"），并开启多轮对话记忆。

# 无历史记忆版本
python 15.0_SenceVoice_kws_CAM++.py

# 开启历史记忆版本 (默认保留最近 512 token 上下文)
python 15.1_SenceVoice_kws_CAM++.py

场景 D：多模态交互 (视觉 + 听觉)

替换为 Qwen2-VL 模型，支持图片/视频输入分析。

python 14_SenceVoice_QWen2VL_edgeTTS_realTime.py

提示：运行前请确保麦克风权限已开启，并根据需求在脚本头部调整模型路径或参数配置。