支持

更新

v3.5 现在也支持Twitch主播。

v3.0 现在不仅支持使用VoiceVox的日语TTS，还支持使用Seliro TTS的俄语（RU）、英语（EN）、德语（DE）、西班牙语（ES）、法语（FR）、鞑靼语（TT）、乌克兰语（UA）、乌兹别克语（UZ）、卡尔梅克语（XAL）以及印地语等印度语言的TTS。只需将run.py中的voicevox_tts改为seliro_tts即可。有关如何使用Seliro TTS的详细信息，请参阅相关文档。

AI女友虚拟主播与助手

该项目受到shioridotdev的启发，利用VoiceVox引擎、DeepL、Whisper OpenAI、Seliro TTS和VtubeStudio等多种技术，打造了一位AI女友虚拟主播。

演示

• 演示
• 直播测试
• 代码讲解
• 片段

使用的技术

• VoiceVox Docker 或
• DeepL
• Deeplx
• Whisper OpenAI
• Seliro TTS
• VB-Cable
• VtubeStudio

安装

1. 安装依赖项

pip install -r requirements.txt

2. 创建config.py文件，并存储你的OpenAI API密钥

api_key = 'yourapikey'

3. 更改主人名称

owner_name = "Ardha"

如果你想用于直播，在run.py中创建一个你想要加入黑名单的用户列表：

blacklist = ["Nightbot", "streamelements"]

4. 修改你的助手的背景故事或身份。编辑characterConfig\Pina\identity.txt文件中的文本。

5. 如果你想在Twitch上直播，需要修改utils/twitch_config.py中的配置文件。从这里获取你的令牌。你的令牌看起来应该像这样：oauth:43rip6j6fgio8n5xly1oum1lph8ikl1（本教程中为假数据）。修改完配置文件后，你可以使用模式3启动程序：

server = 'irc.chat.twitch.tv'
port = 6667
nickname = 'testing' # 无需更改
token = 'oauth:43rip6j6fgio8n5xly1oum1lph8ikl1' # 从https://twitchapps.com/tmi/获取。
user = 'ardha27' # 你的Twitch用户名
channel = '#aikohound' # 你想要接收消息的频道

6. 选择你要使用的TTS，是VoiceVox还是Silero。通过取消注释或注释来切换它们：

# 在可用的TTS引擎之间选择
# 日语TTS
voicevox_tts(tts)

# Silero TTS，Silero TTS可以生成英语、俄语、法语、印地语、西班牙语、德语等语言。取消下面一行的注释。确保输入是相应语言。
# silero_tts(tts_en, "en", "v3_en", "en_21")

如果你想使用VoiceVox，你需要先运行VoiceVox引擎。你可以在本地使用VoiceVox Docker运行，或者在Google Colab上使用VoiceVox Colab运行。如果你使用Colab版本，需将utils\TTS.py中的voicevox_url替换为你从Colab获得的链接。

voicevox_url = 'http://localhost:50021'

如果你想查看VoiceVox的语音列表，可以访问VoiceVox，并在speaker.json中找到说话人ID，然后在utils/TTS.py中进行更改。关于Seliro的语音样本，可以参考Seliro Samples。

7. 根据你的使用场景选择要使用的翻译工具（如果回答需要翻译的话，此步骤可选）。可以选择谷歌翻译或Deeplx。如果你想使用VoiceVox，需要将回答翻译成日语，因为VoiceVox只接受日语输入。OpenAI返回的语言将取决于你的助手背景语言characterConfig\Pina\identity.txt以及输入语言：

tts = translate_deeplx(text, f"{detect}", "JA")
tts = translate_google(text, f"{detect}", "JA")

DeepLx是DeepL的免费版本（无需API密钥）。你可以使用Docker运行Deeplx，或者如果你想使用正常的DeepL版本，可以在utils\translate.py中实现该功能。我使用DeepLx是因为我无法从本国注册DeepL。DeepL的翻译结果比谷歌翻译更准确、更自然。但如果你想要简单的方法，直接使用谷歌翻译即可。

8. 如果你想将程序输出的音频作为Vtubestudio的输入，你需要使用Virtual Cable捕获桌面音频，并将其用作VtubeStudio麦克风的输入。

9. 如果你计划将此程序用于直播，可以将chat.txt和output.txt作为OBS文本源，以实现实时字幕。

常见问题解答

1. 音频转录错误

def transcribe_audio(file):
    global chat_now
    try:
        audio_file= open(file, "rb")
        # 将音频翻译成英语
        # transcript = openai.Audio.translate("whisper-1", audio_file)
        # 将音频转录为检测到的语言
        transcript = openai.Audio.transcribe("whisper-1", audio_file)
        chat_now = transcript.text
        print ("Question: " + chat_now)
    except:
        print("Error transcribing audio")
        return

    result = owner_name + " said " + chat_now
    conversation.append({'role': 'user', 'content': result})
    openai_answer()

将这一行代码改为如下所示。这将有助于您获取更多关于错误的信息：

def transcribe_audio(file):
    global chat_now
    audio_file= open(file, "rb")
    # 将音频翻译成英语
    # transcript = openai.Audio.translate("whisper-1", audio_file)
    # 将音频转录为检测到的语言
    transcript = openai.Audio.transcribe("whisper-1", audio_file)
    chat_now = transcript.text
    print ("Question: " + chat_now)


    result = owner_name + " said " + chat_now
    conversation.append({'role': 'user', 'content': result})
    openai_answer()

解决此问题的另一个方法是将 OpenAI 库升级到最新版本。请确保程序能够正确捕捉您的语音/句子，尝试播放 input.wav 文件以确认。

2. Mecab 错误

该库的安装稍显复杂。如果您遇到此问题，可以直接删除 utils/TTS.py 中的 katakana_converter 函数并暂时不使用它。该函数为可选功能，您可以在不使用它的前提下运行程序。请在 utils/TTS.py 中删除以下两行代码：

from utils.katakana import *
katakana_text = katakana_converter(tts)

然后直接将 tts 传递给下一行代码：

params_encoded = urllib.parse.urlencode({'text': tts, 'speaker': 46})

致谢

本项目灵感来源于 shioridotdev 的工作。特别感谢本项目中所使用技术的开发者，包括 VoiceVox 引擎、DeepL、Whisper OpenAI 和 VtubeStudio。

AI-Waifu-Vtuber 快速上手指南

本项目旨在利用 VoiceVox、DeepL、OpenAI Whisper 和 VTubeStudio 等技术，打造一个具备多语言支持的 AI 虚拟主播（VTuber）助手。

环境准备

系统要求

• 操作系统: Windows / Linux / macOS
• Python: 建议 Python 3.8 或更高版本
• 网络: 需能访问 OpenAI API、HuggingFace 模型库及 Docker Hub（如使用 Docker 部署 VoiceVox）

前置依赖与工具

在开始之前，请确保已安装或配置以下组件：

1. Python 依赖包: 通过 requirements.txt 安装。
2. TTS 引擎 (二选一):
   • VoiceVox: 仅支持日语。需本地运行 Docker 或在 Google Colab 运行。
   • Silero TTS: 支持英、俄、德、西、法等多种语言。
3. 翻译服务:
   • DeepLX (推荐): 免费无需 Key，需部署 Docker 或本地运行。
   • Google Translate: 简单直接，无需额外部署。
4. 音频路由: 安装 VB-Cable 用于将程序音频输出映射到 VTubeStudio 麦克风输入。
5. Live2D 模型软件: 安装并运行 VTubeStudio。
6. API Key: 拥有有效的 OpenAI API Key。

国内开发者提示:

• 若无法直接访问 Docker Hub 拉取 voicevox/voicevox_engine，建议使用阿里云或腾讯云容器镜像服务加速。
• 若无法访问 HuggingFace 下载 Silero 模型，可配置 HF_ENDPOINT 环境变量指向国内镜像（如 https://hf-mirror.com）。

安装步骤

1. 克隆项目与安装依赖

打开终端，进入项目目录并安装 Python 依赖：

pip install -r requirements.txt

2. 配置 API 密钥与用户信息

在项目根目录创建 config.py 文件，填入你的 OpenAI API Key 并设置所有者名称：

api_key = 'yourapikey'
owner_name = "YourName"

若计划进行直播推流，需在 run.py 中配置黑名单用户（过滤机器人消息）：

blacklist = ["Nightbot", "streamelements"]

3. 设定角色人设

编辑 characterConfig\Pina\identity.txt 文件，修改其中的内容以定义你的 AI 助手的性格、背景故事（Lore）及回答风格。

4. 配置 TTS 与翻译引擎

打开 run.py 或相关配置文件，根据需求选择引擎：

选择 TTS 引擎: 注释或取消注释对应行来切换。

• VoiceVox (日语): 需先启动 VoiceVox Engine。
• Silero (多语言): 支持英语等，需确保输入文本语言匹配。

# Choose between the available TTS engines
# Japanese TTS
voicevox_tts(tts)

# Silero TTS (Uncomment for English, Russian, etc.)
# silero_tts(tts_en, "en", "v3_en", "en_21")

选择翻译引擎: 若使用 VoiceVox，必须将回答翻译为日语。在代码中选择 translate_deeplx 或 translate_google：

# 推荐 DeepLX (更自然，免费)
tts = translate_deeplx(text, f"{detect}", "JA")

# 或使用 Google Translate
# tts = translate_google(text, f"{detect}", "JA")

5. 配置 VoiceVox (如选用)

若使用 VoiceVox，需确保引擎正在运行：

• 本地运行: 使用 Docker 启动 voicevox/voicevox_engine。
• Colab 运行: 在 Google Colab 运行相关 Notebook 获取 URL。

修改 utils\TTS.py 中的连接地址：

voicevox_url = 'http://localhost:50021' 
# 若使用 Colab，请将 localhost 替换为 Colab 提供的公网链接

注：可在 speaker.json 中查看并修改 VoiceVox 的说话人 ID。

6. 配置 Twitch 直播 (可选)

若需在 Twitch 上使用，编辑 utils/twitch_config.py。从 Twitch Apps 获取 OAuth Token 并填入：

server = 'irc.chat.twitch.tv'
port = 6667
nickname = 'testing' 
token = 'oauth:43rip6j6fgio8n5xly1oum1lph8ikl1' # 替换为你的真实 Token
user = 'your_twitch_username' 
channel = '#your_channel_name' 

配置完成后，运行程序时选择 Mode - 3。

基本使用

1. 启动程序

在终端运行主程序：

python run.py

根据提示选择运行模式（普通对话或直播模式）。

2. 音频路由设置

为了让 VTubeStudio 捕捉到 AI 的声音：

1. 打开 VB-Cable 控制面板。
2. 在本程序中，确保音频输出设备设置为 CABLE Input。
3. 打开 VTubeStudio，进入麦克风设置，将输入设备设置为 CABLE Output。

3. 直播字幕 (可选)

若用于 OBS 直播推流：

• 将 OBS 中的文本源分别指向 chat.txt (显示观众弹幕) 和 output.txt (显示 AI 回复)，即可实现实时字幕效果。

4. 开始互动

对着麦克风说话，程序将通过 Whisper 识别语音，经 OpenAI 处理后，由选定的 TTS 引擎生成语音并通过虚拟线缆播放，同时驱动 VTubeStudio 中的模型动作。