GPT-vup Live2D数字人直播

（本库停止维护，可以关注下我的新项目：Langup: https://github.com/jiran214/langup-ai 已实现直播数字人）

简介

Real Virtual UP 支持BiliBili和抖音直播，基于生产者-消费者模型设计，使用了openai嵌入、GPT3.5 api (本库暂时停止维护)

功能

• 基本功能，回答弹幕和SC、欢迎入场观众、感谢礼物
• plugin(默认关闭)
  • speech：监听ctrl+t热键，输入语音转为文本和ai数字人交互
  • action：根据观众的行为匹配对应人物动作
  • schedule：隔一段时间触发某一事件，讲故事、唱rap...
  • context：给问题补充上下文

安装

环境

• win 10
• python 3.8
• vpn全局代理

pip安装依赖

git clone https://github.com/jiran214/GPT-vup.git
cd src
# 建议命令行或者pycharm创建虚拟环境并激活 https://blog.csdn.net/xp178171640/article/details/115950985
python -m pip install --upgrade pip pip
pip install -r requirements.txt

新建config.ini

• 重命名config.sample.ini为config.ini
• 更改api_key和proxy 其它可以不用管
• 相关配置见后

测试网络环境

• src目录下运行：>>python manager.py test_net

快速开始

B站直播

• 安装依赖库：>>pip install bilibili-api-python
• config.ini 的 room -> id 更改为自己的房间号，可以先随便找个
• src目录下运行：>>python manager.py run bilibili

抖音直播

• 参考 抖音弹幕抓取数据推送: 基于系统代理抓包打造的抖音弹幕服务推送程序
• 启动该项目
• 打开web或者桌面端抖音正在直播的直播间，数据开始抓取
• src目录下运行：>>python manager.py run douyin

Vtube Studio 安装及配置

• 在steam下载Vtube Studio软件
• 教程：https://www.bilibili.com/video/BV1nV4y1X7yJ?t=426.7
• 重点！！！
  • 麦克风设置：你可以不用虚拟声道，win 默认输出设备为Speaker Realtek(R) Audio，在VTS里的麦克风设置，输入设备也设置为Realtek(R) Audio即可。
  • 嘴型同步声音，在mouthOpen的输入参数设置为声音频率、或者声音音量
• 如果需要更好的直播效果，请自行了解更多

进阶

speech plugin：语音交互

• config.ini -> plugin -> speech 设置为True
• 运行>> pip install pyaudio speech_recognition keyboard
• 程序启动后按住 ctrl+T 说话，自动语音转文字，vup会听到你说的话

schedule plugin：隔一段时间触发某一事件，讲故事、唱rap...

• config.ini -> plugin -> schedule 设置为True
• utils/prompt_temple.py 的schedule_task_temple_list列表有我写好的触发事件

action plugin：VTS动作表情交互

实现vup根据观众的互动行为匹配动作

• config.ini -> plugin -> action设置为True
• 运行>>pip install pyvts
• 打开VTS，开启VTS的API开关
• 在VTS的表情设置里，给每一个动作重命名为体现动作表情的词，不然没有意义
• src目录下运行>> python manager.py action，pyvts会请求vts api（注意：此时VTS会有确认弹窗）
• 程序会自动生成 action.json
• 如果需要更新动作，请重复上述步骤

实验功能：context plugin：给对话补充上下文

• 前提1：Docker安装milvus2.0单机版本，并设置 config.ini -> milvus -> host and port
• 前提2：Mysql环境，并设置 config.ini -> mysql -> uri
• config.ini -> plugin -> context 设置为True
• 运行>> pip install pymilvus==2.0
• 自行设置scripts/manager.py的参数，运行>> python scripts/manager.py run，采集贴吧数据到MySQL，处理后推给Milvus

其它

• utils/prompt_temple.py 的 system_template 可以更改vup的初始设定

更新日志

• V2.0 支持context plugin，目录重构、更简单的readme，解决依赖混乱的问题
• V1.0 旧版本内容

Contact Me

GPT-vup 快速上手指南

⚠️ 重要提示：本仓库已停止维护。作者推荐关注新项目 Langup (https://github.com/jiran214/langup-ai)，该项目已实现更完善的直播数字人功能。以下内容仅作为历史版本参考。

环境准备

在开始之前，请确保满足以下系统和软件要求：

• 操作系统：Windows 10
• Python 版本：Python 3.8
• 网络环境：需配置全局代理（VPN），以便访问 OpenAI API。
• 虚拟形象软件：VTube Studio（用于驱动 Live2D 模型，需在 Steam 下载）。

安装步骤

1. 克隆项目与安装依赖

打开命令行工具，执行以下命令拉取代码并安装 Python 依赖：

git clone https://github.com/jiran214/GPT-vup.git
cd src
# 建议创建并激活虚拟环境
python -m pip install --upgrade pip
pip install -r requirements.txt

2. 配置文件设置

将示例配置文件重命名为正式配置文件，并填入关键信息：

ren config.sample.ini config.ini

使用文本编辑器打开 config.ini，修改以下必填项：

• api_key: 填入你的 OpenAI API Key。
• proxy: 填入你的本地代理地址（例如 http://127.0.0.1:7890）。

3. 网络环境测试

在 src 目录下运行以下命令，验证网络连通性：

python manager.py test_net

基本使用

第一步：配置 VTube Studio (VTS)

1. 启动 VTube Studio 并加载模型。
2. 麦克风设置：无需虚拟声道。将 Windows 默认输出设备设为 Speaker Realtek(R) Audio，并在 VTS 设置中将麦克风输入设备也选为 Realtek(R) Audio。
3. 口型同步：在 VTS 参数设置中，将 MouthOpen 参数的输入源设置为“声音频率”或“声音音量”。

第二步：启动直播

根据目标平台选择以下一种方式启动：

方案 A：Bilibili 直播

1. 安装 B 站专用依赖：

   pip install bilibili-api-python
   

2. 编辑 config.ini，在 [room] 部分将 id 修改为你自己的直播间房间号。
3. 运行启动命令：

   python manager.py run bilibili
   

方案 B：抖音直播

1. 需先启动第三方弹幕抓取服务（参考项目：dy-barrage-grab）。
2. 打开抖音网页版或客户端进入正在直播的房间，确保数据开始抓取。
3. 运行启动命令：

   python manager.py run douyin
   

第三步：验证交互

启动成功后，数字人将自动执行以下基础功能：

• 回答弹幕评论和 SC（醒目留言）。
• 欢迎新进入直播间的观众。
• 感谢观众赠送的礼物。

---

注：如需启用语音交互、动作匹配或定时任务等进阶插件，请参考原项目文档在 config.ini 中开启对应开关并安装额外依赖。