python ./motion/record.py

python ./motion/tts2ue.py --bs_npy_file  ./records/2023-12-23-17-19-54.npy --wav_file ./records/2023-12-23-17-19-54.wav  --fps 60

python ./motion/prepare_visemes.py

python train_ms.py  -m OUTPUT_MODEL --config ./configs/config.json --visemes

python ./motion/tts2ue.py --bs_npy_file ./tmp.npy --wav_file ./tmp.wav --delay_ms 700

# 音频截取转换
ffmpeg -i input_file -ss 00:00:00 -t 00:00:10 -ar 44100 -f wav test.wav

# 保留通道1
ffmpeg -i test.wav -map_channel 0.0.0 output.wav

python  ./motion/wav_to_visemes.py output.wav

Bert-VITS2-ext 快速上手指南

Bert-VITS2-ext 是 Bert-VITS2 的扩展项目，核心功能是在进行 TTS（语音合成）的同时，同步生成面部表情数据（Live Link Face 格式），可直接驱动 Unreal Engine 中的 MetaHuman 角色。

1. 环境准备

系统要求

• 操作系统: Windows 10/11 或 Linux (推荐 Ubuntu 20.04+)
• GPU: NVIDIA 显卡 (建议显存 8GB 以上)，需安装对应的 CUDA 驱动
• Python: 3.8 - 3.10 (推荐 3.9)
• 额外软件:
  • FFmpeg: 用于音频预处理
  • Unreal Engine 5.3+ (可选): 如需预览 MetaHuman 动画效果
  • Live Link Face App: iOS 设备用于采集真实表情数据

前置依赖

确保已安装 Git 和 Python。建议使用 conda 创建独立虚拟环境。

# 创建虚拟环境
conda create -n bert-vits2-ext python=3.9
conda activate bert-vits2-ext

# 安装 PyTorch (根据 CUDA 版本选择，国内用户推荐使用清华源)
pip install torch torchvision torchaudio --index-url https://pypi.tuna.tsinghua.edu.cn/simple

# 安装其他基础依赖
pip install numpy scipy librosa soundfile matplotlib tqdm

2. 安装步骤

克隆项目代码并安装项目特定依赖：

# 克隆仓库
git clone https://github.com/see2023/Bert-VITS2-ext.git
cd Bert-VITS2-ext

# 安装项目 requirements
# 注意：若下载速度慢，可手动编辑 requirements.txt 替换为国内镜像源
pip install -r requirements.txt

提示：本项目基于 Bert-VITS2 v2.3 修改。如果是纯中文训练需求，原作者反馈 v2.1-v2.3 效果略逊于 v1.0，可根据实际需求调整底座版本。

3. 基本使用流程

本指南演示从数据采集到推理生成的核心流程。

3.1 数据采集 (录制对齐数据)

需同步录制音频和对应的面部表情数据（通过 Live Link Face）。

1. 配置 Live Link Face App，将 Target IP 设为本机 IP，端口默认 11111。
2. 运行录制脚本（每次录制约 20 秒）：

python ./motion/record.py

生成的数据将保存在 records 文件夹中（包含 .wav 音频和 .npy 表情数据）。

3. 验证数据：检查生成的 npy 文件曲线是否正常，并可测试回放至 UE：

# 预览数据曲线 (需在 Jupyter Notebook 中运行)
# ./motion/data.ipynb

# 测试回放：将录制的表情数据发送给 UE 中的 MetaHuman
python ./motion/tts2ue.py --bs_npy_file ./records/2023-12-23-17-19-54.npy --wav_file ./records/2023-12-23-17-19-54.wav --fps 60

3.2 数据预处理

将音频编码为隐变量 z 并生成训练列表。

python ./motion/prepare_visemes.py

执行后将在 filelists 目录下生成 train_visemes.list 和 val_visemes.list。

3.3 模型训练

使用 --visemes 参数启动表情分支的训练。

python train_ms.py -m OUTPUT_MODEL --config ./configs/config.json --visemes

3.4 推理与生成

训练完成后，可通过 WebUI 或直接脚本进行推理。推理时会同时生成音频、隐变量和动画数据。

方式 A: 文本转语音 + 表情 (TTS)

运行 WebUI 进行交互式生成（生成文件位于当前目录）：

python webui.py

在 WebUI 中生成后，使用以下命令查看 UE 效果（注意调整 delay_ms 以对齐音画）：

python ./motion/tts2ue.py --bs_npy_file ./tmp.npy --wav_file ./tmp.wav --delay_ms 700

方式 B: 现有音频转表情 (Audio to Visemes)

将已有的 WAV 文件转换为表情数据：

# 1. 预处理音频：截取片段，采样率转为 44100Hz，转为单声道
ffmpeg -i input_file -ss 00:00:00 -t 00:00:10 -ar 44100 -f wav test.wav
ffmpeg -i test.wav -map_channel 0.0.0 output.wav

# 2. 生成表情数据
python ./motion/wav_to_visemes.py output.wav

4. 进阶扩展 (可选)

• 身体动画生成: 结合 MotionGPT 可根据文本生成身体动作，并通过 VMC 协议发送至 UE。
• 其他模型适配: 项目已尝试扩展至 CosyVoice 和 GPT-SoVITS，具体参见项目 README 中的测试链接，但目前主要通过复用后验网络实现，可能存在计算冗余。

注意: 生成的动画默认 FPS 为 86.1328125 (由 44100/512 计算得出)，这是 Bert-VITS2 架构决定的固定值。