xVA合成

xVASynth 是一款基于机器学习的语音合成应用，使用来自电子游戏角色或语音包的声音。

Steam：https://store.steampowered.com/app/1765720/xVASynth_v2

HuggingFace 🤗 Space 在线演示：https://huggingface.co/spaces/Pendrokar/xVASynth

新功能：xVATrainer，用于训练您自己的自定义语音：https://github.com/DanRuta/xva-trainer

观看实际效果（YouTube 链接）

这是一个基于 Electron 的用户界面，封装了针对电子游戏语音数据训练的 FastPitch 模型推理。该应用作为一个框架，会加载并使用提供给它的任何模型。因此，仅靠应用本身无法完成任何操作，必须安装相应的模型。如果模型有对应的资源文件，就会被加载到其所属的游戏或分类中；其他模型则会被归入“其他”分类。

该工具的主要优势在于，它允许模组创作者为第三方游戏模组生成新的语音台词。此外，它还可用于制作机建动画，或者只是单纯地用熟悉的语音来娱乐一番。

欢迎加入 Discord 聊天室：https://discord.gg/nv7c6E2TzV

安装

在可能的情况下，请务必从 Nexusmods 网站下载应用（“文件”选项卡中的“主要文件”部分）。在那里，编译好的版本将是最新版本。

基础应用程序可以下载并放置在任何位置。如果有空间，建议将其安装在 SSD 上，以减少语音包的加载时间。要安装语音包，只需将文件放入对应游戏的目录中：xVASynth/resources/app/models/<game>/

使用说明

请观看上方视频，以了解本节内容的概要。

首先，下载最新版本，双击 xVASynth.exe 文件，并确保在 Windows 提示允许运行 Python 服务器脚本时点击“允许”（此脚本在内部使用）。或者，您可以查看“开发”部分，了解如何运行未打包的开发代码。

应用启动后，从左上角的下拉菜单中选择语音包类别（即游戏），然后单击特定的语音包。

此时会显示该语音包已合成的音频文件列表（如有）。要进行合成，单击“加载模型”按钮。在较慢的设备上，这可能需要约一分钟的时间。

完成后，在文本框中输入您的文本，然后单击“生成语音”按钮。生成后，系统会显示输出预览。单击“保留样本”按钮可保存到文件；如果您对文本进行了修改，可以再次单击“生成语音”按钮，以丢弃当前结果并重新生成。

您可以通过上下移动字母滑块，或使用下方工具栏中的工具，调整单个字母的音高、持续时间和能量。

在音频文件列表中，您可以预览、重命名、打开包含文件的文件夹，或删除每个文件。

如果您的系统已安装所需的 CUDA 依赖项，可以通过切换设置菜单中的开关来启用 GPU 推理（单击右上角的设置齿轮图标）。

开发

1. 使用 npm install 安装 Node 模块。
2. 使用 python -m venv .venv 创建 Python 3.9 虚拟环境。
3. 激活虚拟环境。
4. 从其中一个 requirements_*.txt 文件中安装 Python 依赖项。例如，pip install -r requirements_cpu.txt。
5. 使用 npm start 运行应用程序。

该应用同时使用 JavaScript（Electron，UI）和 Python 代码（FastPitch 模型）。由于 Python 脚本需要与应用程序一起运行并接收输入，因此通过 HTTP 服务器进行通信，JavaScript 代码会向本地主机发送请求，端口为 8008。在开发过程中，使用的是 Python 源代码；而在生产环境中，则使用编译后的 Python 代码。

打包

首先，运行 package.json 中的脚本以创建 Electron 可执行文件。 其次，使用 PyInstaller 编译 Python 代码。运行 pip install pyinstaller 并执行 pyinstaller -F server.spec。删除 build 文件夹，将 dist 目录中的 server 文件夹移至 release-builds/xVASynth-win32-x64/resources/app，并重命名为 cpython。分发 xVASynth-win32-x64 目录中的内容，并通过 xVASynth.exe 运行应用程序。

分发后，先运行一次应用程序，检查 server.log 文件是否有问题，并在分发前删除所有不必要的文件。

请确保删除您的虚拟环境文件夹，以免将其复制到最终的分发版本中。

不过，如果您只是对 JS/HTML/CSS 进行小幅调整，直接编辑或复制文件到现有的已打包版本中可能会更方便。目前并没有代码混淆或其他类似措施。

模型

为该应用训练了大量的模型。这些模型公开托管在 nexus.com 网站上，位于相应语音所属游戏的页面中。

未来计划

未来的计划是继续为更多语音训练模型，目前仍有大量语音待开发。

xVA-Synth 快速上手指南

xVA-Synth 是一款基于机器学习的语音合成工具，专为游戏角色配音设计。它利用 FastPitch 模型，允许用户输入文本并生成特定游戏角色的语音，非常适合游戏模组（Mod）创作者、马奇尼玛（Machinima）制作者及爱好者使用。

环境准备

系统要求

• 操作系统：Windows（主要支持），其他平台需自行编译。
• 硬件建议：
  • 推荐安装在 SSD 以缩短语音库加载时间。
  • 若需启用 GPU 加速推理，需安装对应的 CUDA 依赖。
• 存储空间：预留足够空间存放应用及语音模型文件。

前置依赖

• 运行环境：无需手动安装 Python 或 Node.js 即可使用发布版（Release）。
• 开发环境（仅针对二次开发）：
  • Node.js
  • Python 3.9
  • Git

安装步骤

方式一：直接使用发布版（推荐）

1. 下载应用：
   • 访问 Nexusmods 网站（Files 标签页 -> "Main Files"）下载最新编译版本。
   • 或者从 Steam 商店页面获取。
2. 解压安装：
   • 将下载的压缩包解压至任意目录（建议 SSD）。
3. 安装语音模型：
   • 从 Nexusmods 对应游戏页面下载所需的语音模型文件。
   • 将模型文件放入以下目录：

     xVASynth/resources/app/models/<game>/
     

     注：<game> 替换为具体的游戏文件夹名称。带有对应资源文件的模型会自动归类到相应游戏类别，其余归入 "Other"。

方式二：开发者源码构建

若需修改源码或调试，请按以下步骤操作：

1. 安装 Node 依赖：

   npm install
   

2. 创建 Python 3.9 虚拟环境：

   python -m venv .venv
   

3. 激活虚拟环境：
   • Windows: .venv\Scripts\activate
   • Linux/Mac: source .venv/bin/activate
4. 安装 Python 依赖（根据硬件选择 cpu 或 gpu 版本）：

   pip install -r requirements_cpu.txt
   # 若有 GPU 且已配置 CUDA，可使用 requirements_gpu.txt
   

5. 启动应用：

   npm start
   

基本使用

1. 启动程序：

   • 双击运行 xVASynth.exe。
   • 若 Windows 弹出权限请求，询问是否允许运行 Python 服务器脚本，请点击 允许 (Allow)。

2. 选择角色：

   • 在界面左上角下拉菜单中选择游戏类别（即语音库分类）。
   • 点击具体的角色语音集（Voice Set）。

3. 加载模型：

   • 点击 Load model 按钮。
   • 注意：首次加载或在低配机器上可能需要等待一分钟。

4. 生成语音：

   • 在文本区域输入想要合成的台词。
   • 点击 Generate Voice 按钮。
   • 生成完成后会播放预览。
     • 满意：点击 Keep sample 保存为文件。
     • 不满意：修改文本后再次点击 Generate Voice 重新生成（旧样本将被丢弃）。

5. 高级调整：

   • 可通过拖动字母上方的滑块，或使用下方工具栏，单独调整每个字母的 音高 (Pitch)、时长 (Duration) 和 能量 (Energy)。

6. 文件管理：

   • 在音频列表中可以预览、重命名、打开所在文件夹或删除已生成的音频文件。

7. 启用 GPU 加速（可选）：

   • 若系统已安装 CUDA 依赖，点击右上角的设置齿轮图标，在设置菜单中切换开关以启用 GPU 推理。