AICoverGen

一个自主流水线，可利用 YouTube 视频或本地音频文件，结合任何经过 RVC v2 训练的 AI 音色生成翻唱作品。适用于希望为其 AI 助手、聊天机器人或虚拟主播添加歌唱功能的开发者，也适合想听自己喜欢的角色演唱喜爱歌曲的用户。

展示视频：https://www.youtube.com/watch?v=2qZuE4WM7CM

设置指南：https://www.youtube.com/watch?v=pdlhk4vVHQk

WebUI 正在持续开发和测试中，但你现在就可以在本地或 Colab 上试用！

目录

• 更新日志
• 安装
  • 安装 Git 和 Python
  • 安装 ffmpeg 和 sox
  • 克隆 AICoverGen 仓库
  • 下载所需模型
• 使用 WebUI
  • 通过 WebUI 下载 RVC 模型
  • 通过 WebUI 上传 RVC 模型
  • 通过 WebUI 运行流水线
• 使用命令行
  • 手动下载 RVC 模型
  • 通过命令行运行流水线
• 使用条款

更新日志

• 引入 WebUI，简化语音模型的转换与下载流程
• 支持从本地音频文件生成翻唱
• 可选择保留中间文件，如分离的人声或伴奏
• 提供带有搜索和标签筛选功能的公共语音模型推荐表，方便下载
• 支持通过 Pixeldrain 下载链接获取语音模型
• 新增 rmvpe 音高提取技术，提升人声转换速度与质量
• 分别控制 AI 主唱、和声及伴奏的音量
• 增加语音转换的索引率调节功能
• 为 AI 主唱提供混响控制
• WebUI 支持局域网共享
• 新增 RVC 高级选项：filter_radius、rms_mix_rate、protect
• 支持通过文件浏览器上传本地文件
• 允许通过 WebUI 上传本地训练的 RVC v2 模型
• 可自定义音高检测方法，如 rmvpe 或 mangio-crepe
• 同时调整人声与伴奏的音高，效果相当于卡拉 OK 中改变歌曲调性
• 音频输出格式可选：wav 或 mp3。

更新 AICoverGen 至最新版本

在 AICoverGen 目录下打开命令行窗口，运行以下命令以安装并拉取所有新依赖项和更改内容。

pip install -r requirements.txt
git pull

对于 Colab 用户，只需点击 Colab 笔记本顶部导航栏中的“Runtime”，然后在下拉菜单中选择“Disconnect and delete runtime”。之后按照笔记本中的说明运行 WebUI 即可。

Colab 笔记本

对于没有足够强大 NVIDIA GPU 的用户，可以尝试使用 Google Colab 来体验 AICoverGen。

如果遇到 Google Colab 笔记本几分钟后自动断开连接的问题，这里提供一个不使用 WebUI 的替代方案：

若希望在本地运行，请参考下方的设置指南。

安装

安装 Git 和 Python

请按照 此处 的说明在您的计算机上安装 Git。同时，请参考此 指南 安装 Python 3.9 版本（如果您尚未安装）。使用其他版本的 Python 可能会导致依赖冲突。

安装 ffmpeg

请按照 此处 的说明在您的计算机上安装 ffmpeg。

安装 sox

请按照 此处 的说明安装 sox，并将其添加到 Windows 环境变量路径中。

克隆 AICoverGen 仓库

打开命令行窗口，运行以下命令以克隆整个仓库并安装所需的额外依赖项。

git clone https://github.com/SociallyIneptWeeb/AICoverGen
cd AICoverGen
pip install -r requirements.txt

下载所需模型

运行以下命令以下载 MDXNET 人声分离模型和 Hubert 基础模型。

python src/download_models.py

使用 WebUI

要运行 AICoverGen WebUI，请执行以下命令。

python src/webui.py

标志	描述
-h, --help	显示帮助信息并退出。
--share	创建一个公开 URL。这在 Google Colab 上运行 WebUI 时非常有用。
--listen	使 WebUI 可通过您的本地网络访问。
--listen-host LISTEN_HOST	服务器使用的主机名。
--listen-port LISTEN_PORT	服务器监听的端口。

当出现如下输出消息“Running on local URL: http://127.0.0.1:7860”时，您可以点击链接打开包含 WebUI 的标签页。

通过 WebUI 下载 RVC 模型

前往“Download model”选项卡，粘贴 RVC 模型的下载链接并为其命名。您可以在 AI Hub Discord 查找已训练好的语音模型进行下载。请参考示例了解下载链接的正确格式。下载的压缩包应包含 .pth 模型文件以及可选的 .index 文件。

填写完两个输入框后，只需点击“Download”！当出现“[NAME] Model successfully downloaded!”的消息时，您便可在“Generate”选项卡中点击刷新模型按钮后使用该模型了！

通过 WebUI 上传 RVC 模型

适用于已在本地训练好 RVC v2 模型并希望用于 AI 翻唱生成的用户。前往“Upload model”选项卡，按照说明操作即可。当出现“[NAME] Model successfully uploaded!”的消息时，您便可在“Generate”选项卡中点击刷新模型按钮后使用该模型了！

通过 WebUI 运行流水线

• 从“语音模型”下拉菜单中选择要使用的语音模型。如果您已手动将文件添加到 rvc_models 目录，请单击“更新”以刷新列表。
• 在歌曲输入框中，复制并粘贴 YouTube 上任意歌曲的链接，或本地音频文件的完整路径。
• 音高应根据原唱和 RVC AI 模型设置为 -12、0 或 12，以确保生成的歌声不会“跑调”。
• 单击折叠箭头展开，即可查看语音转换和音频混音的其他高级选项。

填写完所有主要选项后，单击“生成”，AI 生成的翻唱作品将在几分钟内显示出来，具体时间取决于您的 GPU 性能。

使用命令行界面

手动下载 RVC 模型

如果需要，请解压缩 .pth 和 .index 文件，并将其传输到 rvc_models 目录中的新文件夹中。每个文件夹中只能包含一个 .pth 文件和一个 .index 文件。

目录结构应如下所示：

├── rvc_models
│   ├── John
│   │   ├── JohnV2.pth
│   │   └── added_IVF2237_Flat_nprobe_1_v2.index
│   ├── May
│   │   ├── May.pth
│   │   └── added_IVF2237_Flat_nprobe_1_v2.index
│   ├── MODELS.txt
│   └── hubert_base.pt
├── mdxnet_models
├── song_output
└── src

通过命令行运行流水线

要使用命令行运行 AI 翻唱生成流水线，请执行以下命令：

python src/main.py [-h] -i SONG_INPUT -dir RVC_DIRNAME -p PITCH_CHANGE [-k | --keep-files | --no-keep-files] [-ir INDEX_RATE] [-fr FILTER_RADIUS] [-rms RMS_MIX_RATE] [-palgo PITCH_DETECTION_ALGO] [-hop CREPE_HOP_LENGTH] [-pro PROTECT] [-mv MAIN_VOL] [-bv BACKUP_VOL] [-iv INST_VOL] [-pall PITCH_CHANGE_ALL] [-rsize REVERB_SIZE] [-rwet REVERB_WETNESS] [-rdry REVERB_DRYNESS] [-rdamp REVERB_DAMPING] [-oformat OUTPUT_FORMAT]

标志	描述
-h, --help	显示帮助信息并退出。
-i SONG_INPUT	YouTube 上歌曲的链接或本地音频文件的路径。Windows 系统需用双引号括起来，类 Unix 系统则用单引号。
-dir MODEL_DIR_NAME	rvc_models 目录中包含特定语音 .pth 和 .index 文件的文件夹名称。
-p PITCH_CHANGE	以八度为单位调整 AI 歌声的音高。设置为 0 表示不改变音高。通常，男声转女声时使用 1，女声转男声时使用 -1。
-k	可选。可添加此选项以保留所有中间生成的音频文件，例如分离出的 AI 歌声或伴奏。若不添加，则会节省存储空间。
-ir INDEX_RATE	可选。默认值为 0.5。控制在歌声中保留多少 AI 的口音。取值范围为 0 ≤ INDEX_RATE ≤ 1。
-fr FILTER_RADIUS	可选。默认值为 3。若大于等于 3，则会对提取到的音高结果应用中值滤波。取值范围为 0 ≤ FILTER_RADIUS ≤ 7。
-rms RMS_MIX_RATE	可选。默认值为 0.25。控制是使用原唱的音量（0）还是固定音量（1）。取值范围为 0 ≤ RMS_MIX_RATE ≤ 1。
-palgo PITCH_DETECTION_ALGO	可选。默认为 rmvpe。最佳选择是 rmvpe（歌声清晰），其次是 mangio-crepe（歌声更平滑）。
-hop CREPE_HOP_LENGTH	可选。默认值为 128。仅在使用 mangio-crepe 算法时有效，用于控制每毫秒检查音高的频率。数值越低，转换时间越长，出现破音的风险也越高，但音高精度会更好。
-pro PROTECT	可选。默认值为 0.33。控制在 AI 歌声中保留多少原唱的呼吸声和清辅音。设置为 0.5 则完全禁用。取值范围为 0 ≤ PROTECT ≤ 0.5。
-mv MAIN_VOCALS_VOLUME_CHANGE	可选。默认值为 0。控制主唱部分的音量。使用 -3 可将音量降低 3 分贝，使用 3 则可将音量提高 3 分贝。
-bv BACKUP_VOCALS_VOLUME_CHANGE	可选。默认值为 0。控制副歌部分的音量。
-iv INSTRUMENTAL_VOLUME_CHANGE	可选。默认值为 0。控制背景音乐或伴奏的音量。
-pall PITCH_CHANGE_ALL	可选。默认值为 0。以半音为单位同时改变背景音乐、副歌和主唱的音高/调性。这会略微降低音质。
-rsize REVERB_SIZE	可选。默认值为 0.15。房间越大，混响时间越长。取值范围为 0 ≤ REVERB_SIZE ≤ 1。
-rwet REVERB_WETNESS	可选。默认值为 0.2。控制 AI 歌声中混响的比例。取值范围为 0 ≤ REVERB_WETNESS ≤ 1。
-rdry REVERB_DRYNESS	可选。默认值为 0.8。控制 AI 歌声中无混响部分的比例。取值范围为 0 ≤ REVERB_DRYNESS ≤ 1。
-rdamp REVERB_DAMPING	可选。默认值为 0.7。控制混响中高频声音的吸收程度。取值范围为 0 ≤ REVERB_DAMPING ≤ 1。
-oformat OUTPUT_FORMAT	可选。默认为 mp3。wav 格式音质最佳但文件较大，mp3 格式音质尚可且文件较小。

使用条款

禁止将转换后的语音用于以下目的：

• 批评或攻击个人。
• 宣扬或反对特定的政治立场、宗教或意识形态。
• 公开展示具有强烈刺激性的内容而未进行适当分区。
• 出售语音模型和生成的语音片段。
• 冒充原声主的人，出于恶意意图伤害他人。
• 用于可能导致身份盗用或诈骗电话的欺诈目的。

免责声明

对于因使用、误用或无法使用本软件而直接、间接、附带、偶然或特殊损害所引起的一切后果，本人概不负责。

AICoverGen 快速上手指南

AICoverGen 是一个自动化流水线工具，支持从 YouTube 视频或本地音频文件生成 AI 翻唱歌曲。它基于 RVC v2 模型，适用于开发者集成歌唱功能，或个人制作角色翻唱作品。

环境准备

在开始之前，请确保您的系统满足以下要求并安装了必要的前置依赖：

• 操作系统: Windows, Linux 或 macOS
• Python: 必须安装 Python 3.9 (其他版本可能导致依赖冲突)
• Git: 用于克隆代码仓库
• FFmpeg: 用于音频处理
• Sox: 用于音频交换处理 (Windows 用户需将其添加到系统环境变量 Path 中)
• GPU: 推荐使用 NVIDIA GPU 以获得最佳生成速度（无独立显卡用户可使用 Google Colab）

注意: 国内用户在安装 Python 包时，建议添加清华源或阿里源以加速下载，例如：pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆仓库与安装依赖

打开终端（命令行），执行以下命令克隆项目并安装 Python 依赖：

git clone https://github.com/SociallyIneptWeeb/AICoverGen
cd AICoverGen
pip install -r requirements.txt

2. 下载核心模型

运行以下脚本下载必需的 MDXNET 人声分离模型和 Hubert 基础模型：

python src/download_models.py

基本使用

AICoverGen 提供 WebUI (图形界面) 和 CLI (命令行) 两种使用方式。推荐初学者使用 WebUI。

方式一：使用 WebUI (推荐)

1. 启动界面

在 AICoverGen 目录下运行：

python src/webui.py

启动成功后，终端会显示 Running on local URL: http://127.0.0.1:7860。在浏览器中打开该链接即可进入操作界面。

• 远程访问: 若需在局域网其他设备访问，添加 --listen 参数；若需生成公网链接（如 Colab 环境），添加 --share 参数。

2. 获取声音模型

• 在线下载: 在 WebUI 的 Download model 标签页，粘贴 RVC 模型下载链接（可从 AI Hub Discord 等社区获取）并命名，点击 Download。
• 本地上传: 在 Upload model 标签页上传您本地训练好的 .pth 和 .index 文件。

3. 生成翻唱

进入 Generate 标签页：

1. Voice Models: 选择已加载的声音模型。
2. Song Input: 输入 YouTube 视频链接或本地音频文件的完整路径。
3. Pitch: 设置变调（通常男转女设为 12，女转男设为 -12，同性别设为 0），以防跑调。
4. 点击 Generate，等待片刻即可在输出目录找到生成的音频。

---

方式二：使用 CLI (命令行)

适合批量处理或服务器部署。

1. 手动配置模型

将下载好的 RVC 模型文件（.pth 和 .index）放入 rvc_models 目录下的新文件夹中。 目录结构示例：

├── rvc_models
│   ├── John
│   │   ├── JohnV2.pth
│   │   └── added_IVF2237_Flat_nprobe_1_v2.index
│   └── hubert_base.pt

2. 执行生成命令

使用以下命令格式运行：

python src/main.py -i "SONG_INPUT" -dir MODEL_DIR_NAME -p PITCH_CHANGE

参数说明：

• -i: 歌曲输入（YouTube 链接或本地文件路径，Windows 请用双引号包裹）。
• -dir: 模型所在的文件夹名称（位于 rvc_models 内）。
• -p: 变调幅度（半音阶）。0 为不变，12 为升高一个八度，-12 为降低一个八度。

完整高级示例（包含音量调节、混响及保留中间文件）：

python src/main.py -i "https://www.youtube.com/watch?v=example" -dir John -p 12 -k -mv 3 -rsize 0.15 -oformat mp3

提示: 运行 python src/main.py -h 可查看所有可用的高级参数（如索引率、滤波半径、保护参数等）。