RAVE：实时音频变分自编码器

由Antoine Caillon和Philippe Esling共同撰写的论文《RAVE：用于快速且高质量神经音频合成的变分自编码器》（论文链接）的官方实现。

如果您在音乐表演或装置艺术中使用RAVE，请务必引用本仓库或该论文！

如果您想分享、讨论或咨询有关RAVE及ACIDS其他研究的内容，欢迎加入我们的Discord服务器！

在提交问题之前，请先查看常见问题解答！

RAVE VST 适用于Windows、Mac和Linux的RAVE VST插件目前以测试版形式发布在IRCAM论坛相应页面上。如遇问题，请在此处或IRCAM论坛讨论页中提交问题。

教程：IRCAM论坛网页上已提供新教程，视频版本也将很快推出！

• 教程：使用RAVE在DAW中进行神经合成
• 教程：使用RAVE在Max 8中进行神经合成
• 教程：使用自定义数据训练RAVE模型

旧版本

可通过以下命令恢复RAVE模型的原始实现：

git checkout v1

安装

使用以下命令安装RAVE：

pip install acids-rave

警告 强烈建议在安装acids-rave之前先安装torch和torchaudio，以便您可以在PyTorch官网上选择合适的版本。为确保与未来新设备及现代Python环境的兼容性，rave-acids不再强制要求使用torch==1.13。

您的计算机需要安装ffmpeg。您也可以在虚拟环境中本地安装它：

conda install ffmpeg

Colab

感谢hexorcismos，现在有一个用于训练RAVEv2的Colab笔记本可用！

使用方法

训练RAVE模型通常包括三个独立步骤：数据集准备、训练和导出。

数据集准备

您可以采用常规和懒人两种方式来准备数据集。懒人预处理允许RAVE直接在原始文件（如mp3、ogg）上进行训练，而无需先将其转换为其他格式。警告：懒人加载方式会显著增加训练时的CPU负载，尤其是在Windows系统上。不过，这在处理无法解压后存入硬盘的大规模音频语料时非常有用。无论如何，您都可以使用以下命令准备数据集：

rave preprocess --input_path /audio/folder --output_path /dataset/path --channels X (--lazy)

镜像内容结束 -->

先验

对于离散模型，我们会将用户重定向到 msprior 库 这里。然而，由于该库仍处于实验阶段，1.x 版本中的先验已在 2.3 版中重新集成。

训练

要为预训练的 RAVE 模型训练先验：

rave train_prior --model /path/to/your/run --db_path /path/to/your_preprocessed_data --out_path /path/to/output

这将在预训练模型 path/to/your/run 的潜在空间上训练先验，并将模型和 TensorBoard 日志保存到 /path/to/output 文件夹中。

脚本化

要将先验与 RAVE 模型一起脚本化，请通过为您的预训练先验提供 --prior 关键字来导出您的模型：

rave export --run /path/to/your/run --prior /path/to/your/prior (--streaming)

预训练模型

几个预训练的流式模型 可在此处获取。我们将持续更新此列表以包含新模型。

实时使用

本节介绍如何将 RAVE 加载到 nn~ 中，以便在 Max/MSP 或 PureData 中实时使用。

重建

您计算机上可用的名为 darbouka.gin 的预训练 RAVE 模型可以使用以下语法加载到 nn~ 中，其中默认方法设置为前向（即先编码再解码）：

这与以下补丁的效果相同，但速度稍快。

高级操作

能够显式访问 RAVE 产生的潜在表示，使我们能够使用 Max/MSP 或 PureData 的信号处理工具与该表示进行交互：

风格迁移

默认情况下，RAVE 可用作风格迁移工具，这得益于该模型的大压缩比。我们最近添加了一种受 StyleGAN 启发的技术，将自适应实例归一化引入重建过程，从而能够在 Max/MSP 或 PureData 中直接定义“源”和“目标”风格，利用 nn~ 的属性系统。

其他属性，如 enable 或 gpu，可用于启用或禁用计算，或使用 GPU 来加速处理（目前仍处于实验阶段）。

离线使用

在 2.3 版中发布了一个批量生成脚本，用于转换大量文件：

rave generate model_path path_1 path_2 --out out_path

其中 model_path 是您训练好的模型路径（原始模型或脚本化模型），path_X 是音频文件或目录列表，而 out_path 是生成结果的输出目录。

讨论

如果您有任何问题、想分享您使用 RAVE 的经验，或分享使用该模型创作的音乐作品，欢迎使用 讨论页！

演示

RAVE x nn~

演示如何结合 RAVE 和 maxmsp 的 nn~ 外挂插件进行创作！

嵌入式 RAVE

使用 nn~ for puredata，RAVE 可以在嵌入式平台上实时运行！

常见问题解答 (FAQ)

问题：我的预处理卡住了，显示 0it[00:00, ?it/s]
回答：这意味着您数据集中的音频文件太短，无法为 RAVE 提供足够的时域范围。请尝试使用 preprocess 中的 --num_signal XXX(samples) 参数减小信号窗口，之后别忘了在 train 中添加 --n_signal XXX(samples) 参数。

问题：在训练过程中，我遇到了类似 ValueError: n_components=128 必须介于 0 和 min(n_samples, n_features)=64 之间，且 svd_solver='full' 的异常。
回答：这意味着您的数据集没有足够的数据批次来计算内部潜在 PCA，而后者至少需要 128 个样本（或批次）。

资助

这项工作由 IRCAM 主导，并得到了以下项目的资助：

• ANR MakiMono
• ACTOR
• DAFNE+ 编号 101061548

RAVE 快速上手指南

RAVE (Realtime Audio Variational autoEncoder) 是一个用于快速、高质量神经音频合成的变分自编码器。它支持实时音频处理、音色转换及风格迁移，并可与 Max/MSP、PureData 等环境集成。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Windows, macOS 或 Linux
• Python 版本：建议 Python 3.8+
• 核心依赖：
  • torch 和 torchaudio：强烈建议先手动安装适合您硬件（CPU/CUDA）版本的 PyTorch。
  • ffmpeg：用于音频文件处理，必须安装在系统中或虚拟环境中。
• 硬件要求：
  • 训练建议使用 NVIDIA GPU。
  • 不同模型架构对显存要求不同（v2 版本建议至少 16GB 显存，v2_small 或 raspberry 配置可降低需求）。

安装依赖

1. 安装 PyTorch 请访问 PyTorch 官网 获取适合您环境的安装命令。例如（CUDA 11.8）：

   pip install torch torchaudio --index-url https://download.pytorch.org/whl/cu118
   

   (注：国内用户可使用清华源加速：--index-url https://pypi.tuna.tsinghua.edu.cn/simple)

2. 安装 ffmpeg

   • Conda 用户推荐：

     conda install ffmpeg
     

   • 系统级安装：
     • Ubuntu/Debian: sudo apt-get install ffmpeg
     • macOS: brew install ffmpeg
     • Windows: 下载构建包并配置环境变量

安装步骤

完成前置依赖安装后，使用 pip 安装 RAVE：

pip install acids-rave

提示：如果您在中国大陆，建议使用国内镜像源以提高下载速度：

pip install acids-rave -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

RAVE 的工作流主要包含三个步骤：数据集预处理、模型训练和模型导出。

1. 数据集预处理

将您的音频文件夹转换为 RAVE 可用的数据集格式。假设您的音频文件位于 /audio/folder，希望将数据集保存到 /dataset/path，且音频为单声道（channels=1）：

rave preprocess --input_path /audio/folder --output_path /dataset/path --channels 1

• 可选：如果您的数据集非常大且不想占用过多磁盘空间进行解压，可以添加 --lazy 参数直接读取原始文件（如 mp3, ogg），但这会增加训练时的 CPU 负载。

  rave preprocess --input_path /audio/folder --output_path /dataset/path --channels 1 --lazy
  

2. 模型训练

使用预处理好的数据集训练模型。以下命令使用推荐的 v2 架构进行训练：

rave train --config v2 --db_path /dataset/path --out_path /model/out --name my_first_rave --channels 1

• --config: 模型架构（可选 v1, v2, discrete, raspberry 等）。
• --db_path: 预处理后的数据集路径。
• --out_path: 模型检查点保存路径。
• --name: 本次运行任务的名称。

3. 模型导出

训练完成后，需要将模型导出为 TorchScript 格式以便推理或部署到实时环境（如 Max/MSP）。

重要：若需用于实时流式处理（Realtime），必须添加 --streaming 标志，否则会出现爆音。

rave export --run /model/out/my_first_rave --streaming

导出成功后，您将得到一个 .ts 文件，可用于后续的离线批量生成或加载到 nn~ 外部对象中进行实时表演。

进阶：离线批量生成

如果您只想用训练好的模型批量处理音频文件：

rave generate /model/out/my_first_rave.ts input_audio_1.wav input_folder_2 --out processed_output