NeuralNote

NeuralNote 是一款音频插件，将**最先进的音频转 MIDI 转换（Audio to MIDI conversion）**功能带入您喜爱的数字音频工作站（Digital Audio Workstation）。

• 适用于任何有音高乐器（tonal instrument，包括人声）
• 支持复调转录（polyphonic transcription）
• 支持弯音检测（pitch bend detection）
• 轻量且非常快速的转录
• 允许在聆听转录结果时调整参数
• 允许直接在插件中对转录的 MIDI 进行缩放和时间量化（time quantize）

安装 NeuralNote

在此处下载适用于您平台的最新版本 here（支持 Windows、macOS (Universal) 和 Linux）！

Windows 和 Mac 均有安装程序可用，包括独立应用（Standalone）、VST3 和 AU（仅 Mac）版本。安装程序允许用户选择想要安装的格式。在 macOS 上，代码已签名，而在 Windows 上则未签名。这意味着您在 Windows 上使用 NeuralNote 可能需要采取一些额外步骤。

对于 Linux，提供了 VST3 和独立应用（Standalone）的原始二进制文件。您可以通过将文件复制到适当的位置来安装它们。

使用方法

NeuralNote 作为一个简单的 AudioFX 插件（VST3/AU/独立应用）提供，应用于要转录的轨道。

工作流程非常简单：

• 获取一些音频
  • 点击录音。适用于真实录音或在数字音频工作站（DAW）中播放轨道时。
  • 或将音频文件拖放到插件上。（支持 .wav, .aiff, .flac, .mp3 和 .ogg (vorbis)）
• MIDI 转录结果会立即出现在钢琴卷帘（piano roll）部分。
• 点击播放按钮聆听结果。
  • 尝试不同的设置以调整转录，甚至在聆听时也可调整
  • 单独调整源音频和合成转录的音量级别
• 满意后，只需将 MIDI 转录结果从插件拖放到 MIDI 轨道即可导出。

在此处观看我们为 Neural Audio Plugin 竞赛制作的演示视频 here。

NeuralNote 内部使用 Spotify 的 basic-pitch 模型。请参阅他们的 博客文章 和 论文 以获取更多信息。在 NeuralNote 中，basic-pitch 使用 RTNeural 运行卷积神经网络（CNN）部分，使用 ONNXRuntime 运行特征部分（恒定 Q 变换（Constant-Q transform）计算 + 谐波堆叠（Harmonic Stacking））。作为本项目的一部分，我们为 RTNeural 做出了贡献 以添加 2D 卷积支持。

从源代码构建

要求：git、cmake 和您操作系统首选的编译器套件。

克隆时使用此命令：

git clone --recurse-submodules --shallow-submodules https://github.com/DamRsn/NeuralNote

以下特定于操作系统的构建脚本在能够将项目作为普通 CMake 项目使用之前必须至少执行一次。该脚本在调用 CMake 之前下载 onnxruntime 静态库（我们使用 ort-builder 创建）。

macOS

$ ./build.sh

Windows

由于 一个已知问题，如果您不使用 Visual Studio 2022（MSVC 版本：19.35.x，检查 cl 输出），那么您需要手动构建 onnxruntime.lib，如下所示：

1. 确保您已安装 Python；如果没有，请在 https://www.python.org/downloads/windows/ 下载（目前不适用于 Python 3.11，建议使用 Python 3.10）。

2. 在命令提示符中执行以下每一行：

git clone --depth 1 --recurse-submodules --shallow-submodules https://github.com/tiborvass/libonnxruntime-neuralnote ThirdParty\onnxruntime
cd ThirdParty\onnxruntime
python3 -m venv venv
.\venv\Scripts\activate.bat
pip install -r requirements.txt
.\convert-model-to-ort.bat model.onnx
.\build-win.bat model.required_operators_and_types.with_runtime_opt.config
copy model.with_runtime_opt.ort ..\..\Lib\ModelData\features_model.ort
cd ..\..

现在您可以回到构建 NeuralNote，如下所示：

> .\build.bat

集成开发环境（IDEs）

一旦构建脚本至少执行过一次，您就可以在您喜欢的 IDE（CLion/Visual Studio/VSCode 等）中加载此项目，并为其中一个目标点击“构建”。

复用 NeuralNote 转录引擎的代码

所有执行转录的代码都在 Lib/Model 中，所有模型权重都在 Lib/ModelData/ 中。欢迎在您自己的项目中仅使用这部分代码！我们将尝试在未来将其与仓库的其余部分更加隔离，并将其制作成一个库。

生成 Lib/ModelData/ 中文件的代码目前不可用，因为它需要大量手动操作。但以下是我们创建这些文件的过程描述：

• features_model.onnx 是通过使用 tf2onnx 转换一个仅包含完整 basic-pitch 图谱中 CQT + 谐波堆叠（Harmonic Stacking）部分的 keras 模型生成的（手动添加了批归一化（batch normalization）的权重）。
• 包含 basic-pitch cnn 权重的 .json 文件是从 basic-pitch-ts 仓库 中可用的 tensorflow-js 模型生成的，然后使用 tf2onnx 转换为 onnx。最后，借助 Netron 将权重手动收集到 .npy，最后应用到使用 basic-pitch 代码创建的拆分 keras 模型。

原始的 basic-pitch CNN 被拆分为 4 个顺序连接的模型，以便它们可以与 RTNeural 一起运行。

错误报告和功能请求

如果您有任何关于插件的请求/建议或遇到错误，请提交 GitHub issue。

贡献

非常欢迎贡献！如果您想为插件添加一些功能或 simply 改进文档，请开启一个拉取请求（PR）！

许可证

NeuralNote 软件和代码根据 Apache-2.0 许可证发布。请参阅 许可证文件。

使用的第三方库及许可证

以下是 NeuralNote 中使用的所有第三方库及其使用许可证的列表。

• JUCE (JUCE Starter)
• RTNeural (BSD-3-Clause license)
• ONNXRuntime (MIT License)
• ort-builder (MIT License)
• basic-pitch (Apache-2.0 license)
• basic-pitch-ts (Apache-2.0 license)
• minimp3 (CC0-1.0 license)

NeuralNote 可以实时转录音频吗？

遗憾的是不行，原因有以下几点：

• Basic Pitch 使用 Constant-Q transform (CQT)（恒 Q 变换）作为输入特征。CQT 需要非常长的音频块（> 1 秒）才能获取最低频率仓的振幅。这使得延迟过高，无法进行实时转录。
• basic pitch CNN（卷积神经网络）还有大约 120ms 的额外延迟。
• 音符事件创建算法向后处理 posteriorgrams（后验图）（从未来到过去），因此是 non-causal（非因果）的。

但如果你有想法，请分享！

致谢

NeuralNote 由 Damien Ronssin 和 Tibor Vass 开发。插件用户界面由 Perrine Morel 设计。

贡献者

非常感谢各位贡献者！

• jatinchowdhury18：文件浏览器。
• trirpi
  • SCALE QUANTIZE 中提供更多音阶选项。
  • 音频波形和钢琴卷帘的水平缩放。
• polygon 和 SamuMazzi：Linux 支持。

NeuralNote 快速上手指南

NeuralNote 是一款将音频转换为 MIDI 的音频插件，支持复调转录和音高弯曲检测，可集成至主流数字音频工作站（DAW）。

环境准备

系统要求

• 操作系统: Windows, macOS (Universal), Linux
• 插件格式: VST3, AU (仅 macOS), Standalone 应用
• 硬件: 支持任意音调乐器（含人声）

编译依赖（仅源码构建需要）

• git, cmake, 系统首选编译器套件
• Windows 额外要求: 建议使用 Visual Studio 2022 (MSVC 版本 19.35.x)。若版本不符，需安装 Python 3.10（不支持 3.11）用于构建 onnxruntime。
• macOS 额外要求: 代码已签名，可直接运行。
• Linux 额外要求: 需手动复制二进制文件至合适位置。

安装步骤

方式一：使用预编译版本（推荐）

1. 访问 GitHub Releases 下载对应平台的最新安装包。
2. Windows/macOS: 运行安装程序，选择需要安装的格式（Standalone, VST3, AU）。

   注意: Windows 版本代码未签名，首次运行可能需要额外授权步骤。

3. Linux: 下载 VST3 和 Standalone 原始二进制文件，手动复制到插件扫描路径。

方式二：源码编译

1. 克隆项目仓库（包含子模块）：

git clone --recurse-submodules --shallow-submodules https://github.com/DamRsn/NeuralNote

2. 执行构建脚本（首次运行会下载 onnxruntime 静态库）：

macOS

./build.sh

Windows 若 Visual Studio 版本不符合要求，需先手动构建 onnxruntime（确保 Python 3.10 环境）：

git clone --depth 1 --recurse-submodules --shallow-submodules https://github.com/tiborvass/libonnxruntime-neuralnote ThirdParty\onnxruntime
cd ThirdParty\onnxruntime
python3 -m venv venv
.\venv\Scripts\activate.bat
pip install -r requirements.txt
.\convert-model-to-ort.bat model.onnx
.\build-win.bat model.required_operators_and_types.with_runtime_opt.config
copy model.with_runtime_opt.ort ..\..\Lib\ModelData\features_model.ort
cd ..\..

随后执行主构建脚本：

.\build.bat

3. 构建完成后，可在 IDE（CLion/Visual Studio/VSCode 等）中加载项目并编译目标。

基本使用

1. 加载插件 在 DAW 中将 NeuralNote 作为 AudioFX 插件加载到需要转录的轨道，或直接打开 Standalone 应用。

2. 输入音频

   • 录制: 点击 Record 按钮（支持实时录制或 DAW 播放）。
   • 导入: 将音频文件拖拽至插件界面（支持 .wav, .aiff, .flac, .mp3, .ogg）。

3. 调整与试听

   • 转录的 MIDI 会即时显示在钢琴卷帘窗中。
   • 点击 Play 按钮试听结果。
   • 调整插件参数优化转录效果，可独立调节源音频和合成转录的音量。

4. 导出 MIDI 满意后，直接将 MIDI 转录结果从插件拖拽至 DAW 的 MIDI 轨道即可完成导出。

注意: NeuralNote 不支持实时转录，因算法需要处理较长的音频块且包含非因果处理步骤。