NeuralNote

NeuralNote 是一款音频插件，将最先进的音频转 MIDI 转换技术引入您喜爱的数字音频工作站。

适用于任何音调乐器（包括人声）
支持复音转录
支持弯音检测
轻量级且转录速度极快
允许在聆听转录结果的同时调整参数
允许直接在插件中缩放和时间量化转录后的 MIDI

安装 NeuralNote

在这里下载适合您平台的最新版本（支持 Windows 和 macOS（通用））！

目前仅提供原始的 .vst3、.component（Audio Unit）、.app 和 .exe（独立版）文件。安装程序将很快推出。同时，您可以手动将插件/应用程序文件复制到适当的目录中。macOS 上的代码已签名，但 Windows 上尚未签名，因此您可能需要执行一些额外步骤才能在 Windows 上使用 NeuralNote。

使用方法

NeuralNote 是一款简单的音频效果插件（VST3/AU/独立应用程序），可应用于需要转录的音轨。

使用流程非常简单：

获取音频
- 点击录音。可在实时录音或在 DAW 中播放音轨时使用。
- 或将音频文件拖放到插件上。（支持 .wav、.aiff、.flac、.mp3 和 .ogg（vorbis）格式）
MIDI 转录结果立即显示在钢琴卷帘区域。
点击播放按钮聆听结果。
- 调整不同设置以优化转录结果，甚至可以在聆听过程中进行调整
- 单独调节源音频和合成转录的音量
满意后，只需将 MIDI 转录结果从插件拖放到 MIDI 音轨即可导出。

观看我们为神经音频插件竞赛制作的演示视频。

NeuralNote 内部使用 Spotify 的 basic-pitch 模型。有关更多信息，请参阅他们的博客文章和论文。在 NeuralNote 中，basic-pitch 使用 RTNeural 处理 CNN 部分，使用 ONNXRuntime 处理特征部分（恒 Q 变换计算 + 谐波叠加）。作为该项目的一部分，我们为 RTNeural 贡献了代码以添加 2D 卷积支持。

从源代码构建

要求：git、cmake 和您操作系统首选的编译器套件。

克隆时使用以下命令：

git clone --recurse-submodules --shallow-submodules https://github.com/DamRsn/NeuralNote

在能够将项目作为普通 CMake 项目使用之前，必须至少执行一次以下特定操作系统的构建脚本。该脚本在调用 CMake 之前下载 onnxruntime 静态库（我们使用 ort-builder 创建）。

macOS

$ ./build.sh

Windows

由于已知问题，如果您没有使用 Visual Studio 2022（MSVC 版本：19.35.x，检查 cl 输出），则需要手动构建 onnxruntime.lib，步骤如下：

确保已安装 Python；如果未安装，请在 https://www.python.org/downloads/windows/ 下载（目前不支持 Python 3.11，请选择 Python 3.10）。
在命令提示符中执行以下每一行命令：

git clone --depth 1 --recurse-submodules --shallow-submodules https://github.com/tiborvass/libonnxruntime-neuralnote ThirdParty\onnxruntime
cd ThirdParty\onnxruntime
python3 -m venv venv
.\venv\Scripts\activate.bat
pip install -r requirements.txt
.\convert-model-to-ort.bat model.onnx
.\build-win.bat model.required_operators_and_types.with_runtime_opt.config
copy model.with_runtime_opt.ort ..\..\Lib\ModelData\features_model.ort
cd ..\..

现在你可以按照以下方式继续构建NeuralNote：

> .\build.bat

集成开发环境（IDE）

一旦构建脚本至少执行过一次，你就可以在你喜欢的IDE（CLion/Visual Studio/VSCode等）中加载这个项目，并点击其中一个目标的"构建"按钮。

重用NeuralNote的转录引擎代码

所有用于执行转录的代码都在Lib/Model中，所有模型权重都在Lib/ModelData/中。欢迎在你自己的项目中只使用这部分代码！我们将来会尝试将其与仓库的其他部分进一步隔离，并将其制作成一个库。

目前，生成Lib/ModelData/中文件的代码尚不可用，因为它需要很多手动操作。但以下是我们创建这些文件所遵循的过程描述：

features_model.onnx是通过使用tf2onnx转换只包含完整basic-pitch图中CQT + Harmonic Stacking部分的keras模型生成的（手动添加了批量归一化的权重）。
包含basic-pitch cnn权重的.json文件是从basic-pitch-ts仓库中可用的tensorflow-js模型生成的，然后用tf2onnx转换为onnx。最后，通过Netron手动收集权重到.npy文件，并最终应用到使用basic-pitch代码创建的拆分keras模型中。

原始的basic-pitch CNN被拆分成4个串联的模型，它们可以通过RTNeural运行。