Audacity*的OpenVINO™ AI插件 :metal:

openvino_ai_plugins_r2

这是一套为Audacity®开发的AI功能插件，包括效果器、生成器和分析器。这些AI功能100%在本地PC上运行:computer:，无需互联网连接！OpenVINO™用于在用户系统上支持的加速器（如CPU、GPU和NPU）上运行AI模型。

音乐分离:musical_note: -- 将单声道或立体声轨道分离成单独的音轨 -- 鼓、贝斯、人声和其他乐器。
噪音抑制:broom: -- 从音频样本中去除背景噪音。
音乐生成与延续:notes: -- 使用MusicGen LLM生成音乐片段，或为现有音乐片段生成延续部分。
Whisper转录:microphone: -- 使用whisper.cpp为选定的语音或人声音频生成包含转录或翻译的标签轨道。

安装 :floppy_disk:

前往这里查找最新Windows版本的安装包和说明。

构建说明 :hammer:

帮助、反馈与错误报告 🙋‍♂️

欢迎您在这里提交问题，包括：

问题
错误报告
功能请求
任何形式的反馈 -- 我们如何改进这个项目？

贡献 :handshake:

无论大小，我们都欢迎并重视您的贡献。欢迎提交拉取请求！

致谢与引用 :pray:

Audacity®开发团队与Muse Group -- 感谢您们的支持！
Audacity® GitHub -- https://github.com/audacity/audacity
Whisper转录与翻译分析器使用whisper.cpp（使用OpenVINO™后端）：https://github.com/ggerganov/whisper.cpp
音乐生成与延续使用Meta的MusicGen模型。
- 我们目前支持MusicGen-Small和MusicGen-Small-Stereo
- 文本到音乐的管道从Python移植到C++，参考了Hugging Face transformers项目的逻辑：https://github.com/huggingface/transformers
音乐分离效果使用Meta的Demucs v4模型（https://github.com/facebookresearch/demucs），已移植以适用于OpenVINO™

噪音抑制：

noise-suppression-denseunet-ll：来自OpenVINO™的Open Model Zoo：https://github.com/openvinotoolkit/open_model_zoo

DeepFilterNet2 & DeepFilterNet3：

从这里移植模型和管道：https://github.com/Rikorose/DeepFilterNet
我们还使用了@grazder的分支（https://github.com/grazder/DeepFilterNet/tree/torchDF-changes）以更好地理解Rust实现，因此我们的C++实现也部分基于这里的```torch_df_offline.py```。

引用：

@inproceedings{schroeter2022deepfilternet2,
title = {{DeepFilterNet2}: Towards Real-Time Speech Enhancement on Embedded Devices for Full-Band Audio},
author = {Schröter, Hendrik and Escalante-B., Alberto N. and Rosenkranz, Tobias and Maier, Andreas},
booktitle={17th International Workshop on Acoustic Signal Enhancement (IWAENC 2022)},
year = {2022},
}
  
@inproceedings{schroeter2023deepfilternet3,
title = {{DeepFilterNet}: Perceptually Motivated Real-Time Speech Enhancement},
author = {Schröter, Hendrik and Rosenkranz, Tobias and Escalante-B., Alberto N. and Maier, Andreas},
booktitle={INTERSPEECH},
year = {2023},
}