去人声工具
这是一个基于深度学习的工具,可以从歌曲中分离出伴奏音轨。
安装
获取去人声工具
从这里下载最新版本。
安装 PyTorch
参见:GET STARTED
安装其他包
cd vocal-remover
pip install -r requirements.txt
使用
以下命令将输入文件分离为伴奏和人声音轨,分别保存为 *_instruments.wav
和 *_vocals.wav
。
在 CPU 上运行
python inference.py --input path/to/an/audio/file
在 GPU 上运行
python inference.py --input path/to/an/audio/file --gpu 0
高级选项
--tta
选项执行测试时增强(Test-Time-Augmentation),以提高分离质量。
python inference.py --input path/to/an/audio/file --tta --gpu 0
--postprocess
选项基于人声音量遮罩伴奏部分,以提高分离质量。
[!警告] 这是一个实验性功能。如果使用此选项时遇到任何问题,请禁用它。
python inference.py --input path/to/an/audio/file --postprocess --gpu 0
训练您自己的模型
放置您的数据集
path/to/dataset/
+- instruments/
| +- 01_foo_inst.wav
| +- 02_bar_inst.mp3
| +- ...
+- mixtures/
+- 01_foo_mix.wav
+- 02_bar_mix.mp3
+- ...
训练模型
python train.py --dataset path/to/dataset --mixup_rate 0.5 --reduction_rate 0.5 --gpu 0
参考文献
- [1] Jansson et al., "Singing Voice Separation with Deep U-Net Convolutional Networks", https://ejhumphrey.com/assets/pdf/jansson2017singing.pdf
- [2] Takahashi et al., "Multi-scale Multi-band DenseNets for Audio Source Separation", https://arxiv.org/pdf/1706.09588.pdf
- [3] Takahashi et al., "MMDENSELSTM: AN EFFICIENT COMBINATION OF CONVOLUTIONAL AND RECURRENT NEURAL NETWORKS FOR AUDIO SOURCE SEPARATION", https://arxiv.org/pdf/1805.02410.pdf
- [4] Choi et al., "PHASE-AWARE SPEECH ENHANCEMENT WITH DEEP COMPLEX U-NET", https://openreview.net/pdf?id=SkeRTsAcYm
- [5] Jansson et al., "Learned complex masks for multi-instrument source separation", https://arxiv.org/pdf/2103.12864.pdf
- [6] Liutkus et al., "The 2016 Signal Separation Evaluation Campaign", 《潜变量分析和信号分离 - 第12届国际会议》