访问官网
Github
论文VampNet
此仓库包含基于Descript音频编解码器训练生成式音乐模型的方法。
尝试 unloop
你可以在一个名为unloop的协作式循环器中尝试vampnet。请参见此链接：https://github.com/hugofloresgarcia/unloop
环境配置
需要Python 3.9。
你需要一个Python 3.9环境来运行VampNet。这是由于madmom的一个已知问题。
(例如，使用conda)
conda create -n vampnet python=3.9
conda activate vampnet
安装VampNet
git clone https://github.com/hugofloresgarcia/vampnet.git
pip install -e ./vampnet
关于argbind的说明
本仓库依赖argbind来管理命令行界面和配置文件。
配置文件存储在conf/文件夹中。
获取预训练模型
预训练模型的许可：
模型权重采用CC BY-NC-SA 4.0许可。同样，任何基于预训练模型微调的VampNet模型也采用CC BY-NC-SA 4.0许可。
从此链接下载预训练模型。然后，将模型解压到models/文件夹中。
使用方法
启动Gradio界面
你可以启动一个gradio用户界面来使用vampnet。
python app.py --args.load conf/interface.yml --Interface.device cuda
训练/微调
训练模型
要训练模型，运行以下脚本：
python scripts/exp/train.py --args.load conf/vampnet.yml --save_path /path/to/checkpoints
对于多GPU训练，使用torchrun：
torchrun --nproc_per_node gpu scripts/exp/train.py --args.load conf/vampnet.yml --save_path path/to/ckpt
你可以编辑conf/vampnet.yml来更改数据集路径或任何训练超参数。
对于coarse2fine模型，你可以使用conf/c2f.yml作为起始配置。
查看python scripts/exp/train.py -h以获取选项列表。
调试训练
为了便于调试训练，最好使用1个GPU和0个工作进程
CUDA_VISIBLE_DEVICES=0 python -m pdb scripts/exp/train.py --args.load conf/vampnet.yml --save_path /path/to/checkpoints --num_workers 0
微调
要微调模型，使用scripts/exp/fine_tune.py中的脚本生成3个配置文件：c2f.yml、coarse.yml和interface.yml。
前两个用于分别微调粗糙和精细模型。最后一个用于启动gradio界面。
python scripts/exp/fine_tune.py "/path/to/audio1.mp3 /path/to/audio2/ /path/to/audio3.wav" <fine_tune_name>
这将在conf/<fine_tune_name>/下创建一个文件夹，其中包含3个配置文件。
保存路径将被设置为runs/<fine_tune_name>/coarse和runs/<fine_tune_name>/c2f。
启动粗糙模型任务：
python scripts/exp/train.py --args.load conf/generated/<fine_tune_name>/coarse.yml
这将把粗糙模型保存到runs/<fine_tune_name>/coarse/ckpt/best/。
启动c2f任务：
python scripts/exp/train.py --args.load conf/generated/<fine_tune_name>/c2f.yml
启动界面：
python app.py --args.load conf/generated/<fine_tune_name>/interface.yml
