Mangio-RVC-Fork 简介
Mangio-RVC-Fork 是一个基于 Retrieval-based Voice Conversion WebUI 的实验性分支项目,旨在为语音转换提供更多功能和更好的性能。该项目在原有框架的基础上,加入了多种 f0 提取方法和混合 f0 估计等新特性,为用户提供了更多选择和可能性。
主要特点
-
f0 推理算法全面升级:
- 新增 pyworld dio f0 方法
- 新增 mangio-crepe f0 计算方法
- 增加 torchcrepe crepe-tiny 模型
- 可通过 Web GUI 和 CLI 修改 crepe_hop_length 参数
-
支持用于训练的 f0 Crepe 音高提取(实验性功能)
-
Paperspace 集成:
- infer-web.py 新增 --paperspace 参数,可共享 Gradio 链接
- 为 Paperspace 用户提供 Makefile
-
通过 Makefile 访问 Tensorboard
-
训练总 epoch 滑块上限提高到 10,000
-
新增 CLI 功能:
- infer-web.py 增加 --is_cli 标志以使用 CLI 系统
-
f0 混合(中位数)估计方法:
- 通过计算指定 f0 方法数组的 nanmedian 来获得最佳效果
- 目前仅支持 CLI,未来将添加到 GUI
-
f0 特征提取也支持混合估计方法(实验性功能)
此外,该项目还保留了原 RVC 项目的以下特性:
- 通过 top1 检索替换源特征为训练集特征,减少音色泄漏
- 即使在较差的显卡上也能快速、轻松地进行训练
- 使用少量数据也能获得较好的训练结果(建议≥10分钟低噪音语音)
- 支持模型融合以改变音色
- 易用的 WebUI 界面
- 使用 UVR5 模型快速分离人声和伴奏
安装和使用
安装依赖
推荐使用 Python 3.9.8,通过 pip 安装依赖:
pip install -r requirements.txt
MacOS 用户注意:faiss 1.7.2 可能会导致 Segmentation Fault,请使用:
pip install faiss-cpu==1.7.0
准备预训练模型
从 Huggingface space 下载所需的预训练模型文件:
- hubert_base.pt
- ./pretrained
- ./uvr5_weights
如果要使用 v2 版本模型,还需要下载:
- ./pretrained_v2
运行 Web GUI
python infer-web.py --pycmd python --port 3000
运行 CLI
python infer-web.py --pycmd python --is_cli
结语
Mangio-RVC-Fork 在原有 RVC 项目的基础上加入了许多新的特性和改进,为语音转换爱好者和研究人员提供了更多可能性。虽然目前仍处于实验阶段,但已展现出良好的发展前景。我们期待看到更多开发者和用户参与到这个项目中来,共同推动语音转换技术的进步。
最后,让我们感谢所有为这个项目做出贡献的开发者们。正是因为他们的努力,我们才能拥有如此强大而有趣的工具。如果你对这个项目感兴趣,欢迎访问 Mangio-RVC-Fork GitHub 仓库 了解更多信息,并考虑为项目贡献你的力量。
