vits
VITS是一种结合变分自编码器和对抗学习的端到端TTS系统,能够提升语音合成的自然度。通过变分推理和正态化流,以及随机时长预测器,VITS实现了多样节奏的语音合成。实验结果表明,该方法在LJ Speech数据集上的表现优于现有的TTS系统,接近真实语音的水平。
vits_chinese
vits_chinese项目引入了BERT和VITS技术,通过隐藏的韵律嵌入和自然语言特性,显著提高了文本到语音合成的音质和自然度。此项目不只适于高质量音频生成,也提供模块化蒸馏加速和在线演示,便利学习和开发人员的应用。
TensorVox
TensorVox是为提高神经语音合成技术普及度而设计的桌面应用。支持多语言,不需庞大Python库,该工具通过TensorFlow C API和LibTorch实现轻量级操作。提供清晰易懂的模型训练和导出指南,是语音技术爱好者的顶级选择。
Bert-VITS2
Bert-VITS2项目融合了多语言BERT和先进的自回归TTS模型,提供高品质的语音合成。此项目参考了MassTTS等开源项目,并推荐使用Fish-Speech。详情和演示请参见视频链接和文档,项目强调中文用户需求和法律合规,禁止违规用途。
sound_dataset_tools2
sound_dataset_tools2是一款语音数据集制作工具。它具有GUI界面,支持音频+字幕和纯音频自动切割两种数据导入方式。该工具优化音频切割效果,减少断音问题,可导出符合VITS等项目要求的数据集格式。它还包含语音评测功能,有助于从大量数据中筛选出高质量数据集。此工具适用于需要创建语音数据集的研究人员和爱好者。
ChatWaifu
ChatWaifu是一个结合TTS和VITS技术的AI语音对话系统,实现与ChatGPT的自然语音交互。该项目支持多角色语音、语音识别对话,并提供Marai机器人和Live2D的UI版本对接。支持中文、英语和日语,为用户提供多语言AI对话体验。ChatWaifu为AI领域研究者和开发者提供了一个探索语音交互应用的开放平台。
whisper-vits-svc
whisper-vits-svc是一个开源的端到端歌声转换项目,基于VITS模型架构。该项目支持多说话人转换,可混合创建新音色,并能处理带轻伴奏的声音。它集成了Whisper、BigVGAN等技术,提高了抗噪性和音质。项目面向深度学习入门者,需要Python和PyTorch基础。目前不支持实时转换,训练需要至少6GB显存。
Retrieval-based-Voice-Conversion
Retrieval-based-Voice-Conversion是一个基于VITS的开源语音转换框架。该项目提供库、API和命令行接口,支持标准和自定义设置,允许灵活配置模型和环境。它具有详细的音频推理参数设置功能,并支持Docker部署,使语音转换技术更易于使用和实施。
VITS-fast-fine-tuning
VITS-fast-fine-tuning是一个开源的语音合成项目,旨在快速实现个性化的多语言文本转语音和声音转换功能。该工具支持中英日三语合成,允许用户添加自定义声音,并实现角色间的声音转换。项目提供本地训练和Google Colab两种方式,适应不同用户需求。此外,它能从多种音频源(如短音频、长音频、视频和B站链接)克隆声音,为用户提供灵活的声音定制选项。VITS-fast-fine-tuning的微调过程通常只需1小时左右,大大提高了个性化语音模型的开发效率。