Github
论文megatts2 项目介绍
项目概述
megatts2 是一个非官方实现的项目，旨在为 Mega-TTS 2 提供支持。这是一个高级文本到语音（TTS）的应用程序，能够通过任意长度的语音提示来生成声音。该项目由一组研究人员开发，并发布在 2023 年内。
项目功能
megatts2 项目具有以下几个主要功能，分为基础测试和更高级版本：
基础测试
- 数据集准备：项目团队已准备好所需的数据集，这包括语音和文本文件的处理。
- VQ-GAN 模块：项目中使用了 VQ-GAN 技术，用于生成和预测模式。
- ADM 和 PLM 模块：分别用于自动微分和语言模型的发展与预测。
更高级版本（待完成）
- 替换 Hifigan 为 Bigvgan：提高音质生成的能力，以获得更佳的听觉体验。
- 中英混合训练：项目计划在训练中引入中英文混合，提高多语种生成的灵活性。
- 训练时长：计划利用大约 1000 小时的语音数据进行训练，以增强模型的准确性和效果。
- Web UI：开发基于网络的用户界面，使用户能够更轻松地使用和测试模型。
项目安装
要使用 megatts2，首先需要安装 montreal-forced-aligner（简称 MFA），可以通过 Conda 创建一个新的虚拟环境，并安装相关的包。安装步骤如下：
- 创建并激活新的 Conda 环境：
conda create -n aligner && conda activate aligner - 通过 Conda-Forge 频道安装 montreal-forced-aligner：
conda install -c conda-forge montreal-forced-aligner=2.2.17
数据集准备
数据集的准备分为几个步骤，包括准备 wav 和文本文件、运行准备脚本、下载和对齐音频模型等：
- 把 wav 和文本文件准备到
./data/wav目录下。 - 运行 Python 脚本
prepare_ds.py以处理数据集：首先进行数据集的基本预处理。 - 下载和应用 MFA 模型进行音频对齐，并清理临时文件。
- 训练生成器后，再次运行准备脚本完成最后的数据准备步骤。
训练与测试
- 训练过程：使用 Pytorch-lightning 进行训练，提高了训练的模块化和易用性。
- 测试推理：可以运行
infer.py脚本进行测试推理，查看模型输出。
引用和许可信息
如果使用在论文中，请引用项目的详细信息，具体 BibTeX 可以从项目中获取。该项目基于 MIT 许可，并得到了 ZideAI 的 Simon 支持。项目的所有者和开发者在 2023 年通过 arXiv 平台共享了这个非官方实现。
通过这些步骤和信息，用户能够更好地理解和使用 megatts2 项目，为文本到语音的开发提供支持和服务。
