访问官网
Github
论文项目介绍：DeepVoice3_pytorch
DeepVoice3_pytorch 是一个基于卷积神经网络的文本到语音（TTS）合成模型的 PyTorch 实现。它的设计目标是实现高效的文本到语音合成，并支持多说话人模型。这一项目使研究和开发人员可以构建自己的 TTS 系统，或者改进现有的 TTS 解决方案。
项目背景
在语音合成领域，DeepVoice3 是一个重要的进展。两篇关键的论文为该项目奠定了基础：
- Deep Voice 3: Scaling Text-to-Speech with Convolutional Sequence Learning
- Efficiently Trainable Text-to-Speech System Based on Deep Convolutional Networks with Guided Attention
这些论文探讨了使用卷积序列学习实现文本到语音合成的可能性，并提出了高效的训练方法。
项目亮点
- 卷积性序列到序列模型：使用注意力机制进行文本到语音合成，使其在处理序列数据时更高效。
- 多说话人和单说话人版本：支持多说话人模型，这意味着系统可以识别和合成多种声音。
- 预训练模型和音频样本：提供预训练的模型和音频样本，方便开发者使用。
- 多语言支持：前置处理器支持多种数据集，包括英语（LJSpeech）、日语（JSUT）和韩语（VCTK）。
- 语言特定的前端文本处理：支持英语和日语的文本处理。
样本与预训练模型
项目提供了一些语音合成样本，可在 SoundCloud 上收听。同时，它也提供了若干预训练模型，可用于不同的数据集（如 LJSpeech 和 VCTK）。不过，需要注意的是，这些预训练模型可能不与最新的代码版本兼容。
安装与使用
环境需求
- Python 版本需要大于等于 3.5
- CUDA 版本需要大于等于 8.0
- PyTorch 版本需要大于等于 v1.0.0
可以通过 Git 和 pip 安装这个项目：
git clone https://github.com/r9y9/deepvoice3_pytorch && cd deepvoice3_pytorch
pip install -e ".[bin]"
数据准备
项目支持多个数据集的预处理，例如 LJSpeech、VCTK 和 JSUT。用户可以通过以下命令预处理 LJSpeech 数据集：
python preprocess.py --preset=presets/deepvoice3_ljspeech.json ljspeech ~/data/LJSpeech-1.0/ ./data/ljspeech
模型训练
在数据预处理完成后，可以通过如下命令训练模型：
python train.py --preset=presets/deepvoice3_ljspeech.json --data-root=./data/ljspeech/
训练过程中会在指定目录保存模型的检查点和对齐图。
语音合成
要从已训练模型生成语音，可以使用以下命令，并提供文本列表：
python synthesis.py ${checkpoint_path} ${text_list.txt} ${output_dir} --preset=<json>
高级用法
项目支持构建多说话人模型，并可以进行说话人适配，即使用有限的数据对预训练模型进行微调。这对于拥有少量数据集而希望生成特定声音的用户特别有帮助。
贡献与鸣谢
项目部分代码来自于其他开源项目，并得到了社区的广泛支持。如有疑问，用户可以参考相关文档或社区讨论。
