Github
论文Tacotron 项目简介
Tacotron 是一个端到端的文本转语音合成模型，它利用 TensorFlow 进行开发，并提供了详尽的文档指导。这个模型旨在将输入的文本直接转换为自然流畅的语音，是一种新兴的语音合成方法。
项目需求
要运行 Tacotron，用户需要安装以下库和工具：
- NumPy：版本必须大于等于 1.11.1
- TensorFlow：版本必须大于等于 1.3
- Librosa、Tqdm、Matplotlib 和 Scipy：这些库用于音频处理和可视化
数据集
Tacotron 项目使用了三种不同的语音数据集来训练模型：
- LJ Speech Dataset：这是一个广泛使用的基准数据集，共计 24 小时的语音样本，是由 Keith Ito 提供的公开数据集。
- Nick Offerman 的有声读物：包含 18 小时的语音数据，用于测试模型在较少数据量下的学习能力。
- 世界英语圣经 (World English Bible)：这是一部公共领域中的现代英语版圣经，提供 72 小时的语音数据。每章被逐句分割并与文本对齐，用户可以通过 Kaggle 下载相关数据集。
模型训练步骤
- 下载数据集：用户可以选择下载 LJ Speech Dataset 或准备自己的数据。
- 配置超参数：在
hyperparams.py文件中调整训练超参数，如果需要进行预处理，请将prepro设置为 True。 - 开始训练：运行
python train.py命令。在预处理数据时，需先运行python prepro.py。 - 评估模型：定期运行
python eval.py来对模型进行评估。
样本合成
Tacotron 使用 哈佛句子 来进行语音样本的合成，并已在项目中包含。用户可以运行 python synthesize.py 来生成语音文件，并在 samples 文件夹中查看结果。
注意事项
在训练过程中，注意力图的监控是极为重要的。好的注意力图表现出线性对齐的特征，如果它变得像训练初期那样混乱，则训练可能出问题，需要从注意力图良好的检查点重新开始。
对于多输出帧预测的技巧，项目团队经过试验发现采用预测连续帧的方法较为有效，确保了注意力的提升。
学习率也是一项关键的超参数。在0.002的初始学习率下，模型难以学习到有效注意力，而采用0.001的初始学习率后，注意力变得清晰且容易训练出连贯的语音。
与原始论文的差异
- 使用了 Noam 风格的冷启动和衰减。
- 实现了梯度裁剪。
- 采用了成批的训练数据。
- 在后处理网络的最后一层卷积之后，进行仿射变换将维度提升到 128，而非零填充。
其他引用该项目的论文
以上信息展示了 Tacotron 项目的基本内容和功能，这一解决方案简化了文本转语音的过程，并通过可视化工具和预处理功能为用户提供了极大的便利。
