访问官网
Github
Huggingface
论文项目介绍：VALL-E
VALL-E 是一个基于 PyTorch 的非官方实现项目，其灵感来源于论文《Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers》。该项目的主要目标是在单个 GPU 上训练 VALL-E 模型，实现从文本到语音的即时合成。这一技术的特点是能够合成保持讲话者身份特征的语音。
项目背景
VALL-E 项目基于一种神经编码语言模型（Neural Codec Language Model），该模型可以在没有任何事先训练的情况下，从文本直接生成合成语音。这种零样本（Zero-Shot）语音合成的能力使其具有广泛的应用前景，但同时也为误用（例如伪造语音身份或冒充特定讲话者）带来了风险。因此，项目方明确表示不会提供经过训练的模型和服务，以避免此类不当使用。
项目演示
项目提供了两个语音合成的演示链接，官方演示和复现的演示版。用户可以通过这些演示体验 VALL-E 模型的合成效果：
安装依赖
为了快速运行 VALL-E 模型，用户需要安装一些必要的依赖：
- 安装 PyTorch 及其相关库。
- 安装用于音频处理的 librosa。
- 安装语音合成和拼音处理依赖。
- 更新和安装 lhotse 和 k2 库。
- 安装 icefall 和 VALL-E 自身。
具体的安装命令和步骤请参考项目的安装说明文档。
训练与推理
VALL-E 提供了多个训练和推理的示例，包括英语和汉语的语音合成示例。模型的训练考虑了多种模式，对于 NAR 解码器提供了不同的前缀模式，以优化模型的性能。
例如，在 LibriTTS 数据集上，可以利用单个 24GB 内存的 GPU 进行训练，通过多阶段的训练策略提升模型的准确性和效率。在训练完成后，可以使用预训练的模型进行语音合成的推理。
面向自定义数据集的训练
如果用户想使用自定义的数据集进行训练，VALL-E 提供了准备数据集和训练的指导，需将数据集准备为 lhotse manifests 格式，并执行相应的命令进行训练。
项目贡献与引用
VALL-E 项目鼓励社区参与，通过并行化 tokenizer.py 等方式来改进模型的性能。项目也提供了如何引用该项目的文献格式，以便科研和开发者引用使用。
通过上述的一系列开发与实现，VALL-E 项目为文本到语音合成领域带来了一种新的可能性，并为零样本合成的实现提供了一个创新性的解决方案。
