VALL-E-X - 开源多语言文本到语音合成及声音克隆模型

VALL-E-X 项目介绍

项目背景

VALL-E X 是一款由 Microsoft 提出的多语言文本到语音（TTS）合成和语音克隆模型。这款模型最初在微软的研究论文中提到，但微软并没有发布任何代码或预训练模型。因此，我们的团队决定重现该研究，并训练自己的模型。现在，我们将训练好的 VALL-E X 模型分享给公众，让更多人能体验这款下一代 TTS 的强大功能。

主要功能

VALL-E X 具备多项领先的功能：

多语言 TTS：支持英文、中文和日文的自然流畅的语音合成。
零次语音克隆：仅需提供3至10秒的录音便可实现语音克隆，生成的语音高度还原录音者的声音特点。
语音情感控制：可以根据音频提示生成包含相同情感的语音，增强语音的表现力。
跨语言语音合成：即使是单一语言的用户，VALL-E X 也可以让他们的声音在不失流利程度和口音的情况下用其他语言进行表达。
口音控制：VALL-E X 的用户可以选择不同的口音进行语音合成，比如讲中文时带有英文口音。
声学环境适应：无需完美的音频提示，VALL-E X 能适应输入的声学环境，让合成的语音显得更加自然。

安装指南

用户可以通过以下命令在支持 Python 3.10、CUDA 11.7 ~ 12.0 和 PyTorch 2.0+ 的系统上安装 VALL-E X：

git clone https://github.com/Plachtaa/VALL-E-X.git
cd VALL-E-X
pip install -r requirements.txt

首次运行程序时，会自动下载相应的模型。若下载失败，请根据说明手动下载模型文件。

使用方法

VALL-E X 具备多种使用场景，不仅能在本地设置环境使用，还可以通过 Hugging Face 或 Google Colab 在线体验。此外，项目提供了用户友好的图形界面，方便对编程不熟悉的用户使用。

硬件要求

对于 VALL-E X 的运行需求，6GB 的 GPU VRAM 即可满足大部分使用场景。此外，VALL-E X 可以在 CPU 和 GPU 上良好运行，支持 PyTorch 2.0+、CUDA 11.7 和 12.0。

语言支持

英文
日文
简体中文

常见问题

Q: 需要多少显存？ A: 几乎所有配置在 6GB 以上显存的 NVIDIA 显卡都能满足需求。

Q: 为什么模型无法生成长文本？ A: 由于 Transformer 模型计算复杂性随序列长度增加而指数上升，确保音频提示和生成音频的总长度小于22秒。

未来计划

我们的开发还在持续进行，未来计划包括更好的语音适应微调、为不使用 Python 的用户提供 .bat 脚本等。

支持和贡献

如果您认为 VALL-E X 有趣且有用，请在 GitHub 上给我们一颗星⭐，这将激励我们的团队继续改进模型并添加新的功能。若有问题，欢迎在 GitHub 提出 issue 或加入我们的 Discord 进行交流。

欢迎使用 VALL-E X！享受语音克隆的乐趣！🎤