Neural-Voice-Cloning-With-Few-Samples - 少样本语音克隆的先进技术

Neural-Voice-Cloning-With-Few-Samples 项目介绍

项目背景

在当今的语音技术研究中，语音克隆是一个备受关注的领域，而该项目 "Neural-Voice-Cloning-With-Few-Samples" 正是致力于在少量样本的情况下实现语音克隆。该项目的核心目标是实现与内容无关的语音克隆，也就是说，无论讲话内容是什么，都能够捕捉到说话者的身份特征。为此，项目团队通过创建说话者嵌入空间来实现这一目标，这些嵌入空间就像是说话者声音的“指纹”，能够代表他们独特的声音特征，如音高、口音等。

项目状态

该项目目前处于归档状态，意味着代码将不再更新。为了实现项目目标，项目团队依据百度的《Neural Voice Cloning with Few Samples》研究论文构建了多说话者生成模型和说话者编码器模型的架构。多说话者生成模型已经使用 VCTK 数据集对84位说话者进行了训练，并在 NVIDIA V100 GPU 上训练了190,000个周期。

说话者适应性

说话者适应性训练

项目团队使用 VCTK 数据集进行模型训练和测试，其中84位说话者用于训练多说话者模型，8位说话者用于验证，16位说话者用于克隆。以下命令用于训练数据集中前84位说话者的模型：

python speaker_adaptation.py --data-root=<path_of_vctk_dataset> --checkpoint-dir=<path> --checkpoint-interval=<int>

使用 GPU 进行训练大约需要20小时。为了在初始训练后将模型适应到特定说话者，可以使用以下命令：

python speaker_adaptation.py --data-root=<path_of_vctk_dataset> --restore-parts=<path_of_checkpoint> --checkpoint-dir=<path> --checkpoint-interval=<int>

这个过程通常需要10到20分钟。

克隆语音样例

项目团队已经取得了一些通过说话者适应性获得的克隆语音样本，可以通过以下链接查看。

致谢

该项目的多说话者生成模型的实施受到 deepvoice3_pytorch 的启发。同时，感谢百度对《Neural Voice Cloning with Few Samples》论文的贡献。

参考

如果您发现该代码库对您的研究有帮助，请通过如下方式引用：

@misc{chitlangia2021voicecloning,
  author = {Chitlangia, Sharad and Rastogi, Mehul and Ganguly, Rijul},
  title = {An Open Source Implementation of Neural Voice Cloning With Few Samples},
  year = {2021},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {Available at \url{https://github.com/SforAiDl/Neural-Voice-Cloning-With-Few-Samples/} or \url{https://github.com/Sharad24/Neural-Voice-Cloning-With-Few-Samples/}},
}