欢迎尝试我们的代码和在不同语言上预训练的模型！

发布

• [01/20] 🔥 我们发布了在6种语言(英语、法语、德语、葡萄牙语、西班牙语和瑞典语)公开数据集上预训练的代码和模型。

样本

样本可在我们的演示页面上找到。

安装

ZMM-TTS 需要 Python>=3.8，以及较新版本的 PyTorch。 要安装 ZMM-TTS 并快速合成，您可以从此仓库运行：

git clone https://github.com/nii-yamagishilab-visitors/ZMM-TTS.git

cd ZMM-TTS
pip3 install -r requirements.txt
#此外，您可能需要安装这些库以支持完整功能。
pip install transformers  #用于支持 XLSR-53 和 XphoneBERT 模型。
pip install speechbrain   #用于提取说话人嵌入。

如果您想尝试 IPA 表示，您需要安装 Epitran。

预训练自监督模型

使用方法

多语言多说话人数据集 MM6

在我的论文中，我们使用的训练数据包含了 GlobalPhone，遗憾的是这不是开源数据。 考虑到公开的多语言多说话人语音合成数据库的稀缺性，我基于 MLS 和 NHT Swedish 数据库设计了以下训练数据库，并将其称为 MM6。(似乎 NST 不再开放瑞典语的下载，在这种情况下，您应该从挪威语言银行申请这些数据)。如果您有 GlobalPhone 数据集，您可以尝试与我们论文相同的训练数据 Dataset/train_paper.txt。

下载和标准化数据

您可以通过以下下载和标准化脚本生成 MM6 数据集：

bash scripts/download.sh   #下载 MLS 数据。
python prepare_data/creat_meta_data_mls.py #生成说话人-性别-语言平衡数据。
#我们建议您使用 sv56 来标准化 MLS 音频。
bash scripts/norm_wav.sh

如果您想获取 NHT Swedish 数据，请联系挪威语言银行，并将其解压到 Dataset/origin_data/。 或者，您也可以简单地考虑排除瑞典语。

#瑞典语音频已经标准化
python prepare_data/creat_meta_data_swe.py

这个MM6是一个多语言数据集,包含大致平衡的说话人和性别混合,我们鼓励你也尝试其他任务。

预处理

下载并标准化wav文件后,你可以在Dataset文件夹中生成如下结构:

|--Dataset
     |--MM6
         |--wavs          #存储音频文件
     |--preprocessed_data #存储预处理数据:文本、特征等
         |--MM6
             |--train.txt      

你可以在Dataset/MM6/wavs/中找到wav文件,在Dataset/preprocessed_data/ZMM6/train.txt中找到元数据文件。 train.txt的内容如下:

名称|数据库|语言|说话人|文本
7756_9025_000004|MM6|英语|7756|我也踮着脚尖跟着他,就在他的手放在衣柜门上时,我的手掐住了他的喉咙。他个子矮小,不是我的对手

• 1. 提取离散编码索引和表示:

bash scripts/extract_discrete.sh

• 2. 提取说话人嵌入:

bash scripts/extract_spk.sh

• 3. 提取文本序列:

python prepare_data/extract_text_seq_from_raw_text.py

• 4. 提取梅尔频谱图:

python prepare_data/compute_mel.py

• 5. 计算先验对齐概率:

python prepare_data/compute_attention_prior.py

训练模型

• 1. 训练txt2vec模型:

#使用XphoneBERT:
python txt2vec/train.py --dataset MM6 --config MM6_XphoneBERT
#使用字符(字母):
python txt2vec/train.py --dataset MM6 --config MM6_Letters
#使用IPA:
python txt2vec/train.py --dataset MM6 --config MM6_IPA
#如果你想训练不带语言层的模型,可以使用xxx_wo配置,如:
python txt2vec/train.py --dataset MM6 --config MM6_XphoneBERT_wo

注意:使用XphoneBERT时,请在1/4迭代后将model.yaml中的needUpdate设为True。

• 2. 训练vec2mel模型:

python vec2mel/train.py --dataset MM6 --config MM6

对于txt2vec和vec2mel模型的训练,我们使用了16的批量大小,训练了120万步。 在1块Tesla A100 GPU上大约需要3天。

• 3. 训练vec2wav模型:

python prepare_data/creat_lists.py
python vec2wav/train.py -c Config/vec2wav/vec2wav.yaml
#如果你想训练不带语言层的模型:
python vec2wav/train.py -c Config/vec2wav/vec2wav_wo.yaml

对于vec2wav的训练,我们使用了16的批量大小,训练了100万步。 在1块Tesla A100 GPU上大约需要3天。

• 4. 训练HifiGAN模型:

python Vocoder_HifiGAN_Model/train.py --config Config/config_16k_mel.json

对于HifiGAN的训练,我们使用了16的批量大小,训练了100万步。 在1块Tesla A100 GPU上大约需要3天。

测试模型

• 1. 准备测试数据:
  • a. 测试元数据文件Dataset/MM6/test.txt。
  • b. 参考说话人嵌入在Dataset/MM6/test_spk_emb/中。
• 2. 生成样本

  bash test_scripts/quick_test.sh
  

  当然,你也可以从谷歌云盘下载我们预训练的模型。将其放在相应的Train_log目录中。训练日志可以在相应的Train_log文件中找到。

• 3. 结果将在test_result文件中找到。

待办事项

• 少样本训练脚本。
• 任何语言的零样本推理脚本。

引用

如果你在论文中使用了这个代码、结果或MM6数据集,请引用我们的工作:

@article{gong2023zmm,
  title={ZMM-TTS: Zero-shot Multilingual and Multispeaker Speech Synthesis Conditioned on Self-supervised Discrete Speech Representations},
  author={Gong, Cheng and Wang, Xin and Cooper, Erica and Wells, Dan and Wang, Longbiao and Dang, Jianwu and Richmond, Korin and Yamagishi, Junichi},
  journal={arXiv preprint arXiv:2312.14398},
  year={2023}
}

参考文献

• Comprehensive-Transformer-TTS, txt2vec和vec2mel模型基于此项目构建。
• XPhoneBERT, 用于文本到语音的音素表示的预训练多语言模型。
• MSMC-TTS, vec2wav模型基于此项目构建。
• HifiGAN, 声码器。
• wav2vec2-codebook-indices用于提取离散编码索引和表示的脚本。

许可证

本仓库中的代码以BSD-3-Clause许可证发布,详见LICENSE文件。 txt2vec、vec2mel和vec2wav子文件夹采用MIT许可证。 sv56scripts采用GPL许可证。