🐸Coqui.ai 新闻
- 📣 ⓍTTSv2现已推出,支持16种语言,并在各方面提升了性能。
- 📣 ⓍTTS微调代码已发布。查看示例食谱。
- 📣 ⓍTTS现在可以实现低于200毫秒的流式传输延迟。
- 📣 ⓍTTS,我们的生产TTS模型可以讲13种语言,现已发布博客文章,演示,文档。
- 📣 🐶Bark现已可用于无约束的语音克隆推理。文档。
- 📣 您可以使用约1100个Fairseq模型与🐸TTS。
- 📣 🐸TTS现在支持🐢Tortoise,并且推理速度更快。文档。
💬 问题咨询渠道
请使用我们的专用渠道进行提问和讨论。如果将帮助信息公开分享,将会对更多人有价值。
类型 | 平台 |
---|---|
🚨 错误报告 | GitHub Issue Tracker |
🎁 功能请求与创意 | GitHub Issue Tracker |
👩💻 使用问题 | GitHub Discussions |
🗯 一般讨论 | GitHub Discussions 或 Discord |
🔗 链接与资源
类型 | 链接 |
---|---|
💼 文档 | ReadTheDocs |
💾 安装 | TTS/README.md |
👩💻 贡献 | CONTRIBUTING.md |
📌 路线图 | 主要开发计划 |
🚀 已发布模型 | TTS Releases 和 实验模型 |
📰 论文 | TTS Papers |
🥇 TTS性能
带下划线的"TTS*"和"Judy*"是内部🐸TTS模型,尚未开源发布。它们展示了潜力。前缀为点(.Jofish .Abe和.Janice)的模型是实际人声。
功能
- 高性能深
# 使用 YourTTS 进行英语、法语和葡萄牙语的语音克隆示例
tts = TTS(model_name="tts_models/multilingual/multi-dataset/your_tts", progress_bar=False).to(device)
tts.tts_to_file("This is voice cloning.", speaker_wav="my/cloning/audio.wav", language="en", file_path="output.wav")
tts.tts_to_file("C'est le clonage de la voix.", speaker_wav="my/cloning/audio.wav", language="fr-fr", file_path="output.wav")
tts.tts_to_file("Isso é clonagem de voz.", speaker_wav="my/cloning/audio.wav", language="pt-br", file_path="output.wav")
语音转换示例
将 source_wav
中的语音转换为 target_wav
的语音
tts = TTS(model_name="voice_conversion_models/multilingual/vctk/freevc24", progress_bar=False).to("cuda")
tts.voice_conversion_to_file(source_wav="my/source.wav", target_wav="my/target.wav", file_path="output.wav")
语音克隆与语音转换模型结合的示例。
通过这种方式,可以使用 🐸TTS 中的任何模型进行语音克隆。
tts = TTS("tts_models/de/thorsten/tacotron2-DDC")
tts.tts_with_vc_to_file(
"Wie sage ich auf Italienisch, dass ich dich liebe?",
speaker_wav="target/speaker.wav",
file_path="output.wav"
)
使用 Fairseq 模型在约1100种语言中 进行文本到语音转换示例 🤯。
对于 Fairseq 模型,使用以下名称格式:tts_models/<lang-iso_code>/fairseq/vits
。
您可以在这里找到语言 ISO 代码
并在这里了解 Fairseq 模型。
# 实时语音转换的 TTS
api = TTS("tts_models/deu/fairseq/vits")
api.tts_with_vc_to_file(
"Wie sage ich auf Italienisch, dass ich dich liebe?",
speaker_wav="target/speaker.wav",
file_path="output.wav"
)
命令行 tts
在命令行上合成语音。
您可以使用您训练的模型或从提供的列表中选择一个模型。
如果您未指定任何模型,则使用基于 LJSpeech 的英语模型。
单扬声器模型
-
列出提供的模型:
$ tts --list_models
-
获取模型信息(适用于 tts_models 和 vocoder_models):
-
按类型/名称查询: model_info_by_name 使用 --list_models 中的名称。
$ tts --model_info_by_name "<model_type>/<language>/<dataset>/<model_name>"
例如:
$ tts --model_info_by_name tts_models/tr/common-voice/glow-tts $ tts --model_info_by_name vocoder_models/en/ljspeech/hifigan_v2
-
按类型/索引查询: model_query_idx 使用 --list_models 中的对应索引。
$ tts --model_info_by_idx "<model_type>/<model_query_idx>"
例如:
$ tts --model_info_by_idx tts_models/3
-
通过完整名称查询模型信息:
$ tts --model_info_by_name "<model_type>/<language>/<dataset>/<model_name>"
-
-
使用默认模型运行 TTS:
$ tts --text "Text for TTS" --out_path output/path/speech.wav
-
运行 TTS 并输出生成的 TTS wav 文件数据:
$ tts --text "Text for TTS" --pipe_out --out_path output/path/speech.wav | aplay
-
使用默认的声码器模型运行 TTS 模型:
$ tts --text "Text for TTS" --model_name "<model_type>/<language>/<dataset>/<model_name>" --out_path output/path/speech.wav
例如:
$ tts --text "Text for TTS" --model_name "tts_models/en/ljspeech/glow-tts" --out_path output/path/speech.wav
-
从列表中使用特定的 TTS 和声码器模型运行:
$ tts --text "Text for TTS" --model_name "<model_type>/<language>/<dataset>/<model_name>" --vocoder_name "<model_type>/<language>/<dataset>/<model_name>" --out_path output/path/speech.wav
例如:
$ tts --text "Text for TTS" --model_name "tts_models/en/ljspeech/glow-tts" --vocoder_name "vocoder_models/en/ljspeech/univnet" --out_path output/path/speech.wav
-
运行您自己的 TTS 模型(使用 Griffin-Lim 声码器):
$ tts --text "Text for TTS" --model_path path/to/model.pth --config_path path/to/config.json --out_path output/path/speech.wav
-
运行您自己的 TTS 和声码器模型:
$ tts --text "Text for TTS" --model_path path/to/model.pth --config_path path/to/config.json --out_path output/path/speech.wav --vocoder_path path/to/vocoder.pth --vocoder_config_path path/to/vocoder_config.json
多扬声器模型
-
列出可用的扬声器并选择一个 <speaker_id>:
$ tts --model_name "<language>/<dataset>/<model_name>" --list_speaker_idxs
-
使用目标扬声器 ID 运行多扬声器 TTS 模型:
$ tts --text "Text for TTS." --out_path output/path/speech.wav --model_name "<language>/<dataset>/<model_name>" --speaker_idx <speaker_id>
-
运行您自己的多扬声器 TTS 模型:
$ tts --text "Text for TTS" --out_path output/path/speech.wav --model_path path/to/model.pth --config_path path/to/config.json --speakers_file_path path/to/speaker.json --speaker_idx <speaker_id>
语音转换模型
$ tts --out_path output/path/speech.wav --model_name "<language>/<dataset>/<model_name>" --source_wav <path/to/speaker/wav> --target_wav <path/to/reference/wav>
目录结构
|- notebooks/ (用于模型评估、参数选择和数据分析的 Jupyter Notebooks。)
|- utils/ (通用工具。)
|- TTS
|- bin/ (所有可执行文件的文件夹。)
|- train*.py (训练您的目标模型。)
|- ...
|- tts/ (文本到语音模型)
|- layers/ (模型层定义)
|- models/ (模型定义)
|- utils/ (模型特定工具。)
|- speaker_encoder/ (扬声器编码器模型。)
|- (相同)
|- vocoder/ (声码器模型。)
|- (相同)