WeTTS: 面向生产的端到端语音合成工具包

WeTTS简介

WeTTS是由微软亚洲研究院开源的一款端到端语音合成(Text-to-Speech, TTS)工具包。该项目专注于为生产环境打造高质量、高效率的TTS系统,同时兼顾设备端部署的需求。WeTTS的设计理念是"生产优先、随时可用",意在为开发者和研究人员提供一个功能完备、性能优异且易于使用的TTS开发平台。

WeTTS Logo

核心特性

端到端架构:采用先进的端到端模型,如VITS,简化了传统TTS流程。
生产导向:专为实际生产环境设计,注重系统的稳定性和效率。
多平台支持:可在x86、Android、树莓派等多种硬件平台上运行。
开源友好:采用Apache 2.0开源协议,鼓励社区贡献和创新。
中文优化:针对中文语音合成进行了特别优化。

技术路线

WeTTS的技术路线主要分为前端和后端两大部分:

前端技术

文本正规化:使用WeTextProcessing工具进行文本预处理。
韵律和多音字处理:采用基于BERT蒸馏模型的统一中文TTS前端方法。

后端模型

主要采用端到端的VITS(Conditional Variational Autoencoder with Adversarial Learning for End-to-End Text-to-Speech)模型。VITS通过结合变分自编码器和对抗学习,实现了高质量的语音合成。

数据集支持

WeTTS计划支持多个开源TTS数据集,包括但不限于:

标贝数据集:中文标准普通话语音语料库。
AISHELL-3:大规模高质量的多说话人中文语音语料库。
Opencpop:网易伏羲开源的中文歌声合成数据集。

这些数据集的支持使得WeTTS能够在不同场景下训练出高质量的语音合成模型。

预训练模型

WeTTS提供了多个预训练模型,方便用户快速开始:

数据集	语言	检查点模型	运行时模型
Baker	中文	BERT	BERT
多语言	中文	VITS	VITS

这些预训练模型涵盖了不同的应用场景,用户可以根据需求选择合适的模型进行使用或微调。

安装与使用

Python包安装

WeTTS提供了简便的Python包安装方式:

pip install git+https://github.com/wenet-e2e/wetts.git

安装完成后,可以通过命令行或Python脚本使用WeTTS:

命令行使用示例:

wetts --text "今天天气怎么样" --wav output.wav

Python脚本使用示例:

import wetts

# TODO: 具体使用方法待补充

开发环境搭建

对于希望进行开发或部署的用户,WeTTS推荐使用Anaconda或Miniconda搭建环境:

克隆仓库:

git clone https://github.com/wenet-e2e/wetts.git

创建并激活环境:

conda create -n wetts python=3.8 -y
conda activate wetts
pip install -r requirements.txt

运行时支持

WeTTS计划支持多种硬件平台和运行环境,包括:

x86架构
Android设备
树莓派
其他嵌入式设备

以下是在x86平台上运行WeTTS的示例:

export GLOG_logtostderr=1
export GLOG_v=2

cd runtime/onnxruntime
cmake -B build -DCMAKE_BUILD_TYPE=Release
cmake --build build
./build/bin/tts_main \
  --frontend_flags baker_bert_onnx/frontend.flags \
  --vits_flags multilingual_vits_v3_onnx/vits.flags \
  --sname baker \
  --text "hello我是小明。" \
  --wav_path audio.wav

这个例子展示了如何使用预训练的BERT前端和VITS后端模型生成语音。