MARS5-TTS: 突破性的开源文本转语音模型

Ray

MARS5-TTS:开启语音合成新纪元

在人工智能和语音技术飞速发展的今天,一款名为MARS5-TTS的开源文本转语音(TTS)模型悄然问世,引起了业界的广泛关注。这款由CAMB.AI公司开发的模型以其出色的韵律表现和逼真的语音质量,为语音合成领域带来了新的突破。

革命性的语音合成技术

MARS5-TTS的核心优势在于其强大的韵律控制能力和极高的语音真实感。与传统TTS模型相比,MARS5-TTS能够生成更加自然、富有表现力的语音,甚至可以应对体育解说、动漫配音等具有挑战性的场景。

这款模型采用了创新的两阶段AR-NAR(自回归-非自回归)管道结构,其中NAR组件的设计尤为独特。通过这种架构,MARS5-TTS能够在保证语音质量的同时,大幅提升生成速度。

MARS5 Architecture

简单易用的语音克隆

MARS5-TTS的另一大亮点是其简单易用的语音克隆功能。用户只需提供5秒左右的参考音频和相应的文本,就能生成与参考音色相似的高质量语音。这一特性极大地降低了语音合成的门槛,为个性化语音应用提供了广阔的可能性。

模型支持两种克隆模式:

浅层克隆:无需参考音频的转录文本,速度较快。
深层克隆:需要提供参考音频的转录文本,质量更高但速度较慢。

开源与商业应用并重

值得一提的是,MARS5-TTS采用了GNU AGPL 3.0开源协议,这意味着它可以被自由使用和修改。同时,CAMB.AI也提供了商业许可选项,为企业级应用提供了灵活的选择。

此外,CAMB.AI还通过API服务的方式提供MARS5-TTS的使用,使得那些没有足够硬件资源的用户也能轻松使用这一强大的语音合成工具。

快速上手指南

要开始使用MARS5-TTS,您只需要按照以下简单步骤操作:

安装依赖:

pip install --upgrade torch torchaudio librosa vocos encodec safetensors regex

加载模型:

import torch, librosa

mars5, config_class = torch.hub.load('Camb-ai/mars5-tts', 'mars5_english', trust_repo=True)

准备参考音频:

wav, sr = librosa.load('<path to reference audio>.wav', sr=mars5.sr, mono=True)
wav = torch.from_numpy(wav)
ref_transcript = "<transcript of the reference audio>"

生成语音:

deep_clone = True
cfg = config_class(deep_clone=deep_clone, rep_penalty_window=100,
                   top_k=100, temperature=0.7, freq_penalty=3)

ar_codes, output_audio = mars5.tts("The quick brown rat.", wav, 
                                   ref_transcript, cfg=cfg)