CosyVoice学习资料汇总-多语言大规模语音生成模型

CosyVoice

CosyVoice简介

CosyVoice是由FunAudioLLM团队开发的多语言大规模语音生成模型,具有以下特点:

支持中文、英语、日语、粤语、韩语等多种语言的语音生成
提供零样本(zero-shot)、跨语言(cross-lingual)和指令(instruct)推理能力
支持声音风格迁移(SFT)技术
提供从推理到训练再到部署的全栈能力

CosyVoice在语音合成领域具有重要意义,能够生成自然流畅、接近人类的语音,适用于各种语言环境。

学习资源

官方资源:

CosyVoice GitHub仓库 - 包含源代码、安装说明和使用教程
CosyVoice 演示页面 - 可以在线体验CosyVoice的语音合成效果
CosyVoice 论文 - 详细介绍CosyVoice的技术原理
CosyVoice Studio - ModelScope上的CosyVoice在线应用

安装与使用:

克隆GitHub仓库:

git clone --recursive https://github.com/FunAudioLLM/CosyVoice.git

安装依赖:

conda create -n cosyvoice python=3.8
conda activate cosyvoice
conda install -y -c conda-forge pynini==2.1.5
pip install -r requirements.txt

下载预训练模型:

from modelscope import snapshot_download
snapshot_download('iic/CosyVoice-300M', local_dir='pretrained_models/CosyVoice-300M')
snapshot_download('iic/CosyVoice-300M-SFT', local_dir='pretrained_models/CosyVoice-300M-SFT')
snapshot_download('iic/CosyVoice-300M-Instruct', local_dir='pretrained_models/CosyVoice-300M-Instruct')

使用示例:

from cosyvoice.cli.cosyvoice import CosyVoice
import torchaudio

cosyvoice = CosyVoice('pretrained_models/CosyVoice-300M-SFT')

# SFT推理
for i, j in enumerate(cosyvoice.inference_sft('你好,我是CosyVoice语音合成模型', '中文女', stream=False)):
    torchaudio.save(f'sft_{i}.wav', j['tts_speech'], 22050)

# 零样本推理
prompt_speech_16k = load_wav('zero_shot_prompt.wav', 16000)
for i, j in enumerate(cosyvoice.inference_zero_shot('这是一个零样本语音合成的例子', '希望效果不错', prompt_speech_16k, stream=False)):
    torchaudio.save(f'zero_shot_{i}.wav', j['tts_speech'], 22050)