#语音模型

mars5-tts

MARS5是由CAMB.AI开发的英文语音合成模型，采用两阶段AR-NAR管道设计，并具有创新的NAR组件。该模型能够在仅需5秒的音频和一小段文本的情况下，处理包括体育解说、动画等在内的多样化、复杂的语调场景。用户可以通过简单的设置，选择浅色克隆或深色克隆方法进行语音合成，优化输出以适应特定用途。支持通过Docker或API使用模型，适合没有硬件条件的用户。详见官方文档和GitHub页面。

CosyVoice

CosyVoice是一个先进的多语言语音生成技术，致力于提升语音交互的流畅性和实时反馈。该项目支持广泛的语言，提供灵活的下载和安装选项，包括跨语言和指令式语音合成，满足不同用户需求。通过预训练模型和定制选项，用户可以实现从简短语句到完整语音输出的自然转换，优化整体交互体验。

symato

该项目使用独特的音节、标记和声调分割方法，开发了高效的越南语语言模型。通过创新的token化技术和RWKV架构，解决了传统Transformer模型在处理越南语多字节编码时的性能瓶颈。项目包括小数据集实验、大规模数据处理及大型模型训练，展示了在有限计算资源下应用规模规律的潜力。模型具有广泛适应性，既节省计算资源，又保持高效的文本生成和语言理解能力。

speech-trident

Speech-trident项目调查语音大模型的三个核心领域:语音表示学习、神经编解码模型和语音语言模型。该项目涵盖语义标记学习、声学标记生成及基于标记的语言建模方法,旨在促进语音理解和生成技术的发展,为相关研究提供资源。

awesome-russian-speech

项目整理了俄语语音技术的全面资源，包括识别、合成和转换等领域的数据集、模型和开发工具。内容覆盖从预处理到后处理的各个环节，如重音标注和标点恢复。此外还收录了相关词典、语言学资源和行业历史，为俄语语音技术的研究与开发提供了宝贵参考。

AICoverGen

AICoverGen是一个开源的AI翻唱生成工具，基于RVC v2训练的声音模型，可从YouTube视频或本地音频自动创作翻唱作品。它具备用户友好的WebUI，支持模型管理和多样化的音频处理功能。AICoverGen适用于开发者为AI项目添加歌唱能力，或普通用户制作喜爱角色的翻唱版本。这款工具操作直观，功能全面，为AI音乐创作提供了便利。

moshiko-candle-q8

Moshi是一个语音文本基础模型，通过神经网络技术实现语音到语音的自然转换。模型采用并行流处理方式，支持极低延迟的实时全双工对话，适用于日常交谈、问答咨询和角色扮演等场景。目前仅支持英语，并已实施安全防护机制。

english-filipino-wav2vec2-l-xls-r-test-09

这是一个基于wav2vec2-large-xlsr-53-english模型在filipino_voice数据集上微调的英语-菲律宾语语音识别模型。通过20轮训练，模型在评估集上达到1.0054的损失值和57.50%的词错误率。采用Adam优化器、线性学习率调度和混合精度训练等技术，模型性能逐步提升，最终实现了较好的双语语音识别效果。