Project Icon

MARS5-TTS

新型语音模型应对各种复杂韵律

CAMB.AI开发的MARS5是一款创新的语音模型,采用两阶段的AR-NAR流程,并具有独特的NAR组件。能处理复杂多样的场景,比如体育解说和动漫配音。MARS5只需5秒音频和少量文本,即可生成高质量语音。通过标点符号和大写字母,自然引导生成的语音韵律。支持浅克隆和深度克隆两种推理方式,深度克隆进一步提升语音质量。支持从GitHub或Hugging Face加载,提供详细配置选项以优化效果。

fish-speech - 全新的TTS解决方案
Fish AudioGithub在线演示开源开源项目本地推断热门语音合成
Fish Speech项目是一个基于最新语音合成模型的平台,提供包括VITS2、Bert-VITS2在内的多种模型。项目代码遵循CC-BY-NC-SA-4.0许可发布,且拥有多种语言文档支持和实用的在线演示。该平台适用于学术研究和开发使用,旨在推动语音合成技术的发展并提供高质量的语音生成服务。
DiffGAN-TTS - 采用去噪扩散生成对抗网络技术的文本到语音转换技术
DiffGAN-TTSGithubPyTorch多说话者TTS开源项目文本到语音训练模型
DiffGAN-TTS采用去噪扩散生成对抗网络技术,通过激活浅层扩散机制,提供了一种高效且高保真的文本到语音转换方案。该技术支持多种发音特征和语种,实现了保持语音自然度的同时,进行灵活的语音控制,包括音调和语速的调整。此技术适用于多语言和多说话人场景,为深度学习语音合成领域提供了新的可能性。
RapidASR - 开源多模型语音识别框架
GithubONNXRuntimeRapid ASR开源项目模型转换语音识别
RapidASR是一个开源语音识别框架,集成多种模型如Paraformer、WeNet和PaddleSpeech。它支持Python和C++接口,兼容Linux、Windows和Mac系统。该项目结合了语音识别、语音活动检测和标点恢复功能,提供完整的语音转文本流程。RapidASR采用ONNXRuntime推理引擎,支持批量处理,性能稳定且持续更新。其核心代码已并入FunASR,具有良好的扩展性和兼容性。项目还提供详细的文档导航,适用于各种语音识别应用场景,便于开发者快速上手和使用。
mt5-xxl - 基于mC4语料库的大规模多语言文本转换模型
GithubHuggingfacemT5多语言模型开源项目机器学习模型自然语言处理预训练语言模型
这款由Google研发的大规模多语言预训练文本转换模型基于mC4语料库训练,覆盖101种语言。模型采用统一的文本到文本格式,在多语言自然语言处理任务中展现出优异性能。经过下游任务微调后可投入实际应用,其完整代码和模型检查点已开源,为多语言NLP研究和应用奠定基础。
WhisperSpeech - 多语言支持的开源文本转语音系统,功能强大并易于定制
GithubWhisperSpeech多语言支持开源模型开源项目文本转语音语音克隆
WhisperSpeech是基于开源Whisper框架开发的文本至语音系统,提供了商业级安全的语音合成解决方案。当前支持英语LibreLight数据集,并计划拓展到多语言支持。用户可通过在线Colab平台体验其高效的语音合成和声音克隆功能。
parakeet-tdt_ctc-1.1b - 高性能自动语音识别模型解决方案
GithubHuggingfaceNeMo开源项目快速同构体数据集模型自动语音识别词错误率
parakeet-tdt_ctc-1.1b提供了一个功能强大的语音识别模型,支持将语音转录为包含标点和大写字母的文本。由NVIDIA NeMo和Suno.ai团队联合开发,拥有1.1B的参数规模,能够高效地处理大规模的音频数据。该模型利用局部注意力和全局令牌技术实现单次处理11小时音频。其在多个公开数据集上的出色表现,表明其在语音转录应用中有广泛的适用性和较低的词错误率(WER)。
parakeet-tdt_ctc-110m - 流畅高效的FastConformer TDT-CTC语音识别解决方案
GithubHuggingfaceNVIDIA NeMo开源项目快速Conformer模型模型架构自动语音识别语音转写
该模型融合FastConformer与TDT-CTC架构,专为英文语音识别而优化,支持转录标点和大写字母。以高效架构处理长达20分钟音频数据,通过NVIDIA NeMo和Suno团队训练,在多个基准数据集中表现优异。通过NeMo工具包,预训练检查点便于进行模型推理或微调。
megatts2 - Megatts2 的非官方实现,多语种语音合成训练
GithubMegatts2Pytorch-lightningVQ-GAN开源项目数据集准备文本到语音
megatts2为Megatts2的非官方实现,支持中英文混合的深度学习语音合成训练。该项目涵盖数据处理、模型训练及语音推理,使用Pytorch-lightning框架优化训练流程,目标训练1000小时语音数据。
bark - 先进的多语言文本转语音和音频生成AI模型
BarkGithubHuggingface人工智能多语言开源项目文本转语音模型音频生成
Bark是Suno开发的基于transformer的文本转音频AI模型,能生成逼真的多语言语音、音乐、背景音和简单音效,还可模拟笑声、叹息等非语言交流。该模型提供预训练检查点供研究使用,输出未经审查。研究人员可通过Transformers或原始Bark库在本地运行,灵活易用。Bark代表了文本转语音技术的重要进展,为相关研究和应用提供了新的可能性。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号