bark

先进的多语言文本转语音和音频生成AI模型

Huggingface 模型人工智能 Github 多语言 Bark 开源项目音频生成文本转语音

Bark是Suno开发的基于transformer的文本转音频AI模型，能生成逼真的多语言语音、音乐、背景音和简单音效，还可模拟笑声、叹息等非语言交流。该模型提供预训练检查点供研究使用，输出未经审查。研究人员可通过Transformers或原始Bark库在本地运行，灵活易用。Bark代表了文本转语音技术的重要进展，为相关研究和应用提供了新的可能性。

访问官网

Github

Huggingface

介绍相关项目

parakeet-rnnt-1.1b - 高性能英语语音识别模型实现优异音频转文本效果

FastConformerGithubHuggingfaceNeMoTransducer开源项目模型自动语音识别英语语音模型

parakeet-rnnt-1.1b是NVIDIA NeMo和Suno.ai联合开发的英语语音识别模型。基于FastConformer Transducer架构，该模型拥有11亿参数，在64000小时英语语音数据上训练。它能准确将语音转录为小写英文文本，并在多个标准数据集上表现出色。研究人员可通过NeMo工具包使用该模型进行推理或微调，适用于多种语音识别场景。

XPhoneBERT - 多语言音素表示模型助力TTS性能提升

GithubXPhoneBERT多语言模型开源项目语音合成音素表示预训练模型

XPhoneBERT是一种创新的多语言音素表示预训练模型，专为文本转语音(TTS)系统设计。基于BERT-base架构，该模型利用RoBERTa方法对近100种语言的3.3亿音素级句子进行训练。研究显示，将XPhoneBERT用作输入音素编码器能够显著增强神经TTS模型的自然度和韵律表现，同时在训练数据有限的情况下也能生成高质量语音。这一模型支持广泛的语言，并可通过transformers库便捷集成。

tango - 利用扩散模型和大语言模型实现先进的文本到音频生成

GithubTango人工智能开源项目文本转音频生成潜在扩散模型音频生成

Tango是一个创新的文本到音频生成模型,结合了潜在扩散模型和大语言模型技术。该模型使用冻结的Flan-T5作为文本编码器,训练UNet扩散模型生成音频。尽管训练数据集较小,Tango的性能仍可媲美最先进模型。Tango 2版本通过在Audio-alpaca数据集上的DPO对齐训练进一步提升了生成质量。项目开源了模型代码和预训练权重,为音频生成研究提供了有价值的资源。

Bridge-TTS - 创新方法提升文本转语音合成效果

Bridge-TTSGithubSchrodinger Bridge开源项目文本转语音机器学习语音合成

Bridge-TTS是一个革新性的文本转语音(TTS)项目，利用人工智能和机器学习技术，通过创新的数据处理方法优化语音合成。无论在简单还是复杂的应用场景中，它都显著优于传统的扩散模型。这一突破不仅提升了TTS技术水平，还为语音合成和相关人工智能领域开辟了新的研究方向。项目详情、研究方法和结果可在官方网站查阅，完整源代码将在论文被学术界正式接受后公开发布。

bart-paraphrase - BART大型语言模型文本释义转换工具

BARTGithubHuggingface开源项目文本生成机器翻译模型模型微调自然语言处理

BART文本释义模型基于序列到序列架构开发,整合了BERT双向编码器与GPT单向解码器技术,通过Quora、PAWS和MSR数据集训练,实现文本的变换与释义功能。模型提供简洁的API接口,便于集成到自然语言处理应用中。

w2v-bert-2.0 - 大规模多语言语音编码器

GithubHuggingfaceSeamless CommunicationTransformersW2v-BERT 2.0开源项目模型语音编码器预训练模型

W2v-BERT 2.0是一款开源的多语言语音编码器，基于Conformer架构设计。该模型包含6亿参数，在4.5百万小时的无标签音频数据上进行预训练，涵盖143种语言。作为Seamless系列的核心组件，W2v-BERT 2.0可应用于自动语音识别和音频分类等任务。该模型支持通过Hugging Face Transformers和Seamless Communication框架使用，为多语言语音处理研究提供了有力工具。

Make-An-Audio - 将文本转换为高保真音频的开源扩散模型

GithubMake-An-Audio人工智能开源项目扩散模型文本转音频音频生成

Make-An-Audio是一个开源的文本到音频生成项目，基于条件扩散概率模型。该项目能够从文本等多种模态生成高保真音频，支持文本到音频、音频到音频等多种任务。项目提供了预训练模型和简单的命令行操作，方便用户生成自定义音频。此外，项目还包含了详细的训练和评估流程，以及与其他模型的性能比较。

stable-audio-open-1.0 - 开源文本转音频模型支持44.1kHz立体声和最长47秒音频生成

GithubHuggingfaceStable Audio Open 1.0人工智能开源项目机器学习模型音乐创作音频生成

Stable Audio Open 1.0是Stability AI推出的开源音频生成模型，通过自编码器、T5文本嵌入和DiT扩散模型架构，将文本转换为最长47秒的44.1kHz立体声音频。模型基于48万条音频数据训练，在音效和环境音生成方面表现突出，支持stable-audio-tools和diffusers两种调用方式。现阶段仅支持英文提示词输入，不具备人声生成能力。

xphonebert-base - 基于BERT的多语言语音合成音素表示预训练模型

GithubHuggingfaceXPhoneBERT多语言模型开源项目模型语音合成音素表示预训练模型

XPhoneBERT是一个面向文本转语音的多语言音素表示预训练模型。它基于BERT-base架构，利用RoBERTa预训练方法在近100种语言的3.3亿音素级句子上进行训练。实验结果显示，将XPhoneBERT作为输入音素编码器能够显著提高神经网络TTS模型的自然度和韵律表现。此外，该模型还能在有限的训练数据条件下生成高质量语音。XPhoneBERT支持多语言文本到音素序列的转换，为跨语言语音合成提供了有力支持。

MockingBird - 全面支持中文的语音克隆与合成解决方案

GithubMockingBirdPyTorch中文支持开源项目热门训练模型音频合成

MockingBird项目是一款支持中文的语音克隆工具，支持多数据集和各种操作系统，包括Windows和Linux，甚至M1 MACOS。该项目利用最新的PyTorch技术，提供易于使用的界面和高效的处理能力，只需训练新的合成器即可实现令人印象深刻的效果。此外，该项目还提供了Web服务器功能，允许远程调用。是否需要定制语音合成解决方案，MockingBird都能满足您的需求。

项目侧边栏1

项目侧边栏2

推荐项目

Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com

@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号