Project Icon

fish-diffusion

开源框架简化TTS、SVS和SVC模型开发

Fish Diffusion是一个开源的语音合成训练框架,专注于TTS、SVS和SVC任务。基于扩散模型,它支持多说话人合成和44.1kHz高品质输出。该项目优化了代码结构,提高了训练效率,并提供完整的环境配置和使用指南。Fish Diffusion适合研究人员和开发者探索语音合成技术,同时强调负责任的AI应用。项目特点包括简化的代码结构、多设备训练支持和半精度训练,有助于提高开发效率和降低资源消耗。此外,还提供了详细的数据集准备和模型训练指南,便于用户快速上手。

DeepSpeech - 开源的深度学习语音识别引擎
GithubProject DeepSpeechTensorFlow开源开源项目机器学习语音识别
DeepSpeech是一个开源语音转文字引擎,基于百度的Deep Speech研究,并利用Google TensorFlow实现。提供详细的安装、使用和训练模型文档。最新版本及预训练模型可在GitHub获取,支持和贡献指南请参阅相应文件。
riffusion-hobby - 用于实时音乐和音频生成的开源稳定扩散库
GithubRiffusion实时生成开源项目稳定扩散音乐生成音频处理
Riffusion是一个开源库,利用稳定扩散技术实现实时音乐和音频生成,并在图像和音频之间进行转换。该库提供扩散管道、命令行工具和互动应用,支持通过Flask服务器进行模型推理。支持CPU、CUDA和MPS后端,推荐使用CUDA支持的GPU以获得最佳性能。虽然项目已停止维护,但用户仍可参考相关资源和指南进行安装和使用。
ttts - 创新多语言语音合成技术的突破性进展
AI模型GithubTTSVQVAE声音合成多语言支持开源项目
TTTS_v4是一个开源的多语言语音合成项目,通过创新的'细节'建模方法改进了传统VQ技术。该项目现已支持中文、英文、日语和韩语,并具有扩展性。TTTS_v4整合了tokenizer训练、VQVAE训练和GPT语音合成技术,旨在生成高质量的自然语音。此外,项目还提供模型微调功能,适用于多种语言场景和个性化需求。
StyleTTS2 - 通过样式扩散与对抗训练实现的高质量的文本到语音合成模型
GithubStyleTTS 2大型语言模型对抗训练开源项目语音合成风格扩散
StyleTTS 2是一种创新的文本到语音模型,通过样式扩散和大规模语音语言模型的对抗训练,实现高质量的语音合成。该模型利用潜在随机变量生成最适合文本的语音风格,无需参考语音,提高了语音的自然度。StyleTTS 2在单说话人和多说话人数据集上的表现超越了现有模型,并在零样本说话人适应方面表现出色。
StoryDiffusion - 实现长序列图像和视频的一致性生成
AI生成GithubStoryDiffusion一致性自注意力开源项目长序列图像生成长视频生成
StoryDiffusion是一个专注于长序列图像和视频生成的AI项目。该项目采用一致性自注意力机制,实现角色连贯的图像生成,并通过运动预测器在压缩图像语义空间中预测条件图像间的运动。StoryDiffusion不仅能生成连贯的漫画,还可创作长时间、高质量的视频,为故事创作和视觉内容生成提供了新的技术方案。
FontDiffuser - 多尺度内容聚合与风格对比学习的字体生成模型
AAAI2024AI字体生成FontDiffuserGithub一次性生成开源项目扩散模型
FontDiffuser是一个基于多尺度内容聚合和风格对比学习的字体生成模型。它能够生成新颖字符和风格,支持跨语言生成(如中文到韩文)。该模型在处理复杂字符和大幅风格变化方面表现优异,达到了领先水平。FontDiffuser生成的结果可与InstructPix2Pix结合用于进一步装饰。项目开源并提供在线演示。
dataspeech - 简化语音数据集标注与处理的实用工具
Data-SpeechGithub开源项目数据标注语音AI语音数据集音频转换
Data-Speech是一套用于语音数据集标注的实用脚本工具。它提供简洁代码库,支持音频转换和注释,有助于语音AI模型开发。该工具能重现研究论文中的注释方法,使用自然语言描述标注说话者特征。Data-Speech可处理LibriTTS-R和MLS等数据集,并为Parler-TTS库提供支持。它提供从数据集注释、特征映射到自然语言描述生成的完整工作流程。
so-vits-svc - 虚拟歌声转换工具,提供丰富的自定义功能
GithubSinging Voice ConversionSoftVC VITS人工智能模型开源项目热门语音合成
so-vits-svc是一个专注于虚拟歌声转换(SVC)的项目,不支持文本到语音(TTS)功能。该项目利用SoftVC内容编码器从源音频中提取语音特征,并通过VITS进行处理,保留了原始音频的音调和语调。此外,该项目还支持Whisper-PPG编码器和静态/动态声音融合等新功能。最新版本支持通过浅层扩散模型改善声音质量,为开发者提供了一个稳定的学习和实验平台,但不适用于商业生产环境。
sd-image-variations-diffusers - 基于Stable Diffusion的开源图像变体生成模型
CLIPGithubHuggingfaceStable Diffusion人工智能图像变体图像生成开源项目模型
sd-image-variations-diffusers是一个经过微调的Stable Diffusion模型,通过CLIP图像嵌入技术实现图像变体生成。该模型集成Diffusers库,可生成高质量的图像变体,主要应用于艺术创作、教育工具和AI研究等领域。模型目前已发布V2版本,相比V1版本具有更好的图像质量和相似度表现,但在生成人脸和文字方面仍存在局限性。
stable-diffusion-v1-5 - 文本到图像生成的多平台兼容潜在扩散模型
AI绘图GithubHuggingfaceStable Diffusion开源项目文本到图像模型生成对抗网络生成艺术
Stable Diffusion v1-5 是一个使用潜在扩散技术的文本到图像生成模型,可生成高逼真度的图像。该模型经过多次优化与微调,兼容Diffusers库及多种用户界面,强调安全性并配备NSFW检查器,适用于研究、艺术创作及设计领域。此模型针对不同GPU环境设计,具有高效的生成性能。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

稿定AI

稿定设计 是一个多功能的在线设计和创意平台,提供广泛的设计工具和资源,以满足不同用户的需求。从专业的图形设计师到普通用户,无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑,稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合,帮助用户轻松实现创意设计。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号