Project Icon

fish-diffusion

开源框架简化TTS、SVS和SVC模型开发

Fish Diffusion是一个开源的语音合成训练框架,专注于TTS、SVS和SVC任务。基于扩散模型,它支持多说话人合成和44.1kHz高品质输出。该项目优化了代码结构,提高了训练效率,并提供完整的环境配置和使用指南。Fish Diffusion适合研究人员和开发者探索语音合成技术,同时强调负责任的AI应用。项目特点包括简化的代码结构、多设备训练支持和半精度训练,有助于提高开发效率和降低资源消耗。此外,还提供了详细的数据集准备和模型训练指南,便于用户快速上手。

AsyncDiff - 通过异步去噪实现扩散模型并行加速
AsyncDiffGithub加速推理开源项目异步去噪扩散模型模型并行
AsyncDiff是一种创新的扩散模型加速方案,通过将模型分割并在多设备上异步并行处理来提高效率。这种方法巧妙利用了扩散步骤间的相似性,将顺序去噪转变为异步过程,有效打破了组件间的依赖关系。AsyncDiff不仅大幅降低了推理时间,还保持了生成质量。目前已支持Stable Diffusion、ControlNet和AnimateDiff等多种主流扩散模型。
Bert-VITS2 - 多语言BERT驱动的语音合成模型
Bert-VITS2FishAudioGithubMassTTSTTSVITS开源项目
Bert-VITS2项目融合了多语言BERT和先进的自回归TTS模型,提供高品质的语音合成。此项目参考了MassTTS等开源项目,并推荐使用Fish-Speech。详情和演示请参见视频链接和文档,项目强调中文用户需求和法律合规,禁止违规用途。
TTS - 多语言支持和低延迟的先进文本到语音转换技术
Coqui.aiGithubTTS多语言开源项目深度学习语音合成
🐸TTS库提供多达16种语言的高级文本到语音转换模型,支持低于200毫秒的流媒体延迟。它包含丰富的工具用于模型训练和微调,并且拥有超过1100种预训练模型,适用于多语言和多说话人TTS任务。此外,该库还支持高效的语料库分析和管理,为语音合成提供全面支持。
StreamDiffusion - 高性能实时AI图像生成框架
AI绘图GithubStreamDiffusion图像处理实时生成开源项目深度学习
StreamDiffusion是一个开源的高性能AI图像生成框架,专为实时交互应用设计。它采用流批处理、残差无分类引导等创新技术,大幅提升了扩散模型的生成速度。在RTX 4090显卡上,使用SD-turbo模型可实现每秒106帧的文生图速度,LCM-LoRA与KohakuV2模型组合也能达到每秒38帧。该项目为开发实时AI图像生成应用提供了有力支持。
Diff-HierVC - 分层扩散模型实现高质量零样本语音转换
Diff-HierVCGithub开源项目扩散模型语音转换零样本说话人适应音高生成
Diff-HierVC是一种分层语音转换系统,采用DiffPitch和DiffVoice两个扩散模型。DiffPitch生成目标音高,DiffVoice转换语音风格。系统还使用源滤波器编码器和掩蔽先验技术,提高语音风格迁移和说话人适应能力。在零样本语音转换中,Diff-HierVC实现0.83%字错率和3.29%等错率,展现出色的音高生成和语音风格迁移性能。
flash-diffusion - 用于加速条件扩散模型的高效蒸馏技术
Flash DiffusionGithubLoRA加速技术图像生成开源项目扩散模型
Flash Diffusion是一种用于加速预训练扩散模型图像生成的蒸馏方法。该技术高效、快速、通用且兼容LoRA,在COCO数据集上实现了少步骤图像生成的先进性能。Flash Diffusion只需几小时GPU训练时间和较少可训练参数,适用于文本生成图像、图像修复、换脸和超分辨率等多种任务。它支持UNet和DiT等不同骨干网络,能够显著减少采样步骤,同时保持高质量的图像生成效果。
riffusion-model-v1 - 基于稳定扩散的实时音乐生成模型
GithubHuggingfaceRiffusion人工智能开源项目机器学习模型音乐生成音频处理
Riffusion是一个基于稳定扩散技术的文本到音频模型,能够生成音频频谱图并转换为实时音乐。该模型通过微调Stable Diffusion v1.5实现,可根据文本提示生成和修改频谱图像。Riffusion主要应用于音乐创作、教育工具和生成模型研究。项目提供开源代码、模型文件和Web应用程序,使用户能够直接体验实时音乐生成。该开源项目包含完整的模型文件、推理代码和种子图像库,为研究人员和开发者提供了丰富的资源。
modular-diffusion - 灵活可扩展的PyTorch扩散模型框架
GithubModular DiffusionPyTorch开源项目扩散模型机器学习模块化设计
Modular Diffusion是一个基于PyTorch的模块化扩散模型框架,为设计和训练自定义扩散模型提供了简洁的API。该框架支持多种噪声类型、调度类型、去噪网络和损失函数,并提供了预构建模块库。Modular Diffusion适用于图像生成和非自回归文本合成等多种应用场景,适合AI研究人员和爱好者使用。其模块化设计简化了新型扩散模型的创建和实验过程。
HCP-Diffusion - Stable Diffusion模型训练与优化工具集
DreamArtist++GithubHCP-DiffusionLoRAStable Diffusion开源项目文本到图像生成
HCP-Diffusion是基于Diffusers库开发的Stable Diffusion模型工具集。它整合了多种文本到图像生成的训练方法,包括Prompt-tuning和Textual Inversion等。该工具集引入了DreamArtist++技术,支持一次性文本到图像生成。HCP-Diffusion提供层级LoRA、模型集成和自定义优化器等功能,为AI研究和开发提供全面的模型训练与推理支持。
DiffSynth-Studio - 多功能扩散模型引擎 支持长视频合成与图像生成
AI绘画DiffSynth StudioGithub图像合成开源项目扩散模型视频生成
DiffSynth Studio是一款开源的扩散模型引擎,整合了ExVideo、Stable Diffusion 3和Kolors等多种AI模型。该引擎支持长视频合成、高分辨率图像生成、卡通渲染和视频风格化等功能。项目持续更新,重点探索扩散模型在视频合成领域的应用潜力。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号