#文本到图像
dalle-playground 学习资料汇总 - 基于Stable Diffusion的文本生成图像项目
StreamMultiDiffusion: 实现区域语义控制的实时交互式生成框架
dalle-playground
dalle-playground是一个基于Stable Diffusion V2的在线文本到图像实验平台,支持简易Github前端试用及本地或Docker-compose部署,让技术爱好者体验高效的图像生成。平台还支持本地开发方式,提升了处理效率和操作流畅性。
best_AI_papers_2022
2022年人工智能领域的科研进展和技术发展。这个集合包含了通过严格策划得到的多篇AI论文,由专家louisfb01整理,每篇论文均提供视频概述、详细文章链接和实现代码,覆盖伦理、偏见和治理等多个关键议题。
DALLE2-pytorch
DALL-E 2的Pytorch实现由OpenAI开发,采用先进的神经网络技术将文本描述转化为高质量图像。本版本特别优化扩散先验网络,提供高性能的模型变体。开源项目鼓励开发者通过GitHub和Hugging Face参与贡献,并在Discord社区进行交流和支持。
imagen-pytorch
Google的Imagen是一种基于Pytorch实现的文本到图像神经网络,被视为此领域的新技术标杆。它采用简化的架构和优化的设计,例如级联DDPM、动态剪辑和内存高效的Unet设计。该项目在从文本转换成图像的合成过程中,表现出了相比DALL-E2的显著优势,为研究人员和开发者提供了实用的图像生成工具。
MultiDiffusion
MultiDiffusion 是一个统一框架,通过预训练的文字转图像扩散模型,实现多功能且可控的图像生成,无需进一步训练或微调。该框架支持用户使用各种控制信号,如纵横比和空间引导信号,生成高质量、多样化的图像。MultiDiffusion 优化了多重扩散生成过程,使用一组共享参数或约束,支持局部和全局编辑,适用于如烟雾、火焰和雪等半透明效果。
StreamMultiDiffusion
StreamMultiDiffusion 提供基于区域语义控制的实时交互式图像生成。该项目支持细粒度区域控制、分离提示和实时图像修复,能够显著降低生成延迟,适用于大尺寸图像的高效创作及全景生成等应用。
VideoElevator
VideoElevator是一个开源的AI视频生成项目,通过结合文本到图像和文本到视频的扩散模型来提升生成视频的质量。该项目采用免训练、即插即用的方法,将视频生成过程分为时间运动细化和空间质量提升两个阶段。VideoElevator能在11GB以下显存的GPU上运行,支持多种扩散模型的协作,为高质量AI视频生成提供了新的解决方案。
MultiBooth
MultiBooth是一种新型多概念图像生成技术,通过单概念学习和多概念集成两个阶段提高了生成效果。该方法使用多模态图像编码器和概念编码技术,学习每个概念的表示,并利用边界框定义生成区域,实现高质量的多概念图像生成。MultiBooth在生成质量和计算效率方面均优于现有方法,为文本到图像生成领域提供了新的解决方案。
Imagen
Imagen,一种先进的AI图片生成工具,利用深度语言理解和极致的图像真实性,实现从文字到图像的转换。此模型不仅在COCO数据集上刷新了技术记录,还通过高效的U-Net架构和强大的文本编码系统,优化了图文一致性和图像质量。鉴于潜在的社会影响和数据集偏差问题,当前未开放源代码或公共演示版本。