集成GAN、扩散和一致性模型的AI图像生成框架
joliGEN是一个集成框架,用于训练自定义的AI图像转换模型。该框架集成了GAN、扩散和一致性模型,可用于配对和无配对的图像转换任务。joliGEN适用于图像生成控制、增强现实和数据集增强等实际场景。它支持快速稳定的训练过程,并提供REST API服务简化部署。凭借丰富的选项和参数,joliGEN可应用于多种图像生成和处理任务。
JoliGEN是一个用于训练自定义生成式AI图像到图像模型的集成框架
主要特点:
JoliGEN实现了GAN、扩散和一致性模型,用于非配对和配对的图像到图像转换任务,包括保留语义(如图像和对象类别、掩码等)的域和风格适应。
JoliGEN的生成式AI能力针对实际应用,如受控图像生成、增强现实、数据集智能增强和对象插入、合成到真实转换。
JoliGEN允许快速稳定的训练,并能产生惊人的结果。提供了一个带有REST API的服务器,简化了部署和使用。
JoliGEN有大量的选项和参数。为避免不知所措,请遵循简单的快速入门指南。然后可以查看有关模型、数据集格式和数据增强的更详 细文档链接。
这是通过结合强大的定制生成器架构、多种判别器、可配置的神经网络和损失函数来实现的,以确保源图像和目标图像之间基本元素的保留。
使用扩散网络填补缺失区域
马里奥转索尼克,同时保留动作(奔跑、跳跃等)
使用扩散模型的虚拟试穿
使 用扩散模型的汽车插入(BDD100K)
使用扩散模型的眼镜插入(FFHQ)
<img src="https://github.com/jolibrain/joliGEN/assets/3530657/eba7920d-4430-4f46-b65c-6cf2267457b0" alt="drawing" width="512"/> <img src="https://github.com/jolibrain/joliGEN/assets/3530657/ef908a7f-375f-4d0a-afec-72d1ee7eaafe" alt="drawing" width="512"/>使用GAN移除眼镜
使用Transformer和GAN的白天到夜晚转换(BDD100K)
通过多次应用生成器逐步增加积雪,将晴天变为雪天(BDD100K)
晴天变为阴天(BDD100K)
晴天变为雨天(BDD100K)