访问官网
Github
Huggingface
文档
论文
用于实际应用的生成式AI图像工具集，包括GAN、扩散和一致性模型
JoliGEN是一个用于训练自定义生成式AI图像到图像模型的集成框架
主要特点：
-
JoliGEN实现了GAN、扩散和一致性模型，用于非配对和配对的图像到图像转换任务，包括保留语义（如图像和对象类别、掩码等）的域和风格适应。
-
JoliGEN的生成式AI能力针对实际应用，如受控图像生成、增强现实、数据集智能增强和对象插入、合成到真实转换。
-
JoliGEN允许快速稳定的训练，并能产生惊人的结果。提供了一个带有REST API的服务器，简化了部署和使用。
-
JoliGEN有大量的选项和参数。为避免不知所措，请遵循简单的快速入门指南。然后可以查看有关模型、数据集格式和数据增强的更详细文档链接。
有用链接
用例
- AR和元宇宙：用超真实的物体替换任何图像元素
- 图像操作：在图像中无缝插入或移除对象/元素
- 在保留语义的同时进行图像到图像的转换，例如保留现有源数据集注释
- 模拟到现实的转换，同时保留元素、指标等
- 生成图像以丰富数据集，例如平衡数据集不均衡、增加测试集等
这是通过结合强大的定制生成器架构、多种判别器、可配置的神经网络和损失函数来实现的，以确保源图像和目标图像之间基本元素的保留。
示例结果
卫星图像修复
使用扩散网络填补缺失区域
在保留类别的同时进行图像转换
马里奥转索尼克，同时保留动作（奔跑、跳跃等）
对象插入
使用扩散模型的虚拟试穿
使用扩散模型的汽车插入（BDD100K）
使用扩散模型的眼镜插入（FFHQ）
对象移除
使用GAN移除眼镜
在保留标签框的同时进行风格转换（如汽车、行人、路标等）
使用Transformer和GAN的白天到夜晚转换（BDD100K）
通过多次应用生成器逐步增加积雪，将晴天变为雪天（BDD100K）
晴天变为阴天（BDD100K）
晴天变为雨天（BDD100K）
特点
- 最先进的图像到图像转换
- 语义一致性：保持多种类型的标签，包括边界框、掩码、类别
- 最先进的判别器模型：投影式、视觉辅助式、自定义转换器
- 高级生成器：实时、转换器、混合转换器-CNN、注意力机制、带注意力的UNet、HDiT
- 基于对抗性和扩散生成的多种模型：CycleGAN、CyCADA、CUT、Palette
- GAN数据增强机制：APA、判别器噪声注入、标准图像增强、通过边界框采样的在线增强
- 输出质量指标：FID、PSNR、KID等
- 带REST API的服务器
- 支持CPU和GPU
- Docker化服务器
- 通过DeepDetect实现生产级C++部署
代码格式和贡献
如果您想贡献代码，请使用black代码格式。 安装：
pip install black
使用：
black .
如果您想在每次提交前自动格式化代码：
pip install pre-commit
pre-commit install
作者
JoliGEN由Jolibrain创建和开发。
代码结构受到pytorch-CycleGAN-and-pix2pix、CUT、AttentionGAN、MoNCE、Palette等项目的启发。
JoliGEN的部分元素得到了法国国家AI计划"Confiance.AI"的支持。
