ColorfulXL-Lightning - 高分辨率图像生成的扩散模型创新工具

ColorfulXL-Lightning项目介绍

ColorfulXL-Lightning是一个基于文本生成图像的扩散模型，它在ColorfulXL基础上进行了优化，具备闪电般的生成能力。这个项目适用于文本到图像的转化，它的主要特点包括：

对图像美学进行了微调。
使用了从512到1280的Unet进行训练，共经历了64个步骤。
文本编码器经过训练，能很好地理解提示信息。
使用自定义的VAE（变分自编码器）。
与来自字节跳动的2、4、8步闪电Unets（代号Supermario）合并。
可以生成纯白色或纯黑色的图像，同时保持模型的真实色彩。

支持的分辨率范围

ColorfulXL-Lightning支持多种分辨率，从576到1280之间。例如，图像大小为576*832的样本展示了模型的效果。尽管在生成手部和面部细节时可能存在问题，但这可以被解释为一种艺术风格。

使用方法

用户可以通过以下示例代码在本地进行使用：

from diffusers import DiffusionPipeline
from diffusers import EulerDiscreteScheduler
import torch

pipeline = DiffusionPipeline.from_pretrained("recoilme/ColorfulXL-Lightning", torch_dtype=torch.float16,variant="fp16", use_safetensors=True).to("cuda")
pipeline.scheduler = EulerDiscreteScheduler.from_config(pipeline.scheduler.config, timestep_spacing="trailing")

prompt = "girl sitting on a small hill looking at night sky, fflix_dmatter, back view, distant exploding moon, nights darkness, intricate circuits and sensors, photographic realism style, detailed textures, peacefulness, mysterious."
height = 1024
width = 1024
steps = 3
scale = 0
seed = 2139965163
generator = torch.Generator(device="cpu").manual_seed(seed)

image = pipeline(
            prompt = prompt,
            height=height,
            width=width,
            guidance_scale=scale,
            num_inference_steps=steps,
            generator=generator,
        ).images[0]
image.show()
image.save("girl.png")