ProteusV0.4-Lightning - 提升图像风格与细节表现的生成工具

ProteusV0.4-Lightning 项目介绍

ProteusV0.4-Lightning 项目是一个旨在提升图像生成风格能力的更新版本，设计理念类似于 Midjourney，但并不以增强提示词理解能力为目标。本项目采用的方法不会侵犯任何版权材料。

Proteus

Proteus 是对 OpenDalleV1.1 的一种复杂改进，利用其核心功能提供更优质的输出效果。项目的关键进步体现在对提示词的响应性增强和创作能力的提升。为实现这些目标，Proteus 通过大约 22 万张经过 GPTV 标注的无版权库存图片（包含部分动漫图片）进行微调，这些图片随后经过标准化处理。此外，项目使用了 DPO（直接偏好优化）方法，通过一组精心挑选的 1 万对高质量 AI 生成的图片对进行训练。

为了取得最佳性能，Proteus 项目中，多个 LORA（低秩适应）模型被独立训练，然后通过动态应用方法选择性地整合到主模型中。这些技术聚焦于模型的特定部分，在学习阶段避免干扰其他部分。因此，Proteus 在刻画复杂面部特征和逼真皮肤纹理方面表现出了显著的改进，同时在超现实主义、动漫和卡通风格可视化等多个美学领域保持了优秀的表现。

截至此版本，Proteus 已在总计 40 万多张图像上进行了微调和训练。

ProteusV0.4-Lightning 的设置

为了使用 ProteusV0.4-Lightning 获得最佳效果，请使用以下设置：

CFG Scale: 1 到 2
步数 (Steps): 详细度提高可使用 4 到 10 步，追求速度可使用 8 步
采样器 (Sampler): eular
调度程序 (Scheduler): normal
分辨率 (Resolution): 1280x1280 或 1024x1024

此外，为提高提示词效果，可使用关键词如 "best quality"、"HD" 和 "~*~aesthetic~*~"。

若提示词构思有困难，可以使用本站推荐的 GPT 进行优化：GPT工具

使用 🧨 diffusers 类库

以下是使用 🧨 diffusers 库的代码示例，可以用于生成图像：

import torch
from diffusers import (
    StableDiffusionXLPipeline, 
    EulerAncestralDiscreteScheduler,
    AutoencoderKL
)

# 加载 VAE 组件
vae = AutoencoderKL.from_pretrained(
    "madebyollin/sdxl-vae-fp16-fix", 
    torch_dtype=torch.float16
)

# 配置 pipeline
pipe = StableDiffusionXLPipeline.from_pretrained(
    "dataautogpt3/ProteusV0.4-Lightning", 
    vae=vae,
    torch_dtype=torch.float16
)
pipe.scheduler = EulerAncestralDiscreteScheduler.from_config(pipe.scheduler.config)
pipe.to('cuda')

# 定义提示词并生成图像
prompt = "black fluffy gorgeous dangerous cat animal creature, large orange eyes, big fluffy ears, piercing gaze, full moon, dark ambiance, best quality, extremely detailed"
negative_prompt = "nsfw, bad quality, bad anatomy, worst quality, low quality, low resolutions, extra fingers, blur, blurry, ugly, wrongs proportions, watermark, image artifacts, lowres, ugly, jpeg artifacts, deformed, noisy image"

image = pipe(
    prompt, 
    negative_prompt=negative_prompt, 
    width=1024,
    height=1024,
    guidance_scale=2,
    num_inference_steps=8
).images[0]

支持和关注

如果您喜欢这项工作，您可以通过 BuyMeACoffee 支持项目，或在推特上关注作者。