kivotos-xl-2.0

项目介绍

概述

Kivotos XL 2.0 是 Yodayo Kivotos XL 系列的最新版本，继承了先前的 Kivotos XL 1.0 模型。此开源模型基于 Animagine XL V3 构建，专门设计用于生成高质量的动漫风格艺术作品。Kivotos XL V2.0 通过额外的微调和优化，特别专注于准确呈现《碧蓝档案》系列的视觉风格和美学。

模型详情

开发者: Linaqruf
模型类型: 基于扩散的文生图生成模型
模型描述: Kivotos XL V2.0 是 Yodayo Kivotos XL 系列中的最新开源模型，建立在 Animagine XL V3 之上。专为生成高质量《碧蓝档案》动漫风格艺术作品而微调。
许可证: Fair AI Public License 1.0-SD
微调自模型: Animagine XL 3.1

支持平台

可以在 Yodayo 平台上使用此模型。使用链接
在 ComfyUI 或 Stable Diffusion Webui 中使用。
使用 🧨 diffusers。

🧨 Diffusers 安装

首先安装所需库：

pip install diffusers transformers accelerate safetensors --upgrade

然后使用以下示例代码运行图像生成：

import torch
from diffusers import StableDiffusionXLPipeline

pipe = StableDiffusionXLPipeline.from_pretrained(
    "yodayo-ai/kivotos-xl-2.0", 
    torch_dtype=torch.float16, 
    use_safetensors=True,
    custom_pipeline="lpw_stable_diffusion_xl",
    add_watermarker=False,
    variant="fp16"
)
pipe.to('cuda')

prompt = "1girl, kazusa \(blue archive\), blue archive, solo, upper body, v, smile, looking at viewer, outdoors, night, masterpiece, best quality, very aesthetic, absurdres"
negative_prompt = "nsfw, (low quality, worst quality:1.2), very displeasing, 3d, watermark, signature, ugly, poorly drawn"

image = pipe(
    prompt, 
    negative_prompt=negative_prompt,
    width=832,
    height=1216, 
    guidance_scale=7,
    num_inference_steps=28
).images[0]

image.save("./cat.png")

使用指南

标签排序

为了获得最佳效果，建议遵循结构化提示模板，因为模型是这样训练的：

1girl/1boy, 角色名, 出自哪个系列, 作者, 其他元素顺序随意。

特殊标签

Kivotos XL 2.0 继承了 Animagine XL 3.1 的特殊标签，以通过向质量、评级、创作日期和美学方向引导结果来增强图像生成。这种继承确保 Kivotos XL 2.0 能生成高质量、相关且美观的图像。尽管模型可以在没有这些标签的情况下生成图像，但使用它们可以帮助实现更好的结果。

质量标签: 经典之作, 最佳质量, 极佳质量, 良好质量, 正常质量, 低质量, 最差质量
评级标签: 安全, 敏感, nsfw, 明确
年份标签: 最新, 最近, 中期, 早期, 最早
美学标签: 很美观, 美观, 令人不悦, 非常令人不悦

训练

以下是训练期间使用的关键超参数：

特性	预训练	微调
硬件	2x H100 80GB PCIe	1x A100 80GB PCIe
批次大小	32	48
梯度累积步数	2	1
噪声偏移	无	0.0357
循环次数	10	10
U-Net 学习率	5e-6	3.75e-6
文本编码器学习率	2.5e-6	无
优化器	Adafactor	Adafactor
优化器参数	参数缩放：否，相对步长：否，Warmup初始化：否 (0.9, 0.99)	参数缩放：否，相对步长：否，Warmup初始化：否
调度器	常量加 Warmups	常量加 Warmups
Warmup Steps	0.05%	0.05%