LyCORIS: 一种革命性的Stable Diffusion微调方法

LyCORIS

LyCORIS简介

LyCORIS(Lora beYond Conventional methods, Other Rank adaptation Implementations for Stable diffusion)是一个为Stable Diffusion模型设计的参数高效微调框架。它源于LoRA(Low-Rank Adaptation)技术,但远远超越了传统的LoRA方法,实现了多种创新的低秩适应算法。

LyCORIS项目最初源于LoCon,但现已发展成为一个功能丰富的微调工具集。它实现了包括LoRA(LoCon)、LoHa、LoKr、(IA)^3、DyLoRA等在内的多种算法,为用户提供了更多的选择和更强大的微调能力。

LyCORIS banner

作为一个开源项目,LyCORIS得到了社区的广泛关注和支持。目前该项目在GitHub上已获得超过2100颗星,吸引了140多个分支。活跃的社区不仅推动了项目的持续发展,也为用户提供了丰富的资源和支持。

LyCORIS的核心优势

相比传统的微调方法,LyCORIS具有以下几个显著优势:

算法多样性:实现了多种先进的参数高效微调算法,如LoHa、LoKr等,为不同场景提供更多选择。
高效性:通过低秩表示等技术,大幅降低了微调所需的计算资源和存储空间。
灵活性:支持对模型的不同部分进行有针对性的微调,可以更精准地调整模型行为。
通用性:不仅适用于Stable Diffusion,还可用于其他深度学习模型的微调。
易用性:提供了多种训练和推理接口,方便集成到现有工作流程中。

主要算法对比

LyCORIS实现的多种算法各有特点,下面对其中几种主要算法进行简要对比:

算法	保真度	灵活性	多样性	模型大小	训练速度(线性层)	训练速度(卷积层)
Full	★★★★★	★★★★★	▲▲	▲▲	★★★★★	●●
LoRA	●●●	●●●	◉◉◉	●●●	●●●	★★★★★
LoHa	▲▲▲	◉◉◉◉	★★★★★	●●●	●●●	▲▲▲
LoKr(低因子)	◉◉◉◉	▲▲▲	●●●	●●●	★★★★★	●●●
LoKr(高因子)	▲▲▲	●●●	★★★★★	★★★★★	★★★★★	●●●

★ > ◉ > ● > ▲ (★表示最好,▲表示最差)

需要注意的是,各算法的实际表现可能因数据集、任务和超参数设置而有所不同。建议用户根据具体需求进行实验,以找到最适合的算法和参数配置。

LyCORIS的使用方法

图像生成

LyCORIS模型可以在多个主流的Stable Diffusion WebUI和在线生成服务中使用:

SD WebUI: 从1.5.0版本开始,SD WebUI原生支持LyCORIS模型。用户只需将模型文件放入models/Lora或models/LyCORIS目录,然后使用<lora:filename:multiplier>语法即可触发。
其他界面: ComfyUI、InvokeAI等项目也支持LyCORIS模型。
在线服务: CivitAI、Tensor.Art等平台已集成LyCORIS支持。

模型训练

LyCORIS提供了多种训练方式:

kohya-ss/sd-scripts: 这是最常用的训练方法,支持命令行参数和toml配置文件两种方式。

accelerate launch train_network.py \
  --network_module lycoris.kohya \
  --network_dim "DIM_FOR_LINEAR" --network_alpha "ALPHA_FOR_LINEAR"\
  --network_args "conv_dim=DIM_FOR_CONV" "conv_alpha=ALPHA_FOR_CONV" \
  "dropout=DROPOUT_RATE" "algo=locon"

Naifu-Diffusion: 另一个支持LyCORIS训练的框架。

独立包装器: LyCORIS可以作为独立的包装器用于任何PyTorch模块。

from lycoris import create_lycoris, LycorisNetwork

LycorisNetwork.apply_preset(
    {"target_name": [".*attn.*"]}
)
lycoris_net = create_lycoris(
    your_model, 
    1.0, 
    linear_dim=16, 
    linear_alpha=2.0, 
    algo="lokr"
)
lycoris_net.apply_to()

图形界面和Colab: 多个项目提供了基于kohya trainer的图形界面和Colab笔记本,如bmaltais/kohya_ss、Linaqruf/kohya-trainer等。

工具和实用程序

LyCORIS项目还提供了一些实用工具:

提取LoCon: 从Dreambooth模型中提取LoCon。

python3 extract_locon.py <settings> <base_model> <db_model> <output>

合并LyCORIS: 将LyCORIS模型合并回基础模型。

python3 merge.py <settings> <base_model> <lycoris_model> <output>

格式转换: 提供了在HCP和sd-webui格式之间转换LoRA、LyCORIS和完整模型的脚本。

python3 batch_hcp_convert.py \
  --network_path /path/to/ckpts \
  --dst_dir /path/to/stable-diffusion-webui/models/Lora \
  --output_prefix something \
  --auto_scale_alpha --to_webui

Bundle格式转换: 特别适用于关键调优(pivotal tuning)场景。

python3 batch_bundle_convert.py \
  --network_path /path/to/sd-webui-ssd/models/Lora  \
  --emb_path /path/to/ckpts \
  --dst_dir /path/to/sd-webui-ssd/models/Lora/bundle \
  --to_bundle --verbose 2