X-Adapter

本仓库是 X-Adapter 的官方实现。

X-Adapter: 为升级版扩散模型添加插件的通用兼容性
冉凌民, 寸晓东, 刘嘉伟, 赵睿, 宋子杰, 王鑫涛, Jussi Keppo, Mike Zheng Shou

概览_v7

X-Adapter 使在旧版本（如 SD1.5）上预训练的插件能够直接与升级版模型（如 SDXL）兼容使用，无需进一步重新训练。

感谢 @kijai 在这里提供的 CumfyUI 实现！请参考这个教程进行超参数设置。

新闻

[2024/02/17] 推理代码已发布

设置

要求

conda create -n xadapter python=3.10
conda activate xadapter

pip install torch==1.13.1+cu116 torchvision==0.14.1+cu116 --extra-index-url https://download.pytorch.org/whl/cu116
pip install -r requirements.txt

强烈建议安装 xformers 以提高效率并降低 GPU 开销。

权重

[Stable Diffusion] Stable Diffusion 是一个潜在的文本到图像扩散模型，能够根据任何文本输入生成逼真的图像。预训练的 Stable Diffusion 模型可以从 Hugging Face 下载（例如，Stable Diffusion v1-5）。您也可以使用在不同风格上微调的 Stable Diffusion 模型（例如，Anything V4.0，Redshift 等）。

[ControlNet] Controlnet 是一种用空间条件控制扩散模型的方法。您可以在这里下载 ControlNet 系列。

[LoRA] LoRA 是一种轻量级适配器，用于微调大规模预训练模型。它广泛用于扩散模型中的风格或身份定制。您可以从扩散社区下载 LoRA（例如，civitai）。

检查点

模型可以从我们的 Hugging Face 页面下载。将检查点放在 ./checkpoint/X-Adapter 文件夹中。

使用方法

准备好所有检查点后，我们可以使用不同的插件运行推理代码。您可以参考这个教程快速开始使用 X-Adapter。

Controlnet 推理

在 bash 脚本中设置 --controlnet_canny_path 或 --controlnet_depth_path 为 ControlNet 的路径。默认值是其 Hugging Face 模型卡片。

sh ./bash_scripts/canny_controlnet_inference.sh
sh ./bash_scripts/depth_controlnet_inference.sh

LoRA 推理

在 bash 脚本中设置 --lora_model_path 为 LoRA 的检查点。在这个例子中，我们使用 MoXin，并将其放在 ./checkpoint/lora 文件夹中。

sh ./bash_scripts/lora_inference.sh

Controlnet-Tile 推理

在 bash 脚本中设置 --controlnet_tile_path 为 ControlNet-tile 的路径。默认值是其 Hugging Face 模型卡片。

sh ./bash_scripts/controlnet_tile_inference.sh

引用

如果您发现 X-Adapter 对您的研究和应用有用，请使用以下 BibTeX 引用我们：

@article{ran2023xadapter,
  title={X-Adapter: Adding Universal Compatibility of Plugins for Upgraded Diffusion Model},
  author={Lingmin Ran and Xiaodong Cun and Jia-Wei Liu and Rui Zhao and Song Zijie and Xintao Wang and Jussi Keppo and Mike Zheng Shou},
  journal={arXiv preprint arXiv:2312.02238},
  year={2023}
}