DeepCache: 无成本加速扩散模型

（Stable Diffusion v1.5结果。左：50 个 PLMS 步骤。右：在 50 个 PLMS 步骤上加速 2.3 倍）

DeepCache: 无成本加速扩散模型
马心音, 方公帆, 王欣超
 学习与视觉实验室, 新加坡国立大学
🥯[Arxiv]🎄[项目页面]

为什么选择DeepCache

🚀 无需训练且基本无损
🚀 支持稳定扩散、稳定扩散XL、稳定视频扩散、稳定扩散着色管道/XL管道、稳定扩散Img2Img管道、DDPM
🚀 兼容DDIM和PLMS等采样算法

更新

2024年6月27日：🔥我们的新工作AsyncDiff可以在多GPU上进行扩散模型的并行推理。查看我们的论文和代码！
2024年6月5日：🔥我们的新工作Learning-to-Cache，是DeepCache在DiT上的改进版本。代码和检查点已发布。
2024年1月5日：💥在Diffusers中增加了DeepCache的文档页面！更多信息请查看这里。非常感谢Diffusers团队！
2023年12月26日：🔥更新了即插即用的DeepCache实现，不再需要对diffuser代码进行任何修改！详细用法请查看这里。非常感谢贡献代码的@yuanshi9815！
2023年12月25日：通过Colab提供了演示
2023年12月21日：发布了稳定视频扩散和Text2Video-Zero的代码。在下图中，上排展示了由SVD-XT生成的原始视频，而下排则是由DeepCache加速。Text2Video-Zero的结果可见这里

（SVD-XT加速1.7倍）
2023年12月20日：发布了DDPM的代码。实验代码和说明见这里。
2023年12月6日：发布了稳定扩散XL的代码。使用一样的提示项，stabilityai/stable-diffusion-xl-base-1.0 的结果如下图所示。

（Stable Diffusion XL 加速2.6倍）

介绍

我们介绍了DeepCache，一种新颖的加速扩散模型的无需训练且几乎无损的范式，从模型结构的角度进行加速。利用U-Net的特性，我们在更新低级特征的同时重用了高级特征。DeepCache在仅仅下降0.05的CLIP得分的情况下，将Stable Diffusion v1.5速度提升了2.3倍，而ImageNet上的LDM-4-G速度提升了4.1倍，FID减少了0.22。

快速开始

安装

pip install DeepCache

使用

import torch

# 加载原始管道
from diffusers import StableDiffusionPipeline
pipe = StableDiffusionPipeline.from_pretrained('runwayml/stable-diffusion-v1-5', torch_dtype=torch.float16).to("cuda:0")

# 导入DeepCacheSDHelper
from DeepCache import DeepCacheSDHelper
helper = DeepCacheSDHelper(pipe=pipe)
helper.set_params(
    cache_interval=3,
    cache_branch_id=0,
)
helper.enable()

# 生成图像
deepcache_image = pipe(
        prompt,
        output_type='pt'
).images[0]
helper.disable()

这里我们以Stable Diffusion 管道为例。你可以用稳定扩散的其他变体，包括SDXL、SVD等来代替管道。你可以在脚本中找到示例。参数cache_branch_id指定所选的跳跃分支。对于更深的跳跃分支，模型将仅在缓存步骤中使用它们，并在检索步骤中排除它们。cache_interval表示更新缓存的间隔。

通用的SD脚本

python main.py --model_type sdxl #支持[sdxl, sd1.5, sd2.1, svd, sd-inpaint, sdxl-inpaint, sd-img2img]

DeepCache的实验代码

上述实现不需要对Diffusers管道中的forward或__call__函数进行更改，因此更具有通用性。以下部分是可以用于复现论文结果的实验代码。它针对不同的模型结构和管道分别实现，因此可能由于diffuser的更新无法正常工作。

设置

pip install diffusers==0.24.0 transformers

稳定扩散XL

python stable_diffusion_xl.py --model stabilityai/stable-diffusion-xl-base-1.0

输出：

Loading pipeline components...: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00,  6.62it/s]
2023-12-06 01:44:28,578 - INFO - 运行基线...
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:17<00:00,  2.93it/s]
2023-12-06 01:44:46,095 - INFO - 基线：17.52 秒
Loading pipeline components...: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 7/7 [00:00<00:00,  8.06it/s]
2023-12-06 01:45:02,865 - INFO - 运行DeepCache...
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:06<00:00,  8.01it/s]
2023-12-06 01:45:09,573 - INFO - DeepCache：6.71 秒
2023-12-06 01:45:10,678 - INFO - 已保存至output.png。完成！

你可以在命令末尾添加--refine来激活SDXL的精炼模型。

稳定扩散v1.5

python stable_diffusion.py --model runwayml/stable-diffusion-v1-5

输出：

2023-12-03 16:18:13,636 - INFO - 将safety_checker加载为runwayml/stable-diffusion-v1-5的StableDiffusionSafetyChecker。
2023-12-03 16:18:13,699 - INFO - 将vae加载为runwayml/stable-diffusion-v1-5的AutoencoderKL。
Loading pipeline components...: 100%|██████████████████████████████████████████████████████████████| 7/7 [00:01<00:00,  5.88it/s]
2023-12-03 16:18:22,837 - INFO - 运行基线...
100%|████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:03<00:00, 15.33it/s]
2023-12-03 16:18:26,174 - INFO - 基线：3.34秒
2023-12-03 16:18:26,174 - INFO - 运行DeepCache...
100%|████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:01<00:00, 34.06it/s]
2023-12-03 16:18:27,718 - INFO - DeepCache：1.54秒
2023-12-03 16:18:27,935 - INFO - 已保存至output.png。完成！

稳定扩散v2.1

python stable_diffusion.py --model stabilityai/stable-diffusion-2-1

输出：

2023-12-03 16:21:17,858 - 信息 - 从 stabilityai/stable-diffusion-2-1 的 `feature_extractor` 子文件夹中加载 feature_extractor 作为 CLIPImageProcessor。
2023-12-03 16:21:17,864 - 信息 - 从 stabilityai/stable-diffusion-2-1 的 `scheduler` 子文件夹中加载 scheduler 作为 DDIMScheduler。
加载管道组件中...: 100%|██████████████████████████████████████████████████████████████████| 6/6 [00:01<00:00,  5.35it/s]
2023-12-03 16:21:49,770 - 信息 - 基准测试运行中...
100%|████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:14<00:00,  3.42it/s]
2023-12-03 16:22:04,551 - 信息 - 基准测试：14.78秒
2023-12-03 16:22:04,551 - 信息 - DeepCache 运行中...
100%|████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:08<00:00,  6.10it/s]
2023-12-03 16:22:12,911 - 信息 - DeepCache：8.36秒
2023-12-03 16:22:13,417 - 信息 - 已保存到 output.png。完成！

目前，我们的代码支持可通过 StableDiffusionPipeline 加载的模型。您可以通过参数 --model 指定模型名称，默认情况下为 runwayml/stable-diffusion-v1-5。

稳定视频扩散

python stable_video_diffusion.py

输出：

加载管道组件中...: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 5/5 [00:00<00:00,  8.36it/s]
2023-12-21 04:56:47,329 - 信息 - 基准测试运行中...
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [01:27<00:00,  3.49s/it]
2023-12-21 04:58:26,121 - 信息 - 原始：98.66 秒
加载管道组件中...: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 5/5 [00:00<00:00, 10.59it/s]
2023-12-21 04:58:27,202 - 信息 - DeepCache 运行中...
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [00:49<00:00,  1.96s/it]
2023-12-21 04:59:26,607 - 信息 - DeepCache：59.31秒

DDPM 和 LDM

有关 DDPM 和 LDM 的实验代码，请查阅这里。

视觉化

上排的图像是基准测试结果，下排的图像是通过 DeepCache 加速后的图像。

稳定扩散 v1.5 (2.15x 加速)

用于 ImageNet 的 LDM-4-G (6.96x 加速)

用于 LSUN 教堂和卧室的 DDPM (1.48x 加速)

定量结果

ImageNet

稳定扩散 v1.5

更多结果请参阅我们的论文。

其他实现和插件

我们衷心感谢下面列出的作者在插件或其他环境中实现了 DeepCache。

Diffusers: https://huggingface.co/docs/diffusers/main/en/optimization/deepcache
OneDiff 集成: https://github.com/siliconflow/onediff?tab=readme-ov-file#easy-to-use by @SiliconFlow。OneDiff 还在 SVD 上实现了 DeepCache，详情请查看此处。
Comfyui: https://gist.github.com/laksjdjf/435c512bc19636e9c9af4ee7bea9eb86 by @laksjdjf
Colab & Gradio: https://github.com/camenduru/DeepCache-colab by @camenduru
WebUI: https://github.com/AUTOMATIC1111/stable-diffusion-webui/pull/14210 by @aria1th
SD.Next: https://github.com/vladmandic/automatic by @vladmandic
MLX_deepcache 用于在 M1 Mac 上运行 SD: https://github.com/Barry0121/mlx_deepcache by @Barry Xue

我们热烈欢迎每个人的贡献。请随时联系我们。

Bibtex

@inproceedings{ma2023deepcache,
  title={DeepCache: Accelerating Diffusion Models for Free},
  author={Ma, Xinyin and Fang, Gongfan and Wang, Xinchao},
  booktitle={The IEEE/CVF Conference on Computer Vision and Pattern Recognition},
  year={2024}
}