概念消融

网站 | 论文

[新消息!] Huggingface 演示链接。

https://github.com/nupurkmr9/concept-ablation/assets/9297728/fb29bc97-a2a9-497a-bb8e-9ffb02986401

我们的方法可以从预训练的Stable Diffusion模型中消融（移除）版权材料和记忆的图像。在这里，我们将目标概念分布改变为锚概念，例如，将梵高绘画改为普通绘画，或将不爽猫改为普通猫。

文本到图像扩散模型中的概念消融
Nupur Kumari、张炳亮、王圣宇、Eli Shechtman、Richard Zhang、朱俊彦
CMU、清华、Adobe
ICCV, 2023

简介

大规模文本到图像扩散模型能够生成高保真度的图像，具有强大的组合能力。然而，这些模型通常在海量互联网数据上训练，其中往往包含版权材料、授权图像和个人照片。此外，它们还被发现会复制各种在世艺术家的风格或记忆确切的训练样本。我们如何在不从头重新训练模型的情况下移除这些受版权保护的概念或图像呢？

我们提出了一种在预训练模型中高效消融概念的方法，即防止生成目标概念。我们的算法学习将给定目标风格、实例或我们希望消融的文本提示的图像分布与对应锚概念的分布相匹配，例如，将不爽猫匹配到普通猫。

结果

我们的方法在各种概念消融任务上表现良好，包括特定对象实例、艺术风格和记忆的图像。我们可以成功地消融目标概念，同时最小程度地影响应该保留的密切相关的周边概念（例如，在消融不爽猫时保留其他猫品种）。我们所有的结果都基于stable-diffusion-v1-4模型。

有关更多生成结果和比较，请参阅我们的网页。

风格消融

我们消融不同的目标艺术风格概念，转而生成普通绘画。

实例消融

我们消融各种实例，并用一般类别锚概念覆盖它们。

记忆图像消融

我们的方法可以消融记忆的训练图像，转而生成变体。

方法详情

给定要消融的目标概念不爽猫和锚概念猫，我们微调模型，使其对目标概念提示一只可爱的小不爽猫的预测与提示为一只可爱的小猫时相同。

入门指南

Diffusers: 请参考这里使用基于diffusers的stable-diffusion模型消融概念。

CompVis: 请参考这里使用基于CompVis的stable-diffusion模型消融概念。

注意：论文中的所有结果均使用基于CompVis的实现获得。

引用

如果您在研究中使用了此代码，请引用我们的论文。

@inproceedings{kumari2023conceptablation,
  author = {Kumari, Nupur and Zhang, Bingliang and Wang, Sheng-Yu and Shechtman, Eli and Zhang, Richard and Zhu, Jun-Yan},
  title = {Ablating Concepts in Text-to-Image Diffusion Models},
  booktitle = ICCV,
  year = {2023},
}