PAIR扩散:全面的多模态对象级图像编辑器
Vidit Goel1,
Elia Peruzzo1,2,
Yifan Jiang3,
Dejia Xu3,
Xingqian Xu3,
Nicu Sebe2,
Trevor Darrell4,
Zhangyang Wang1,3
和 Humphrey Shi 1,5,6
特性
以下所有操作都可以在对象级别执行。我们的框架具有通用性,可应用于任何扩散模型。
- 外观编辑
- 自由形状编辑
- 添加对象
- 变体生成
- 使用参考图像和文本进行多模态控制
新闻
- [2023/12/30] 模型和代码已发布。
- [2023/11/10] 全新改进的方法和模型🚀🚀。模型和代码将很快发布。
- [2023/09/04] 推理代码已发布
- [2023/07/04] 演示已在🤗Huggingface空间上发布!
- [2023/03/30] 论文已在arXiv上发布
结果
以下是我们的方法在SDv1.5上进行外观编辑的结果
对象级图像编辑
外观编辑
自由形状编辑和添加对象
更多结果请参考我们的项目页面和论文。
环境要求
使用以下命令设置conda环境。我们使用Oneformer在推理过程中获取分割图,请按照该仓库的指示设置Oneformer的环境。
conda env create -f environment.yml
conda activate pair-diff
推理
要运行模型,请使用以下命令启动gradio演示。它还将下载所需的模型。
python gradio_demo.py
预训练模型
我们将PAIR扩散应用于SDv1.5,并使用COCO-Stuff数据集对模型进行微调。模型卡可以从这里下载。
BibTeX
如果您在研究中使用我们的工作,请引用我们的出版物:
@article{goel2023pair,
title={PAIR-Diffusion: Object-Level Image Editing with Structure-and-Appearance Paired Diffusion Models},
author={Goel, Vidit and Peruzzo, Elia and Jiang, Yifan and Xu, Dejia and Sebe, Nicu and Darrell, Trevor and
Wang, Zhangyang and Shi, Humphrey},
journal={arXiv preprint arXiv:2303.17546},
year={2023}
}