在编辑类型1-9中,我们将图像平均分配给人工图像和自然图像*(注意这两类都是真实图像,人工图像是绘画或其他人为生成的图像,自然图像是照片)*。在这两个类别中,图像又平均分配给动物、人物、室内场景和室外场景。

mapping_file_ti2i_benchmark.json包含一个具有以下结构的字典:

{
    "000000000000": {
        "image_path": "0_random_140/000000000000.jpg", # 图像路径
        "original_prompt": "路上倾斜的山地自行车,前面是一栋建筑", # 原始图像的提示,[]显示与editing_prompt的区别
        "editing_prompt": "路上倾斜的[生锈的]山地自行车,前面是一栋建筑", # 编辑后图像的提示,[]显示与original_prompt的区别
        "editing_instruction": "使自行车车架生锈", # 图像编辑指令
        "editing_type_id": "0", # 图像编辑类型
        "blended_word": "自行车 自行车", # 需要编辑的词
        "mask": [...] # 使用RLE编码的掩码,需要编辑的部分为1,否则为0。
        },
    ...
}

python run_editing_p2p.py --output_path output --edit_category_list 0 --edit_method_list directinversion+p2p

你也可以运行多个编辑方法和多个编辑类型：

python run_editing_p2p.py --edit_category_list 0 1 2 3 4 5 6 7 8 9 --edit_method_list directinversion+p2p null-text+p2p

你还可以指定--rerun_exist_images来选择是否重新运行已存在的图像。你还可以指定--data_path和--output来设置图像路径和输出路径。

运行任意图像

你可以将自己的图像和编辑提示处理成与我们给出的基准相同的格式，以运行大量图像。你也可以编辑给定的Python文件以适用于你自己的图像。我们已经提供了run_editing_p2p.py的编辑版本run_editing_p2p_one_image.py。你可以通过以下命令运行单个图像的编辑：

python -u run_editing_p2p_one_image.py --image_path scripts/example_cake.jpg --original_prompt "一个圆形的橙色糖霜蛋糕放在木盘上" --editing_prompt "一个方形的橙色糖霜蛋糕放在木盘上" --blended_word "蛋糕 蛋糕" --output_path "directinversion+p2p.jpg" "ddim+p2p.jpg" --edit_method_list "directinversion+p2p" "ddim+p2p"

我们还提供了Jupyter notebook演示run_editing_p2p_one_image.ipynb。

请注意，我们在代码中使用了默认参数。然而，这并不适用于所有图像。你可能需要根据你的输入调整它们。

评估 📐

你可以通过以下命令运行评估：

python evaluation/evaluate.py --metrics "structure_distance" "psnr_unedit_part" "lpips_unedit_part" "mse_unedit_part" "ssim_unedit_part" "clip_similarity_source_image" "clip_similarity_target_image" "clip_similarity_target_image_edit_part" --result_path evaluation_result.csv --edit_category_list 0 1 2 3 4 5 6 7 8 9 --tgt_methods 1_ddim+p2p 1_directinversion+p2p

你可以在evaluation/evaluate.py中的"all_tgt_image_folders"字典中找到tgt_methods的选项。

所有编辑结果可以在这里下载。你可以下载它们并按以下文件结构放置，以重现我们论文中的所有结果。

output
  |-- ddim+p2p
    |-- annotation_images
      |-- ...
  |-- directinversion+p2p
    |-- annotation_images
      |-- ...
...    

如果你想评估我们论文中显示的整个表格的结果，你可以运行：

python evaluation/evaluate.py --metrics "structure_distance" "psnr_unedit_part" "lpips_unedit_part" "mse_unedit_part" "ssim_unedit_part" "clip_similarity_source_image" "clip_similarity_target_image" "clip_similarity_target_image_edit_part" --result_path evaluation_result.csv --edit_category_list 0 1 2 3 4 5 6 7 8 9 --tgt_methods 1 --evaluate_whole_table

然后，表1中的所有结果将输出到evaluation_result.csv中。

🥇 定量结果

在各种编辑方法中将PnP Inversion与其他反演技术进行比较：

更多结果可以在主论文中找到。

🌟 定性结果

将PnP Inversion融入四种基于扩散的编辑方法的性能提升：

不同反演和编辑技术的可视化结果：

更多结果可以在主论文中找到。

🤝🏼 引用我们

@article{ju2023direct,
  title={PnP Inversion: Boosting Diffusion-based Editing with 3 Lines of Code},
  author={Ju, Xuan and Zeng, Ailing and Bian, Yuxuan and Liu, Shaoteng and Xu, Qiang},
  journal={International Conference on Learning Representations ({ICLR})},
  year={2024}
}

💖 致谢

我们的代码在prompt-to-prompt、StyleDiffusion、MasaCtrl、pix2pix-zero、Plug-and-Play、Edit Friendly DDPM Noise Space、Blended Latent Diffusion、Proximal Guidance和InstructPix2Pix的基础上进行了修改，感谢所有贡献者！