Inpaint Anything：图像编辑的新纪元
在数字图像处理的领域中，不断有新的技术和工具涌现，推动着创意和效率的边界。其中，Inpaint Anything作为Stable Diffusion Web UI的一个扩展，正在为图像编辑带来一场小革命。这个创新工具结合了Segment Anything的先进分割技术和稳定扩散模型的强大生成能力，为用户提供了一种前所未有的图像编辑体验。
什么是Inpaint Anything？
Inpaint Anything是一个为Stable Diffusion Web UI设计的扩展插件，它的核心功能是在浏览器界面上执行稳定扩散修复。这个工具的独特之处在于它利用了Segment Anything模型的输出作为蒙版，使用户能够以一种更加直观和高效的方式进行图像编辑。
相比传统的手动填充蒙版的方法，Inpaint Anything允许用户通过简单地指向所需区域来指定蒙版。这种方法不仅大大提高了蒙版创建过程的效率和准确性，还有可能带来更高质量的修复结果，同时节省了大量时间和精力。
安装Inpaint Anything
要开始使用Inpaint Anything，首先需要将其安装到您的Stable Diffusion Web UI中。安装过程相对简单，具体步骤如下：
- 打开AUTOMATIC1111的Stable Diffusion Web UI中的"Extensions"标签。
- 选择"Install from URL"选项。
- 在"URL for extension's git repository"字段中输入以下地址：
https://github.com/Uminosachi/sd-webui-inpaint-anything.git - 点击"Install"按钮。
- 安装完成后，重启Web UI。
需要注意的是，这个扩展支持AUTOMATIC1111的Stable Diffusion Web UI v1.3.0或更高版本。
运行应用程序
安装完成后，您可以开始运行Inpaint Anything。如果您打算使用内存效率更高的xformers，请在启动命令中添加--xformers参数。例如，在Linux或MacOS上运行./webui.sh --xformers，在Windows上运行webui.bat --xformers。
值得注意的是，如果您的网络浏览器启用了隐私保护扩展（如DuckDuckGo），可能会影响从草图中检索蒙版的功能。此外，在Gradio版本3.23.0或更早的版本中，分割图像可能在Web UI上显示较小。
下载模型
在开始使用Inpaint Anything之前，您需要下载必要的模型：
- 导航到Web UI中的"Inpaint Anything"标签。
- 点击"Download model"按钮，该按钮位于Segment Anything Model ID旁边。
Inpaint Anything支持多种模型，包括SAM 2、Segment Anything in High Quality Model、Fast Segment Anything和Faster Segment Anything (MobileSAM)。值得注意的是，SAM模型有三种尺寸可选：Base、Large和Huge。请记住，较大的模型会消耗更多的VRAM。
下载完成后，模型文件将存储在应用程序仓库的models目录中。
使用Inpaint Anything
Inpaint Anything的使用流程相对直观，以下是基本步骤：
-
将您的图像拖放到输入图像区域。
- 您可以通过"Padding options"实现outpainting，配置比例和平衡，然后点击"Run Padding"按钮。
- "Anime Style"复选框可以增强分割蒙版检测，特别适用于动漫风格的图像，但可能会略微降低蒙版质量。
-
点击"Run Segment Anything"按钮。
-
使用草图工具指向您想要修复的区域。您可以撤销操作并调整笔尺寸。
- 悬停在SAM图像或蒙版图像上，按"S"键进入全屏模式，或按"R"键重置缩放。
-
点击"Create mask"按钮。蒙版将出现在所选的蒙版图像区域。
蒙版调整
Inpaint Anything提供了几个用于调整蒙版的选项：
- "Expand mask region"按钮：用于略微扩大蒙版区域，以获得更广泛的覆盖。
- "Trim mask by sketch"按钮：点击后将从蒙版中排除草图区域。
- "Add mask by sketch"按钮：点击后将草图区域添加到蒙版中。
这些功能让用户能够精确控制要修复的区域，从而获得更好的修复效果。
Inpainting标签
Inpainting标签是Inpaint Anything的核心功能区域，在这里您可以执行实际的修复操作：
-
输入您想要的Prompt和Negative Prompt，然后选择Inpainting Model ID。
-
点击"Run Inpainting"按钮开始修复过程。请注意，首次下载模型可能需要一些时间。
-
在高级选项中，您可以调整Sampler、Sampling Steps、Guidance Scale和Seed等参数。
-
如果启用"Mask area Only"选项，修改将仅限于指定的蒙版区域。
-
调整迭代滑块可以使用不同的种子多次执行修复。
修复过程由diffusers库提供支持，这保证了高质量的修复结果。
清理器标签
除了修复功能，Inpaint Anything还提供了一个清理器功能：
- 选择Cleaner Model ID。
- 点击"Run Cleaner"按钮。同样，首次下载模型可能需要一些时间。
清理过程使用Lama Cleaner执行，这是一个强大的图像清理工具。
ControlNet Inpaint标签
对于更高级的用户，Inpaint Anything还提供了ControlNet Inpaint功能：
-
使用Web UI左上角的Stable Diffusion checkpoint，并将其与ControlNet inpaint模型配对。
-
输入您想要的Prompt和Negative Prompt。
-
点击"Run ControlNet Inpaint"按钮开始处理。
-
在高级选项中，您可以调整Sampler、Sampling Steps、Guidance Scale、Denoising Strength和Seed等参数。
-
在ControlNet选项中可以修改Control Weight和Control Mode。
使用这个功能需要安装支持inpaint_only预处理器和ControlNet inpaint模型的ControlNet扩展。
自动保存图像
为了方便用户管理修复后的图像，Inpaint Anything提供了自动保存功能：
- 修复后的图像将自动保存在
outputs/inpaint-anything目录下与当前日期匹配的文件夹中。 - 您可以通过Web UI的"Settings"标签中的"Inpaint Anything"部分切换到
outputs/img2img-images目录。
结语
Inpaint Anything为Stable Diffusion Web UI带来了革命性的图像编辑体验。通过结合先进的分割技术和稳定扩散模型，它使得复杂的图像编辑任务变得简单而高效。无论您是专业的图像编辑者，还是对AI辅助创作感兴趣的爱好者，Inpaint Anything都为您提供了一个强大而灵活的工具，帮助您实现创意并提高工作效率。
随着技术的不断进步，我们可以期待Inpaint Anything在未来会有更多令人兴奋的功能和改进。这个工具不仅展示了AI在创意领域的潜力，也为图像编辑的未来指明了方向。无疑，Inpaint Anything正在重新定义我们与数字图像交互的方式，为创作者们开启了无限可能的新世界。
