ComfyUI Inpaint Nodes简介
ComfyUI Inpaint Nodes是一个专为ComfyUI设计的强大插件,旨在提升图像修复(inpainting)和外部绘制(outpainting)的效果。它为ComfyUI用户提供了一系列先进的节点和工具,包括Fooocus inpaint模型、LaMa、MAT等算法,以及多种预处理和后处理工具。这些功能的加入,使得ComfyUI在图像编辑方面的能力得到了显著提升。
主要特性
- Fooocus Inpaint模型集成:集成了Fooocus inpaint模型,可应用于任何SDXL checkpoint,将其转换为inpaint模型。
- 多种预处理工具:提供了扩展遮罩、填充遮罩区域、模糊遮罩等多种预处理工具。
- 高级inpaint模型支持:集成了LaMa和MAT等先进的inpaint模型。
- 灵活的工作流程:提供了多个示例工作流程,适用于不同的inpaint和outpaint场景。
- 易于安装和使用:可通过ComfyUI Manager轻松安装,或通过Git直接克隆仓库。
Fooocus Inpaint模型详解
Fooocus Inpaint是该插件的核心特性之一。它是一个小巧而灵活的补丁,可以应用于任何SDXL checkpoint,将其转换为专门的inpaint模型。这种转换后的模型可以像其他inpaint模型一样使用,但提供了更多优势。
使用Fooocus Inpaint的步骤如下:
- 从lllyasviel/fooocus_inpaint下载模型文件。
- 将下载的模型文件放置在
ComfyUI/models/inpaint目录下。 - 在ComfyUI中使用新增的两个节点来应用Fooocus inpaint模型。
值得注意的是,Fooocus Inpaint的实现方式比较巧妙,它通过修改ComfyUI的ModelPatcher来支持模型使用的自定义Lora格式。这种实现方式虽然有些技巧性,但保证了与ComfyUI的良好兼容。
高级Inpaint预处理工具
ComfyUI Inpaint Nodes提供了多种预处理工具,用于在进行inpainting之前对遮罩区域进行处理。这些工具可以有效避免边缘出现接缝,前提是输入的遮罩足够大。主要的预处理工具包括:
1. 扩展遮罩(Expand Mask)
这个工具可以将遮罩区域向外扩展指定的像素数,并对遮罩边缘进行模糊处理,使过渡更加平滑。
2. 填充遮罩(Fill Masked)
填充遮罩工具提供了三种填充模式:
neutral: 用灰色填充,适合添加全新内容。telea: 基于Alexandru Telea算法,使用周围边界的颜色进行填充。navier-stokes: 基于流体动力学的Navier-Stokes方程,使用周围边界的颜色进行填充。
3. 模糊遮罩(Blur Masked)
这个工具将图像向遮罩区域内模糊。在遮罩边缘处模糊程度较弱,适合保持整体颜色一致性。
4. Inpaint模型(LaMa, MAT)
ComfyUI Inpaint Nodes还集成了LaMa和MAT这两个先进的inpaint模型。这些模型可以快速对遮罩区域进行修复,特别适合用于outpainting或物体移除。
使用步骤:
- 使用Load Inpaint Model节点加载模型。
- 使用**Inpaint (using Model)**节点应用模型。
支持的模型文件需要放置在ComfyUI/models/inpaint目录下:
灵活的工作流程示例
为了帮助用户快速上手和深入了解ComfyUI Inpaint Nodes的功能,该项目提供了多个示例工作流程:
- 简单工作流程: 基础的inpaint工作流程,忽略之前的内容,100%替换。
- 细化工作流程: 高级工作流程,可以细化现有内容,支持1-100%的降噪强度。
- Outpaint工作流程: 用于outpainting的工作流程,包含预处理步骤。
- 预处理实验工作流程: 复杂的工作流程,用于试验各种预处理器。
- 无提示词工作流程: 不使用文本提示的工作流程,需要IP-Adapter插件支持。
这些示例工作流程涵盖了从基础到高级的各种使用场景,用户可以根据自己的需求选择合适的工作流程,并在此基础上进行定制和优化。
安装和使用指南
ComfyUI Inpaint Nodes的安装非常简单,主要有以下几种方式:
-
使用ComfyUI Manager搜索"ComfyUI Inpaint Nodes"并安装。
-
直接下载仓库并将文件夹放入
ComfyUI/custom_nodes目录。 -
使用Git命令安装:
cd ComfyUI/custom_nodes git clone https://github.com/Acly/comfyui-inpaint-nodes.git
安装完成后,请重启ComfyUI以使更改生效。
此外,如果需要使用telea和navier-stokes填充模式,还需要安装OpenCV:
pip install opencv-python
总结与展望
ComfyUI Inpaint Nodes为ComfyUI用户提供了一套强大而灵活的图像修复和编辑工具。通过集成先进的inpaint模型和提供多种预处理、后处理工具,它极大地提升了ComfyUI在图像编辑方面的能力。无论是简单的图像修复还是复杂的outpainting任务,ComfyUI Inpaint Nodes都能提供出色的解决方案。
随着AI图像处理技术的不断发展,我们可以期待ComfyUI Inpaint Nodes在未来会集成更多先进的算法和模型,为用户提供更加智能和高效的图像编辑体验。对于喜欢探索AI图像处理前沿技术的用户来说,ComfyUI Inpaint Nodes无疑是一个值得关注和使用的强大工具。
最后,我们要感谢ComfyUI Inpaint Nodes的开发者和贡献者,以及那些开发了Fooocus Inpaint、LaMa、MAT等基础模型的研究人员。正是他们的努力,让我们能够享受到如此强大而易用的图像编辑工具。希望这个项目能够继续发展,为更多的创作者和开发者带来便利和灵感。
