ComfyUI 的平铺采样
这个仓库包含一个用于 ComfyUI 的平铺采样器。它允许通过将大图像分割成较小的瓦片并对这些瓦片进行去噪来处理更大的图像。它试图通过逐步对所有瓦片进行一次去噪,并在每一步随机化瓦片位置来最小化最终结果中出现的任何接缝。
设置
平铺采样器带有一些额外设置来进一步控制其行为:
- tile_width:瓦片宽度。
- tile_height:瓦片高度。
- tiling_strategy:如何进行平铺
平铺策略
随机:
随机平铺策略旨在通过逐步对整个图像进行去噪,并在每一步随机化瓦片位置来尽可能减少接缝的存在。它通过在水平和垂直砖块模式之间交替,每次随机偏移模式来实现这一点。随着步骤数趋向无穷大,接缝的强度趋近于零。虽然这种随机偏移消除了接缝,但它增加了每一步的额外开销,并使这种策略与单一采样器不兼容。
视觉解释
无缝图像示例
这种平铺策略在隐藏接缝方面特别出色,即使从完全的噪声开始,也能看到重复但看不到接缝。
严格随机:
随机策略的一个缺点是可能会不利地裁剪边界瓦片,严格随机策略使用遮罩来确保不需要裁剪边界瓦片。这种平铺策略与 SDE 采样器不太兼容。
填充:
填充平铺策略试图通过给每个瓦片提供更多周围环境的上下文来减少接缝。它通过将每个瓦片进一步分成 9 个更小的瓦片来实现,这些瓦片以一种在去噪过程中瓦片始终被静态上下文包围的方式进行去噪。这种策略更容易产生接缝,但由于瓦片位置是静态的,所以这种策略与单一采样器兼容,并且在步骤之间没有额外开销。然而,填充使得需要去噪的瓦片数量多达 4 倍。
视觉解释
简单
简单平铺策略将图像分割成静态的瓦片网格,并逐个对这些瓦片进行去噪。
路线图:
- 潜在遮罩
- 图像范围的控制网络
- T2I 适配器
- 瓦片范围的控制网络和 T2I 适配器(例如风格模型)
- 区域条件设置
- 区域遮罩条件设置
- GLIGEN