任意区域修复（使用 Segment Anything 进行修复）

任意区域修复在浏览器界面上使用 Segment Anything 输出的任意选定蒙版执行稳定扩散修复。

使用 Segment Anything 使用户能够通过简单指向所需区域来指定蒙版，而无需手动填充。这可以提高蒙版创建过程的效率和准确性，从而可能产生更高质量的修复结果，同时节省时间和精力。

说明图片

安装

请按照以下步骤安装软件：

conda create -n inpaint python=3.10
conda activate inpaint

git clone https://github.com/Uminosachi/inpaint-anything.git
cd inpaint-anything

pip install -r requirements.txt

pip install -r requirements_mac.txt

python iasam_app.py

启动此应用程序。
点击 Segment Anything Model ID 旁边的"下载模型"按钮。这包括 SAM 2、高质量 Segment Anything 模型 ID、Fast Segment Anything 和 Faster Segment Anything (MobileSAM)。
- 请注意，SAM 有三种尺寸：Base、Large 和 Huge。请记住，较大的尺寸会消耗更多的 VRAM。
等待下载完成。
下载的模型文件将存储在此应用程序仓库的 models 目录中。

将图像拖放到输入图像区域。
- 通过"填充选项"可以实现外部修复，配置比例和平衡，然后点击"运行填充"按钮。
- "动漫风格"复选框可增强分割蒙版检测，特别是在动漫风格图像中，但会稍微降低蒙版质量。
点击"运行 Segment Anything"按钮。
使用素描指向您想要修复的区域。您可以撤销并调整笔尺寸。
- 将鼠标悬停在 SAM 图像或蒙版图像上，按 S 键进入全屏模式，或按 R 键重置缩放。
点击"创建蒙版"按钮。蒙版将出现在所选蒙版图像区域。

输入您想要的提示和负面提示，然后选择修复模型 ID。
点击"运行修复"按钮（请注意，首次下载模型可能需要一些时间）。
- 在高级选项中，您可以调整采样器、采样步骤、指导比例和种子。
- 如果启用"仅蒙版区域"选项，修改将仅限于指定的蒙版区域。
调整迭代滑块以使用不同的种子多次执行修复。
修复过程由 diffusers 提供支持。

保存在HuggingFace缓存中且其repo_id包含"inpainting"（不区分大小写）的修复模型也会被添加到修复模型ID下拉列表中。
- 如果您想使用特定模型，可以提前使用以下Python命令进行缓存：
```
python
```
```
from diffusers import StableDiffusionInpaintPipeline
pipe = StableDiffusionInpaintPipeline.from_pretrained("Uminosachi/dreamshaper_5-inpainting")
exit()
```
diffusers下载的模型通常存储在您的主目录中。Linux和MacOS用户可以在/home/用户名/.cache/huggingface/hub找到，Windows用户可以在C:\Users\用户名\.cache\huggingface\hub找到。
- 执行修复时，如果控制台输出以下错误，请尝试从上述缓存文件夹中删除相应的模型：
```
获取模型名称时发生错误...
```

UI图像

使用Inpaint Anything库，您可以执行分割并使用其他应用程序的草图创建蒙版。

源代码根据Apache 2.0许可证授权。

Ravi, N., Gabeur, V., Hu, Y.-T., Hu, R., Ryali, C., Ma, T., Khedr, H., Rädel, R., Rolland, C., Gustafson, L., Mintun, E., Pan, J., Alwala, K. V., Carion, N., Wu, C.-Y., Girshick, R., Dollár, P., & Feichtenhofer, C. (2024). SAM 2: 分割图像和视频中的任何内容。arXiv预印本。
Kirillov, A., Mintun, E., Ravi, N., Mao, H., Rolland, C., Gustafson, L., Xiao, T., Whitehead, S., Berg, A. C., Lo, W-Y., Dollár, P., & Girshick, R. (2023). 分割任何内容。arXiv:2304.02643。
Ke, L., Ye, M., Danelljan, M., Liu, Y., Tai, Y-W., Tang, C-K., & Yu, F. (2023). 高质量分割任何内容。arXiv:2306.01567。
Zhao, X., Ding, W., An, Y., Du, Y., Yu, T., Li, M., Tang, M., & Wang, J. (2023). 快速分割任何内容。arXiv:2306.12156 [cs.CV]。
Zhang, C., Han, D., Qiao, Y., Kim, J. U., Bae, S-H., Lee, S., & Hong, C. S. (2023). 更快的分割任何内容：面向移动应用的轻量级SAM。arXiv:2306.14289。