Project Icon

sd-webui-replacer

Stable Diffusion WebUI自动化对象检测与图像修复扩展

sd-webui-replacer扩展为Stable Diffusion WebUI提供自动化对象检测、遮罩和图像修复功能。它不仅支持批量和视频处理,还整合了高分辨率修复和ControlNet功能,优化了对象替换和图像编辑流程。该扩展兼容Lama cleaner、AnimateDiff等多个插件,功能丰富,使用便捷,能显著提高图像处理效率。

Replacer

Replacer 是 AUTOMATIC1111/stable-diffusion-webui 的一个扩展。这个扩展的目标是在一个易用的标签页中自动化对象遮罩检测提示,使用 sd-webui-segment-anything,以及 img2img 修复。它对批量修复和使用 AnimateDiff 进行视频修复也很有用。

你也可以绘制自己的遮罩来替代或补充检测,并利用便捷的 HiresFix 选项,以及在保持原始图像分辨率和宽高比的同时使用 ControlNet 进行修复。

如果你觉得这个项目有用,请在 GitHub 上给它加星!

安装

  1. 安装 sd-webui-segment-anything 扩展。如果它打扰到你,你可以在 Replacer 的设置中隐藏它。转到"扩展"标签 -> "可用" -> 点击"加载自"并搜索 "sd-webui-segment-anything"
  2. 下载模型 sam_hq_vit_l.pth,或下面列表中的其他模型,并将其放入 extensions/sd-webui-segment-anything/models/sam
  3. 为了更快的高分辨率修复,下载 lcm-lora-sdv1-5,将其重命名为 lcm-lora-sdv1-5.safetensors,放入 models/Lora。或者如果你已经有了 lcm lora,那么在扩展选项中更改高分辨率后缀
  4. 安装此扩展。转到"扩展"标签 -> "可用" -> 点击"加载自"并搜索 "Replacer"。确保你的 sd-webui 版本 >= 1.5.0。对于 AMD 和 Intel GPU,以及可能的其他情况,你需要在 Replacer 的设置中启用 CPU 进行检测。转到"设置" -> "Replacer" 并启用它
  5. 重新加载 UI

如果你不想使用视频功能,那么这就是你需要做的全部。以下步骤是针对视频的:

  1. 安装 sd-webui-animatediffsd-webui-controlnet 扩展。你也应该使用"扩展" -> "可用"标签并在那里找到它们
  2. 下载 mm_sd15_v3.safetensors animatediff 的运动模型,并将其放入 extensions/sd-webui-animatediff/model 目录
  3. 下载 control_v11p_sd15_inpaint_fp16.safetensors controlnet 的模型并将其放入 models/ControlNet 目录
  4. 我强烈建议你下载 mm_sd15_v3_sparsectrl_rgb.safetensorsmm_sd15_v3_sparsectrl_scribble.safetensors controlnet 的模型。也将它们放入 models/ControlNet 目录。然后你可以在 ControlNet 扩展中选择 SparseCtrl 模块。rgb 模型需要"none"预处理器
SAM 模型列表:

对我来说 SAM-HQ 是最好的。根据你的显存选择。将此模型大小与 dino 模型大小(694MB-938MB)相加

  1. SAM 来自 Meta AI。

  2. 来自SysCV的SAM-HQ

  3. 来自庆熙大学的MobileSAM

目前不支持_FastSAM_和_Matting-Anything_。

工作原理

首先,grounding dino模型检测您在检测提示中提供的对象。然后segment anything模型生成它们的轮廓。之后,扩展随机选择3个生成的遮罩中的1个,并使用a1111 webui中的常规修复方法进行修复。

当您按下"应用高分辨率修复"按钮时,扩展会使用完全相同的设置重新生成图像,但不包括img2img的升频器。然后,它应用"原始"遮罩内容模式的修复,降低去噪但提高分辨率。

支持的扩展:

  1. Lama cleaner作为遮罩内容

  2. 图像比较

  3. ControlNet

  4. AnimateDiff

  5. ar-plusplus(可能与"宽高比和分辨率按钮"分支兼容)

  6. 其他没有控制参数的扩展脚本,例如元数据中的硬件信息NudeNet NSFW审查、内置的Hypertile

文档:

- 替换器使用方法

- 视频:AnimateDiff和逐帧处理

- 替换器选项

- 替换器API信息

- 实用技巧:如何更改默认值、滑块的最大值,以及如何获取修复模型

待办事项:

  • ☑️ 缓存遮罩
  • ☑️ 批量处理
  • ☑️ "应用高分辨率修复"按钮
  • ☑️ 附加选项
  • ☑️ 进度条 + 中断
  • ☑️ 自动传递到高分辨率修复的选项
  • ☑️ ControlNet
  • ☑️ 将前一帧传递到ControlNet用于视频
  • 平铺VAE
  • ☑️ "隐藏segment anything扩展"选项
  • ☑️ txt2img脚本
  • 更多视频和遮罩输入类型
  • RIFE帧插值
  • 允许多个实例(预设)

小待办事项:

  • 将高分辨率修复参数添加到元数据中
  • FreeInit支持
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号