项目简介
Inpaint Anything 是由国内团队开源的、可以修复图像、视频和3D 场景中内容的工具。
用户可以通过点击来选择图像中的任何对象，借助强大的视觉模型，例如SAM、LaMa和Stable Diffusion (SD)，Inpaint Anything能够平滑地移除对象（即Remove Anything）。此外，在用户输入文本的提示下，Inpaint Anything 可以用任何所需的内容填充对象（即Fill Anything）或任意替换其背景（即Replace Anything）。
技术亮点
- 支持任意纵横比
- 支持2K分辨率
- 可用arXiv 技术报告
- 可用于网站
- 可用本地网络用户界面
- 支持多种模式（即图像、视频和 3D 场景）
功能一、删除任何物体
点击图像中的某个对象，“修复任何内容”将立即将其删除！
- 点击一个对象；
- 分段任意模型(SAM) 将对象分段；
- 修复模型（例如，LaMa）填补了“漏洞”。
功能二、填充任何物体
点击一个对象，输入您想要填充的内容，Inpaint Anything 就会填充它！
- 单击一个对象；
- SAM将对象分割出来；
- 输入文字提示；
- 文本提示引导的修复模型（例如，稳定扩散）根据文本填充“洞”。
功能三、替换任何物体
点击一个对象，输入您要替换的背景，Inpaint Anything 将替换它！
- 单击一个对象；
- SAM将对象分割出来；
- 输入文字提示；
- 文本提示引导的修复模型（例如，稳定扩散）根据文本替换背景。
功能四、删除任何3D内容
只需点击源视图第一个视图中的对象，Remove Anything 3D 就可以从整个场景中删除该对象！
- 单击源视图第一个视图中的对象；
- SAM将对象分割出来（使用三种可能的掩码）；
- 选择一个mask；
- 利用诸如OSTrack之类的跟踪模型来跟踪这些视图中的对象；
- SAM根据跟踪结果将每个源视图中的对象分割出来；
- 利用LaMa等修复模型来修复每个源视图中的对象。
- 利用NeRF等新颖的视图合成模型来合成没有对象的场景的新颖视图。
功能五、删除任何视频
