ComfyUI InstantID(原生支持)
与其他已有扩展不同,本扩展不使用 diffusers,而是原生实现 InstantID,并与 ComfyUI 完全集成。
赞助
如果您喜欢我的工作并希望看到更新和新功能,请考虑赞助我的项目。
更不用说文档和视频教程了。例如,查看我在 YouTube 上的 ComfyUI 高级理解 视频,第1部分和第2部分
保持代码开源和免费的唯一方法是赞助其开发。赞助越多,我就能投入更多时间到我的开源项目中。
请考虑 Github 赞助 或 PayPal 捐赠(Matteo "matt3o" Spinelli)。对于 50 美元以上的赞助,如果您希望在此 readme 文件中被提及,可以在 Discord 上或通过 matt3o :snail: gmail.com 联系我。
重要更新
-
2024/02/27: 在负面嵌入中添加了噪声注入。
-
2024/02/26: 修复了一个小但严重的错误。结果会有所不同,您可能需要降低 CFG。
-
2024/02/20: 我重构了节点,希望它们更易于使用。这是一个破坏性更新,之前的工作流将不再有效。
基本工作流
在 examples
目录中,您可以找到一些基本工作流。
视频教程
** :movie_camera: InstantID 功能介绍**
安装
将 ComfyUI 更新到最新版本!
下载或 git clone
此仓库到 ComfyUI/custom_nodes/
目录,或使用管理器。
InstantID 需要 insightface
,您需要将其与 onnxruntime
和 onnxruntime-gpu
一起添加到您的库中。
InsightFace 模型是 antelopev2(不是经典的 buffalo_l)。下载模型(例如从这里或这里),解压并放置在 ComfyUI/models/insightface/models/antelopev2
目录中。
主要模型可以从 HuggingFace 下载,应放置在 ComfyUI/models/instantid
目录中。(注意该模型被称为 ip_adapter,因为它基于 IPAdapter)。
您还需要一个 controlnet,将其放在 ComfyUI controlnet 目录中。
请记住,目前这仅适用于 SDXL。
水印!
训练数据中充满了水印,为避免它们出现在您的生成中,请使用稍微不同于 1024×1024(或标准尺寸)的分辨率,例如 1016×1016 效果很好。
降低 CFG!
将 CFG 降低到至少 4/5 很重要,或者您可以使用 RescaleCFG
节点。
面部关键点
人物姿势基于参考图像生成的关键点。您可以通过向 image_kps
输入发送图像来使用不同的姿势。
噪声注入
默认的 InstantID 实现似乎真的会烧毁图像,我发现通过向负面嵌入注入噪声,我们可以缓解这种效果,并增加与参考的相似度。默认的 Apply InstantID 节点自动注入 35% 的噪声,如果您想微调效果,可以使用高级 InstantID 节点。
这仍然是实验性的,将来可能会改变。
额外的 Controlnets
您可以在生成中添加更多的 controlnets。提供了深度 controlnet 的示例工作流。
使用 IPAdapter 进行样式设计
可以使用 IPAdapter 为构图设计样式。提供了一个示例。
多重 ID
支持多重 ID,但工作流有点复杂,生成速度较慢。我会检查是否能找到更好的方法。在示例目录中提供了"黑客式"工作流。
高级节点
有一个 InstantID 高级节点可用,目前与标准节点的唯一区别是您可以分别设置 instantID 模型和 controlnet 的权重。现在还包括噪声注入选项。这可能有助于微调。
instantID 模型影响约 25% 的构图,其余部分是 controlnet。
噪声有助于减少"烧毁"效果。
其他说明
它与 SDXL Turbo/Lighting 配合得很好。社区检查点效果最佳。
当前赞助商
正是由于慷慨的赞助商,整个社区才能享受开放和免费的软件。请与我一起感谢以下公司和个人!
金牌赞助商
支持我项目的公司
- RunComfy(ComfyUI 云)
尊敬的个人
一次性特别赞助
- Eric Rollei
- francaleu
- Neta.art
- Samwise Wang
- 以及所有私人赞助商,你们知道你们是谁!