ComfyUI-PhotoMaker-ZHO 项目介绍
项目概述
ComfyUI-PhotoMaker-ZHO 是一个非官方实现,旨在将 PhotoMaker 的功能与 ComfyUI 相结合。该项目提供了一个强大的工具,使用户能够在本地或通过 huggingface hub 方便地加载和处理模型,以生成风格多样的图像。这一工具不仅支持多批次处理,还兼容多种图像风格与提示词输入,极大地方便了用户的创作。
主要功能
基础模型加载
- 自动下载模型:可直接从 huggingface hub 下载指定名称的模型,例如:SG161222/RealVisXL_V3.0。
- 本地模型加载:支持加载 SDXL 系列的本地模型。
PhotoMaker Adapter 模型加载
- 可从 huggingface hub 或本地路径加载 PhotoMaker Adapter 模型,通过输入 photomaker-v1.bin 文件路径来实现。
图像参考处理
- 直接模式:允许接入单张或多张参考图像。
- 路径模式:自动读取指定路径中的所有图像。
Lora 模型加载
- 支持加载本地 lora 模型,并可进行权重调节。
提示词与风格
- 兼容多种提示词(如肖像大师)和 styler,支持输入正负提示词。
- 提供 10 种官方风格选项,例如:Cinematic、Disney Charactor、Digital Art 等。
PhotoMaker 图像生成
- 参数设置:包括生成数量、风格强度、步数、提示词相关度、生成图像的宽高、种子值等。
- 默认步数为 50 步,但通过 SDXL 模型可优化至 30 步,即能生成高质量图片。
安装与使用
手动安装方法
- 使用命令行进入 custom_nodes 目录。
- 克隆项目仓库:
git clone https://github.com/ZHO-ZHO-ZHO/ComfyUI-PhotoMaker.git
- 进入项目目录:
cd ComfyUI-PhotoMaker
- 安装依赖:
pip install -r requirements.txt
- 重启 ComfyUI 以应用更改。
更新日志
- 2024年1月22日:添加 Disney-Character: PhotoMaker + DragNUWA 工作流。
- 2024年1月21日:修复 bfloat16 bug。
- 2024年1月20日:补充基础工作流。
- 随后更新:增加 V2.5 版本支持,包括 lora 模型、多图生成与提示词兼容。
性能实测
在版本 V2.0 中,生成速度提升至 3 倍。在 A100 机器上,50 步仅需 7 秒,而在 V1.5 时相同任务需 23 秒。
社区与支持
如有任何问题或需要帮助,可以通过邮件 zhozho3965@gmail.com 或加入 QQ 群 839821928 联系作者,也可以通过 Bilibili 等社交平台支持作者的进一步开发。
致谢
特别感谢 @erLin 的技术支持,帮助解决了 ComfyUI 在图像张量 Shape (N, H, W, C) 上的 bug。
以上是 ComfyUI-PhotoMaker-ZHO 项目的详细介绍。这一工具为图像生成和风格转换提供了强大而便捷的解决方案,是创意设计者的理想选择。