ComfyUI_ExtraModels: 为ComfyUI添加更多强大的图像生成模型支持
ComfyUI作为一个流行的Stable Diffusion图形用户界面,以其灵活的节点式设计而广受欢迎。然而,默认的ComfyUI仅支持有限的几种模型。为了进一步扩展ComfyUI的功能,让更多先进的图像生成模型能够在ComfyUI中使用,一个名为ComfyUI_ExtraModels的项目应运而生。本文将详细介绍这个项目的安装、使用方法以及它所支持的各种模型类型。
项目简介
ComfyUI_ExtraModels是一个由GitHub用户city96开发的开源项目,旨在为ComfyUI添加各种不同的图像扩散模型支持。截至目前,该项目已经支持了PixArt、DiT、HunYuan DiT、MiaoBi等多种先进模型,大大扩展了ComfyUI的功能范围。
安装方法
要安装ComfyUI_ExtraModels,您需要按照以下步骤操作:
- 打开命令行,进入到ComfyUI的安装目录。
- 运行以下命令将项目克隆到custom_nodes文件夹中:
git clone https://github.com/city96/ComfyUI_ExtraModels custom_nodes/ComfyUI_ExtraModels
- 安装所需的依赖项。如果您使用的是虚拟环境或conda环境,请确保先激活该环境,然后运行:
pip install -r requirements.txt
对于使用ComfyUI独立版本的用户,安装过程略有不同:
- 在ComfyUI_windows_portable目录下打开PowerShell窗口。
- 运行以下命令克隆仓库:
git clone https://github.com/city96/ComfyUI_ExtraModels .\ComfyUI\custom_nodes\ComfyUI_ExtraModels
- 安装依赖项:
.\python_embeded\python.exe -s -m pip install -r .\ComfyUI\custom_nodes\ComfyUI_ExtraModels\requirements.txt
.\python_embeded\python.exe -s -m pip install bitsandbytes --prefer-binary --extra-index-url=https://jllllll.github.io/bitsandbytes-windows-webui
安装完成后,您就可以在ComfyUI中使用这些额外的模型了。
支持的模型类型
ComfyUI_ExtraModels目前支持以下几种主要的模型类型:
PixArt
PixArt是一种先进的文本到图像生成模型,由PixArt-alpha团队开发。它使用T5文本编码器而不是CLIP,可用于生成512x512和1024x1024分辨率的图像。
使用PixArt模型的步骤:
- 从PixArt alpha仓库下载模型权重文件,推荐使用1024px版本的
PixArt-XL-2-1024-MS.pth
。 - 将权重文件放入ComfyUI的checkpoints文件夹。
- 使用正确的PixArt checkpoint loader加载模型。
- 设置T5v11文本编码器(具体步骤见下文T5部分)。
值得注意的是,PixArt还提供了Sigma版本和LCM版本,它们的使用方法略有不同,请参考项目文档进行正确配置。
](https://private-user-images.githubusercontent.com/125218114/332019881-7a9d6e34-d3f4-4f67-a17f-4f2d6795e54e.png?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3MjU1MjU5MDQsIm5iZiI6MTcyNTUyNTYwNCwicGF0aCI6Ii8xMjUyMTgxMTQvMzMyMDE5ODgxLTdhOWQ2ZTM0LWQzZjQtNGY2Ny1hMTdmLTRmMmQ2Nzk1ZTU0ZS5wbmc_WC1BbXotQWxnb3JpdGhtPUFXUzQtSE1BQy1TSEEyNTYmWC1BbXotQ3JlZ