ComfyUI_stable_fast: 加速AI图像生成的实验性工具

Ray

ComfyUI_stable_fast简介

ComfyUI_stable_fast是一个为ComfyUI开发的实验性项目，旨在通过整合stable-fast和TensorRT技术来大幅提升AI图像生成的速度和效率。该项目由GitHub用户gameltb开发和维护，为AI艺术创作者和开发者提供了一种优化ComfyUI性能的新方法。

主要特性

稳定快速：利用stable-fast技术提高图像生成的稳定性和速度。
TensorRT支持：集成NVIDIA的TensorRT引擎，进一步优化GPU计算性能。
广泛兼容性：支持多种流行的AI模型，如SD1.5、SDXL和SSD-1B等。
灵活配置：提供多种优化选项，适应不同硬件和性能需求。

ComfyUI_stable_fast界面

安装和配置

要使用ComfyUI_stable_fast，您需要按照以下步骤进行安装和配置：

克隆仓库：

git clone https://github.com/gameltb/ComfyUI_stable_fast custom_nodes/ComfyUI_stable_fast

安装依赖：

对于stable-fast，请参考stable-fast安装指南。

对于TensorRT，需要安装以下包：

pip install onnx zstandard onnxscript --upgrade
pip install --pre --upgrade --extra-index-url https://pypi.nvidia.com tensorrt==10.2.0
pip install onnx-graphsurgeon polygraphy --extra-index-url https://pypi.ngc.nvidia.com

配置ComfyUI：
- 使用stable-fast时，建议使用--disable-cuda-malloc参数运行ComfyUI。
- 使用TensorRT时，请使用--disable-xformers --force-fp16 --fp16-vae参数运行ComfyUI。

使用指南

ComfyUI_stable_fast提供了两种主要的优化节点：

Apply StableFast Unet：
- 支持Lora、ControlNet和LCM。
- 适用于SD1.5和SSD-1B模型，SDXL也应该可以工作。
- 建议直接连接到KSampler节点，以避免不必要的重新编译。
Apply TensorRT Unet：
- 提供UNET和UNET_BLOCK两种补丁类型。
- 可以通过调整keep_width、keep_height等参数优化性能。
- 支持为不同模型构建专用引擎。

性能优化技巧

对于重复使用相同模型的情况，考虑启用enable_cuda_graph选项。
在使用TensorRT时，第一次启动可能需要较长时间来构建引擎，但后续使用会显著加快。
合理设置keep_width、keep_height等参数，可以减少引擎重建的次数，提高效率。

性能测试

ComfyUI_stable_fast在不同配置下的性能表现令人印象深刻。以下是在GeForce RTX 3060 Mobile (6GB)上的测试结果：

配置	Stable Fast	TensorRT (UNET)	TensorRT (UNET_BLOCK)	PyTorch	xformers
基础	10.10 it/s	10.95 it/s	10.66 it/s	7.02 it/s	7.90 it/s
FreeU	9.42 it/s	✗	10.04 it/s	6.75 it/s	7.54 it/s
PatchModelAddDownscale	10.81 it/s	✗	11.30 it/s	7.46 it/s	8.41 it/s

这些数据显示，ComfyUI_stable_fast在大多数情况下能够显著提升图像生成的速度，特别是在使用TensorRT时。

适用场景和限制

ComfyUI_stable_fast适用于以下场景：

需要快速生成大量AI图像的项目。
有较高性能GPU但希望进一步提升效率的用户。
对AI图像生成速度有严格要求的专业工作流程。

然而，用户也应该注意到一些限制：

某些高级功能（如FreeU）在使用TensorRT UNET模式时可能不可用。
首次使用TensorRT时，需要较长时间来构建引擎。
在低显存设备上，某些优化可能无法充分发挥作用。

未来展望

ComfyUI_stable_fast项目仍在积极开发中，未来可能会带来更多优化和功能：

改进VAE解码和ControlNet模型的支持。
增加对更多AI模型和ComfyUI节点的兼容性。
进一步优化TensorRT引擎的构建和加载过程。

结语

ComfyUI_stable_fast为AI图像生成领域带来了显著的性能提升，为创作者和开发者提供了更高效的工作流程。虽然仍处于实验阶段，但其潜力已经得到充分展现。随着项目的不断发展和完善，我们可以期待看到更多令人兴奋的优化和功能。对于那些追求极致效率的AI艺术爱好者和专业人士来说，ComfyUI_stable_fast无疑是一个值得关注和尝试的工具。

ComfyUI_stable_fast示例