Github
Huggingface
论文项目简介
Stable Cascade是由Stability AI开发的一款全新的文本生成图像模型，它基于Würstchen架构，是一个具有革新性的AI图像生成项目。这个项目最大的特点是使用了更小的潜在空间来处理图像，这让它在运行速度和训练成本方面都有显著优势。
技术特点
相比于Stable Diffusion使用8倍的压缩比（将1024x1024的图像压缩到128x128），Stable Cascade实现了42倍的压缩比，能够将1024x1024的图像压缩到24x24的尺寸，同时还能保持清晰的图像重建质量。这种高压缩比使得模型在训练成本上比Stable Diffusion 1.5节省了约16倍。
模型架构
Stable Cascade由三个主要组件构成：
- Stage A：负责初始图像压缩（约2000万参数）
- Stage B：进一步压缩处理（可选700M或15亿参数版本）
- Stage C：根据文本提示生成图像（可选10亿或36亿参数版本）
性能评估
根据人工评估结果，Stable Cascade在提示词对齐度和美学质量方面都优于其他主流模型。在30步推理的情况下，它的表现超过了：
- Playground v2（50步推理）
- SDXL（50步推理）
- SDXL Turbo（1步推理）
- Würstchen v2（30步推理）
实用价值
该模型特别适合对效率要求较高的场景应用。它支持多种扩展功能：
- 微调训练
- LoRA适配
- ControlNet控制
- IP-Adapter接入
- LCM优化等
使用限制
模型目前主要用于研究目的，适用于：
- 生成模型研究
- 模型安全部署研究
- 艺术创作和设计
- 教育工具开发
但需注意以下限制：
- 人脸和人物生成可能存在不准确
- 图像自动编码过程会有一定损失
- 不应用于生成事实性或真实性内容
部署要求
使用bfloat16数据类型需要PyTorch 2.2.0或更高版本。如果无法满足该要求，用户可以使用float16数据类型，并下载完整精度或bf16变体权重后转换为float16格式使用。
