访问官网
Github
Huggingface
论文IF-II-L-v1.0项目介绍
IF-II-L-v1.0是由DeepFloyd团队和StabilityAI共同开发的一款先进的文字生成图像模型。该项目实现了一种新的像素级文字到图像的三级扩散模型，并在真实感和语言理解方面达到了新的技术水平。其出色的效率使其超越了当前大多数先进模型，在COCO数据集上的零样本FID-30K得分达到了6.66。
模型详情
- 开发者： DeepFloyd, StabilityAI
- 模型类型： 像素级文字到图像三级扩散模型
- 级联阶段： 第二阶段（II）
- 参数数量： 12亿个
- 支持语言： 主要支持英语，同时也支持其他一些拉丁语系语言
- 许可协议： DeepFloyd IF 许可协议
- 模型描述： DeepFloyd-IF使用冻结的文本模式和三个像素级的级联扩散模块，通过逐步提高图像的分辨率（64x64, 256x256, 1024x1024）来生成图像。所有阶段都使用基于T5变压器的冻结文本编码器提取文本嵌入，然后输入到增强的UNet架构中，用于交叉注意力和注意力池化。
模型使用
IF模型已集成到🤗 Hugging Face的🧨 diffusers库中，这使得它能够在仅需14 GB VRAM的GPU上运行。
使用该模型前，用户需要接受使用条件：
- 用户需拥有并登录 Hugging Face 账户。
- 接受DeepFloyd/IF-I-XL-v1.0模型卡上的许可。
- 本地安装
huggingface_hub并登录。
模型的运行包括几个步骤，通过依次调用三个阶段的模型完成图像生成。
训练信息
- 训练数据： 使用1.2亿个图文对（基于LAION-A及一些内部数据集），其中测试和验证部分未在任何级联阶段用于训练；验证部分仅用于展示"在线"损失行为。
- 训练程序： IF-II-L-v1.0使用T5编码嵌入对图像从64px向256px的放大。训练过程包括对图像进行中心裁剪和尺寸调整，用噪声的方法进行增量增强，文本提示通过T5文本编码器编码等。
训练过程采用32个8x A100 GPU，模型在2,500,000步训至256x256分辨率。其设置包括OneCycleLR策略，几位的GELU反向激活，AdamW8bit优化器和DeepSpeed-Zero1，并完全冻结T5编码器。
结语
IF-II-L-v1.0这是一个在文字生成图像领域中的创新性项目，通过深度语言理解和分层的扩散过程为用户带来了高效且真实的图片生成体验。该模型实现了在真实感和语言理解方面的突破，是这一领域的先驱和引领者。
