访问官网
Github
Huggingface
论文IF-I-M-v1.0项目介绍
项目概述
IF-I-M-v1.0是DeepFloyd和StabilityAI共同开发的一个像素级文本到图像生成模型。它是一个三级级联扩散模型,可以生成具有高度逼真度和语言理解能力的图像。该模型在COCO数据集上实现了6.66的零样本FID-30K分数,超越了当前最先进的模型。
模型架构
IF-I-M-v1.0采用了模块化设计,主要包括以下几个部分:
- 一个冻结的T5文本编码器,用于提取文本嵌入
- 三个级联的像素扩散模块,分别生成64x64、256x256和1024x1024分辨率的图像
- 每个扩散模块采用UNet架构,并增强了交叉注意力和注意力池化机制
模型规模
- 参数量:4亿
- 训练数据:12亿文本-图像对
- 主要支持英语,部分支持其他罗曼语系语言
- 训练硬件:96个A100 GPU
使用方法
该模型已集成到Hugging Face的diffusers库中,可以使用至少14GB显存的GPU运行。使用前需要先接受使用条款,然后可以通过diffusers API加载模型并进行推理。
主要步骤包括:
- 加载所有模型阶段并卸载到CPU
- 获取文本嵌入
- 运行第一阶段生成64x64图像
- 运行第二阶段生成256x256图像
- 运行第三阶段生成1024x1024最终图像
训练过程
训练过程的主要特点包括:
- 使用shifted-center-crop数据增强
- 采用冻结的T5-v1_1-xxl作为文本编码器
- 使用余弦beta schedule进行1000步扩散
- 采用OneCycleLR学习率策略
- 使用AdamW8bit优化器和DeepSpeed-Zero1
许可和使用限制
该模型使用DeepFloyd IF许可协议,仅限非商业研究用途。使用时需要遵守相关规定,包括适当的署名等。
总的来说,IF-I-M-v1.0是一个强大的文本到图像生成模型,在图像质量和语言理解方面都达到了新的水平。它为研究人员提供了一个有价值的工具,可以用于探索AI图像生成的前沿。
