Github
Huggingface
论文项目概述
这个项目是一个基于CLIP模型的大规模计算机视觉和自然语言处理模型，名为CLIP-convnext_xxlarge-laion2B-s34B-b82K-augreg。该模型使用LAION-2B数据集进行训练，是目前最大的已发布的ConvNeXt预训练模型。
技术特点
- 使用timm库中的ConvNeXt-XXLarge作为图像处理模块
- 模型总参数量达到1.2B，其中图像模块847M参数
- 在256x256分辨率图像上进行训练
- 文本处理模块采用与ViT-H-14和ViT-g-14相同的配置(1024维度、16头、24层深度)
- 首次实现了非ViT架构的CLIP模型在ImageNet零样本分类上达到79%以上的准确率
应用场景
- 零样本图像分类
- 图像和文本检索
- 图像分类微调
- 线性探测图像分类
- 图像生成引导和条件控制
训练细节
- 使用LAION-2B数据集(约20亿个英文样本)进行训练
- 全局批量大小为81920
- 训练周期约2个月，处理了约340亿个样本
- 使用多个高性能计算集群进行训练，包括stability.ai集群和JUWELS Booster超级计算机
- 采用bfloat16混合精度训练以提高稳定性
性能表现
- 在ImageNet-1k数据集上的零样本分类准确率达到79.1%-79.4%
- 计算效率优于同等规模的ViT模型
- 在VTAB+等多个基准测试集上表现出色
- 模型尺寸和性能介于ViT-g和ViT-G之间
使用限制
- 仅支持英文场景
- 不建议直接用于商业部署
- 不适用于监控和人脸识别等敏感领域
- 建议仅用于研究目的，在实际应用中需要充分的领域测试
