访问官网
Github
Huggingface
文档
论文项目介绍
CLIP-convnext_base_w-laion2B-s13B-b82K是一个基于ConvNeXt-Base架构的CLIP模型,由LAION团队开发。该项目旨在探索除ViT和ResNet之外的替代方案,以实现更好的模型规模和图像分辨率扩展性能。
模型特点
这是首个在大规模数据集上训练的ConvNeXt CLIP模型,其性能可与CLIP ViT-B/16和RN50x4模型相媲美。该模型还首次尝试通过增加数据增强和正则化来提升图像塔的性能。
模型使用timm库中的convnext_base作为图像编码器,文本编码器与OpenAI CLIP的RN50x4模型相同。基础模型在256x256分辨率下训练,与RN50x4模型的FLOP和激活数相当。带"320"的模型则在320x320分辨率下训练。
训练细节
所有模型均在LAION-2B或LAION-Aesthetic数据集上训练,总样本量约13B。训练采用81920的全局批次大小,历时64个检查点间隔。
模型在ImageNet零样本分类任务上的top-1准确率均超过70.8%。相比之下,ViT-B/16模型在34B样本后达到70.2%,这表明ConvNeXt架构在该规模下可能更具样本效率。
使用场景
该模型主要面向研究人员,可用于零样本图像分类、图像和文本检索等任务。它还可以用于下游任务如图像分类微调、线性探针分类、图像生成引导等。
局限性
该模型目前不建议用于任何部署场景,特别是在未经充分测试的情况下。它也不适用于监视和人脸识别等领域。由于仅在英语数据上训练和评估,因此使用应限于英语场景。
总的来说,CLIP-convnext_base_w-laion2B-s13B-b82K项目为大规模多模态模型研究提供了宝贵的资源,但在实际应用中仍需谨慎对待其潜在影响。
