#零样本图像分类

Chinese-CLIP项目，基于大规模中文图文对数据，专门针对中文领域的特点进行优化，提供高效的图文特征计算与相似度测算，实现零样本分类和跨模态检索。该项目改进了多个模型，包括ViT与ResNet结构，并在多个公开数据集上展示了显著的性能提升，为中文处理场景下的企业和研究者提供强大工具。

ViT-SO400M-14-SigLIP-384是一个在WebLI数据集上训练的大规模视觉-语言预训练模型。该模型采用SigLIP（Sigmoid Loss for Language-Image Pre-training）技术，适用于对比学习和零样本图像分类任务。模型提供了与OpenCLIP和timm库的兼容性，支持图像和文本编码。研究人员可将其应用于图像分类、检索等多种视觉-语言任务中。

MetaCLIP-b32-400m是基于CommonCrawl数据集训练的视觉语言模型，旨在解析CLIP的数据准备方法。该模型构建了图像和文本的共享嵌入空间，支持零样本图像分类和基于文本的图像检索等功能。研究人员可通过此模型探究CLIP的数据处理流程，加深对视觉语言模型训练过程的理解。

这是一系列基于LAION-5B数据集训练的CLIP ConvNeXt-Base模型。经过13B样本训练后，模型在ImageNet零样本分类中实现了70.8%以上的Top-1准确率，显示出比ViT-B/16更高的样本效率。模型使用timm的ConvNeXt-Base作为图像塔，并探索了增强图像增强和正则化的效果。作为首个在CLIP ViT-B/16和RN50x4规模下训练的ConvNeXt CLIP模型，它为零样本图像分类研究提供了新的选择。

CLIP ConvNeXt-XXLarge是基于LAION-2B数据集训练的大规模视觉-语言模型。它在ImageNet零样本分类任务中实现79.4%的准确率,成为首个非ViT架构突破79%的CLIP模型。该模型结合847M参数的ConvNeXt-XXLarge图像塔和ViT-H-14规模的文本塔,在计算效率和性能间达到平衡,为视觉-语言模型研究开辟新方向。

ViT-L-14-CLIPA-datacomp1B是一个基于CLIPA-v2架构的视觉-语言模型，在datacomp1B数据集上训练。该模型采用对比学习方法，能够进行零样本图像分类，在ImageNet上实现81.1%的准确率。通过OpenCLIP库，用户可以方便地进行图像和文本的特征编码。这个模型不仅性能优异，还具有训练成本低的特点，为计算机视觉研究提供了新的发展方向。

MobileCLIP-S2-OpenCLIP是一款基于多模态强化训练的高效图像-文本模型。相比SigLIP的ViT-B/16模型，它在性能上有所超越，同时速度提升2.3倍，模型体积缩小2.1倍，且仅使用了1/3的训练样本。在ImageNet零样本分类任务中，该模型达到74.4%的Top-1准确率，在38个数据集上的平均性能为63.7%，体现了出色的效率与性能平衡。

模型以WebLI数据集进行训练，兼容OpenCLIP与timm库，支持图像与文本的任务。通过SigLIP方法增强语言与图像的预训练能力，实现零样本图像分类。该模型由JAX格式转为PyTorch，更易集成至现有机器学习流程，具备多平台适应性。

SigLIP通过sigmoid损失函数优化了CLIP模型的图像和文本匹配性能。此模型在WebLi数据集上预训练，可实现更大的批量训练，同时在小批量下表现出色。适用于零样本图像分类和图像文本检索任务，能在不同环境下获得高效结果。该模型在16个TPU-v4芯片上训练三天，而图像预处理中使用标准化和归一化，提升了计算效率。

CLIP ViT-B/16模采用DataComp-1B数据集训练，并结合OpenCLIP工具，旨在促进研究者对零样本图像分类的理解。该模型在ImageNet-1k数据集上实现了73.5%的零样本准确率，展示了其在多领域研究中的潜力和挑战。由于数据集仍未完全筛选，建议仅限于学术研究使用。