Github
Huggingface
论文项目介绍：vit_large_patch14_clip_224.openai
OpenAI开发的CLIP模型是一个研究项目，旨在了解计算机视觉任务中的鲁棒性（即模型在变化的环境下仍能保持性能的能力），以及测试模型在“零样本”条件下进行图像分类的广泛适应能力。不过，这个模型并不是为广泛部署而设计的；在部署之前，研究人员需要仔细研究其在特定环境下的能力。
模型详情
CLIP模型采用ViT-L/14架构作为图像编码器，同时使用掩码自注意力Transformer作为文本编码器。这些编码器通过对比损失的方式进行联合训练，以提高图像和文本对之间的相似性。该模型有两种变体，一种使用ResNet图像编码器，另一种使用视觉Transformer。在此项目中采用的是视觉Transformer的变体。
模型最初开发于2021年1月，并可以通过timm和OpenCLIP库加载使用。此外，在Hugging Face Transformers上也提供了相应的版本。
模型用途
预期用途
该模型主要作为研究输出供研究界使用。希望通过该模型，研究人员能够更好地理解“零样本”图像分类的鲁棒性和广泛适应能力。同时，CLIP还可以用于跨学科研究，评估此类模型的潜在影响。
主要预期用户
主要面向AI研究人员。我们设想模型将被用于更好地理解计算机视觉模型的鲁棒性、泛化能力、偏见以及限制等方面的问题。
不在预期范围的使用场景
当前模型的任何部署使用场景——不论是否商业用途——都是超出预期范围的。未经测试的图像检索或其他使用应谨慎，因为在未经过全面领域内测试的情况下使用可能会带来风险。特别是那些涉及监控和面部识别的场景，使用人工智能尚未成熟，缺乏确保公平使用的测试规范。
由于该模型仅在英语语言环境下进行了训练和评估，因此其使用应限于英语。
数据
CLIP模型的训练基于公开的图像-文本数据，通过抓取若干网站及利用已有的常用数据集（如YFCC100M）进行数据收集。由于数据主要来源于互联网的爬取，其代表性更偏向于网络连接较多的发展国家和年轻男性用户。
数据使用声明
构建此数据集的目标是测试计算机视觉任务的鲁棒性及可扩展性。因此，重点在于从不同的公共互联网数据源获取大量数据。数据采集过程遵循非干预性原则，仅抓取那些政策上禁止暴力及成人内容的网站，并允许过滤这些内容。我们的目标并不是将此数据集用作任何商业或已部署模型的基础，因此不打算公开发布该数据集。
限制
在CLIP的使用和分析中存在一些限制。CLIP在细粒度分类与物体计数任务上表现不佳。此外，关于公平性和偏见的问题也存在，这些细节在我们的论文中有讨论。此外，评估CLIP性能时使用的线性探针可能低估了模型性能。
偏见与公平性
我们发现，CLIP的性能以及偏见显著依赖于类别设计。通过使用Fairface数据集对图像的分类，我们发现在种族和性别方面存在显著差异，这些差异可能会随着类别构建方式的不同而变化。对种族、性别和年龄分类的测试结果显示，CLIP在不同种族的性别分类精度达到了96%以上，种族分类和年龄分类的精度分别约为93%和63%。这些测试仅作为评估模型表现的手段，并非鼓励进行此类任务。
