Github
Huggingface
论文项目介绍：vit_large_patch14_clip_336.openai
项目背景
vit_large_patch14_clip_336.openai是由OpenAI研究团队开发的一款模型，旨在增强计算机视觉任务的稳健性，并测试模型在零样本图像分类任务中的泛化能力。这款模型不是为了通用模型部署而设计的，因此在具体应用中，研究人员需要仔细研究其能力。
模型详细信息
模型结构
该模型利用ViT-L/14（336x336）的Transformer架构作为图像编码器，并使用masked self-attention Transformer作为文本编码器。编码器通过对比损失来最大化图像与文本对之间的相似性。最初的实现有两个变体：一个使用ResNet图像编码器，另一个使用视觉Transformer。当前的版本采用的是视觉Transformer。
模型开发时间
模型开发于2021年1月。
相关文档
模型用途
预期用途
该模型主要供研究社区使用，研究人员可以借助该模型更好地理解和探索零样本和任意图像分类的潜力。它也可能用于跨学科研究，以评估此类模型的潜在影响。
主要的预期用户
主要用户为人工智能研究人员。模型可帮助研究人员更好地理解计算机视觉模型的稳健性、泛化能力等方面的能力、偏见和限制。
超出范围的使用场景
任何商业或非商业的部署应用目前都不在模型的使用范围内。未经充分领域测试的情况下使用该模型进行图像搜索等也是不推荐的，特别是在该模型对于不同类别分类法的表现会有很大变异的情况下。此外，任何属于监控或人脸识别领域的应用，无论模型表现如何，均视为不合适，因这类应用目前缺乏确保公平使用的测试规范。
由于模型未专门在英语以外的语言进行训练或评估，因此应限制在英语语境下使用。
数据来源
模型的训练基于公开的图像与文本标题数据，数据主要来自对一系列网站的爬虫抓取及已存在的图像数据集，如YFCC100M。大部分数据来自互联网爬虫，这意味着数据更能代表互联网最为发达地区的人群和社会。
数据使命声明
我们构建此数据集的目标是测试计算机视觉任务中的稳健性和泛化能力。数据主要来自不同的公开互联网数据源，收集以非干预的方式进行，我们只爬取那些有政策避免暴力和成人图像的网站，并过滤掉此类内容。此数据集不打算用于任何商用或部署模型，我们也不会发布该数据集。
限制
CLIP及我们对此的分析存在一些限制。当前CLIP在精细分类和对象计数等任务表现较弱，此外，关于公平性和偏见的问题在论文和下面简要部分中也有所讨论。此外，我们对CLIP的测试方法存在重要限制，即在很多情况下使用线性探针来评估性能，而有证据表明线性探针可能低估模型性能。
偏见和公平性
我们发现CLIP的性能及其表现出的特定偏见显著依赖于类别设计和类别选择。通过使用Fairface数据集将人脸图像归类为与犯罪相关和非人类动物类别，我们发现种族和性别上存在显著差异。这些差异可能会随着类别构建方式的变化而变化。我们还使用Fairface数据集评估了CLIP在性别、种族和年龄分类上的性能。性别分类准确率在所有种族上均超过96%，‘中东’类别的准确率最高（98.4%），而‘白人’类别的最低（96.5%）。种族分类平均准确率约为93%，而年龄分类约为63%。我们进行此类任务的评估仅为评估模型在不同人群中的表现及潜在风险，而非为了推广或支持此类任务。
