Github
Huggingface
论文vit-large-patch16-224项目介绍
项目概述
vit-large-patch16-224是一个基于Vision Transformer (ViT)架构的大型图像分类模型。这个模型最初由Dosovitskiy等人在论文《An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale》中提出，并在ImageNet-21k数据集上进行了预训练，然后在ImageNet 2012数据集上进行了微调。
模型特点
这个模型采用了Transformer编码器结构，类似于自然语言处理中的BERT模型。它将输入图像划分为固定大小的补丁（16x16像素），并将这些补丁线性嵌入成序列。模型还在序列开头添加了一个[CLS]标记，用于分类任务，并使用绝对位置编码来保留图像的空间信息。
训练过程
vit-large-patch16-224模型首先在包含1400万张图像和21,843个类别的ImageNet-21k数据集上进行了预训练，分辨率为224x224。随后，它在包含100万张图像和1,000个类别的ImageNet 2012数据集上进行了微调，保持相同的分辨率。
训练过程中，图像被调整到224x224的分辨率，并在RGB通道上进行了均值为(0.5, 0.5, 0.5)、标准差为(0.5, 0.5, 0.5)的归一化处理。模型在TPUv3硬件上进行训练，批量大小为4096，学习率预热步数为10,000步。
应用场景
这个模型主要用于图像分类任务。用户可以直接使用预训练模型进行图像分类，也可以在此基础上进行微调，以适应特定的下游任务。例如，可以在模型的[CLS]标记输出上添加一个线性层，用于特定数据集的分类任务。
使用方法
使用vit-large-patch16-224模型非常简单。以下是一个使用Python代码对COCO 2017数据集中的图像进行分类的示例：
from transformers import ViTFeatureExtractor, ViTForImageClassification
from PIL import Image
import requests
url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
image = Image.open(requests.get(url, stream=True).raw)
feature_extractor = ViTFeatureExtractor.from_pretrained('google/vit-large-patch16-224')
model = ViTForImageClassification.from_pretrained('google/vit-large-patch16-224')
inputs = feature_extractor(images=image, return_tensors="pt")
outputs = model(**inputs)
logits = outputs.logits
predicted_class_idx = logits.argmax(-1).item()
print("Predicted class:", model.config.id2label[predicted_class_idx])
局限性和未来发展
目前，该模型主要支持PyTorch框架。未来可能会增加对Tensorflow和JAX/FLAX的支持。此外，ViTFeatureExtractor的API可能会有所变化。
总的来说，vit-large-patch16-224是一个强大的图像分类模型，它展示了Transformer架构在计算机视觉领域的潜力。随着研究的深入，我们可以期待看到更多基于此模型的创新应用和改进。
