项目介绍:ConvNeXt V2-atto-1k-224
ConvNeXt V2-atto-1k-224是一个由Woo等人在论文《ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders》中介绍的深度学习模型。它是一种纯卷积模型,使用了FCMAE框架在ImageNet-1K数据集上进行预训练,并在224x224分辨率下进行了精调。这个程序首次在其GitHub仓库中发布。
模型描述
ConvNeXt V2是基于卷积神经网络(ConvNet)的强化版本。引入了全卷积的掩码自编码器框架(FCMAE)和一种新型的全局响应归一化层(GRN),大大提高了纯卷积神经网络在各种识别基准上的表现能力。
预期用途及限制
该模型主要用于图像分类任务。用户可以在模型中心中查找针对特定任务进行过微调的版本。
使用方法
下面示例展示如何使用此模型将COCO 2017数据集中的图像分类为1,000个ImageNet类别之一:
from transformers import AutoImageProcessor, ConvNextV2ForImageClassification
import torch
from datasets import load_dataset
dataset = load_dataset("huggingface/cats-image")
image = dataset["test"]["image"][0]
preprocessor = AutoImageProcessor.from_pretrained("facebook/convnextv2-atto-1k-224")
model = ConvNextV2ForImageClassification.from_pretrained("facebook/convnextv2-atto-1k-224")
inputs = preprocessor(image, return_tensors="pt")
with torch.no_grad():
logits = model(**inputs).logits
# model predicts one of the 1000 ImageNet classes
predicted_label = logits.argmax(-1).item()
print(model.config.id2label[predicted_label]),
更多示例可以参考文档。
文献引用
如果需要引用该模型的相关论文,可以使用以下BibTeX格式信息:
@article{DBLP:journals/corr/abs-2301-00808,
author = {Sanghyun Woo and
Shoubhik Debnath and
Ronghang Hu and
Xinlei Chen and
Zhuang Liu and
In So Kweon and
Saining Xie},
title = {ConvNeXt {V2:} Co-designing and Scaling ConvNets with Masked Autoencoders},
journal = {CoRR},
volume = {abs/2301.00808},
year = {2023},
url = {https://doi.org/10.48550/arXiv.2301.00808},
doi = {10.48550/arXiv.2301.00808},
eprinttype = {arXiv},
eprint = {2301.00808},
timestamp = {Tue, 10 Jan 2023 15:10:12 +0100},
biburl = {https://dblp.org/rec/journals/corr/abs-2301-00808.bib},
bibsource = {dblp computer science bibliography, https://dblp.org}
}