#ViT

TransformerHub

此项目实现了多种Transformer架构，包括seq2seq、仅编码器、仅解码器和统一模型，旨在提高编程技能并提供深度学习参考。特色包括多种Attention模块、位置嵌入和采样方法，当前进展是实现DINO模型。项目受到多个开源项目的启发和支持。

HistoSSLscaling

HistoSSLscaling项目开发了基于掩码图像建模的自监督学习方法，用于病理组织图像分析。该项目的Phikon模型在4000万张全癌种病理切片上预训练，在多项下游任务中表现出色。项目提供了预训练模型、代码和数据集特征，为计算病理学研究提供支持。

vit_base_patch32_224.augreg_in21k_ft_in1k

ViT图像分类模型在ImageNet-21k上训练并在ImageNet-1k上微调，采用数据增强和正则化，适用于图像识别和特征提取。模型包含88.2M参数，通过PyTorch实现，支持多种应用场景。

clip-vit-large-patch14-336

CLIP-ViT-Large-Patch14-336是一个基于Vision Transformer架构的视觉语言预训练模型。该模型采用ViT-Large结构,patch大小14x14,输入图像尺寸336x336。它能同时处理图像和文本信息,适用于图像分类、图文检索等多模态任务。虽然训练数据和具体性能未知,但该模型有潜力在视觉语言任务中取得良好表现。

vit-age-classifier

该项目是一个基于Vision Transformer的人脸年龄分类模型，使用PyTorch框架实现并在FairFace数据集上训练。模型可通过Transformers库加载，对输入的人脸图像进行年龄分类。项目提供了简单的代码示例，展示了如何使用模型进行图像处理和年龄预测。这一工具可应用于人脸分析和计算机视觉领域，为相关研究和应用提供支持。

rorshark-vit-base

rorshark-vit-base是基于google/vit-base-patch16-224-in21k模型微调的图像分类器。该模型采用Vision Transformer架构，在imagefolder数据集上达到99.23%的分类准确率。经过5轮训练，使用Adam优化器和线性学习率调度。虽然在高精度图像分类任务中表现出色，但其具体应用场景和局限性有待进一步研究。

man_woman_face_image_detection

这个开源项目利用Vision Transformer (ViT) 模型实现人脸性别识别，准确率达98.7%。模型基于google/vit-base-patch16-224-in21k进行微调，能够根据人脸图像判断性别。项目展示了优秀的精确度和召回率，为人脸分析和用户画像等应用领域提供了有力支持。

ViT-B-16-SigLIP-512

ViT-B-16-SigLIP-512模型利用SigLIP (Sigmoid loss for Language-Image Pre-training)技术，在WebLI数据集上进行训练。作为一个视觉语言预训练模型，它主要用于零样本图像分类任务。该模型兼容OpenCLIP和timm库，可生成高质量的图像和文本嵌入，为图像分类、检索等计算机视觉和跨模态应用提供基础。

vit_small_patch16_224.augreg_in21k_ft_in1k

vit_small_patch16_224.augreg_in21k_ft_in1k是一个经过ImageNet-21k预训练和ImageNet-1k微调的Vision Transformer模型。它采用额外数据增强和正则化技术，适用于图像分类和特征提取。该模型拥有2210万参数，支持224x224图像输入，可通过timm库轻松加载使用。模型原始在JAX训练，后由Ross Wightman移植至PyTorch，为计算机视觉任务提供了强大的基础工具。