#ViT

此项目实现了多种Transformer架构，包括seq2seq、仅编码器、仅解码器和统一模型，旨在提高编程技能并提供深度学习参考。特色包括多种Attention模块、位置嵌入和采样方法，当前进展是实现DINO模型。项目受到多个开源项目的启发和支持。

HistoSSLscaling项目开发了基于掩码图像建模的自监督学习方法，用于病理组织图像分析。该项目的Phikon模型在4000万张全癌种病理切片上预训练，在多项下游任务中表现出色。项目提供了预训练模型、代码和数据集特征，为计算病理学研究提供支持。

ViT图像分类模型在ImageNet-21k上训练并在ImageNet-1k上微调，采用数据增强和正则化，适用于图像识别和特征提取。模型包含88.2M参数，通过PyTorch实现，支持多种应用场景。

该模型结合ResNet与Vision Transformer（ViT）的特点，专用于图像分类。最初在ImageNet-21k上训练，后在ImageNet-1k上微调，并在JAX中创建，由Ross Wightman移植到PyTorch环境中。模型采用了36.5M参数和27.7M激活，针对384x384图像进行了优化，通过增强和正则化技术提升了处理复杂图像任务的能力，适用于多种图像识别应用。

这是一个基于Vision Transformer架构的图像特征提取模型，采用DINOv2自监督学习方法在LVD-142M数据集上预训练。模型包含3.044亿参数，支持518x518像素输入，适用于图像分类和特征提取任务。该模型提供了完整的加载、预处理和推理示例代码，可应用于需要高质量视觉特征表示的各种计算机视觉场景。