#Vision Transformer

探索视觉变换器和注意力机制的最新发展，包括由Min-Hung Chen持续更新的论文、代码与链接资源。适合学术与实际应用，发现创新思路。

MultiModalMamba 是一个结合 Vision Transformer 和 Mamba 的高性能多模态 AI 模型，基于简洁强大的 Zeta 框架。它可以同时处理文本和图像数据，适用于各种 AI 任务，并支持定制化设置。MultiModalMamba 提供高效数据处理和多种数据类型融合，优化您的深度学习模型表现。

PIXEL是一个将文本渲染为图像进行语言处理的模型，消除了固定词汇表的需求。在同样的数据上，PIXEL在非拉丁脚本的语法和语义处理上优于BERT。PIXEL由文本渲染器、编码器和解码器组成，采用ViT-MAE技术实现图像级语言模型。用户可以通过Gradio演示体验PIXEL，并查看预训练和微调指南。未来将提供渲染指南、优化模型及HuggingFace transformers的集成。

本项目展示了如何在PyTorch中实现和使用视觉Transformer（ViT）模型，包括Simple ViT、NaViT、Distillation、Deep ViT等多种变体。利用基于Transformer架构的简单编码器，本项目在视觉分类任务中达到了先进水平。用户可以通过pip进行安装，并参考提供的代码示例进行模型加载和预测。项目还支持高级功能如知识蒸馏、变分图像尺寸训练和深度模型优化，适用于多种视觉任务场景。

DINOv2是一种先进的无监督视觉特征学习方法,在1.42亿张未标注图像上预训练后生成高性能、鲁棒的通用视觉特征。这些特征可直接应用于多种计算机视觉任务,仅需简单线性分类器即可实现优异效果。DINOv2提供多种预训练模型,包括带寄存器的变体,在ImageNet等基准测试中表现卓越。

项目包含多种视觉Transformer(ViT)和MLP-Mixer模型实现,提供ImageNet和ImageNet-21k预训练模型及JAX/Flax微调代码。通过交互式Colab笔记本可探索5万多个模型检查点。这些高性能图像分类模型代表了计算机视觉的前沿进展。

ViT-Prisma是一个专注于Vision Transformer和CLIP模型的开源机制解析库。它提供logit归因、注意力可视化和激活修补等技术，用于深入分析模型内部机制。该库还包含ViT训练代码和预训练模型，支持ImageNet-1k和dSprites分类任务。ViT-Prisma为视觉模型可解释性研究提供了实用的工具集。

GeoSeg是一个开源的遥感图像语义分割工具箱,基于PyTorch等框架开发。它专注于先进视觉Transformer模型,支持多个遥感数据集,提供统一训练脚本和多尺度训练测试功能。项目实现了Mamba、Vision Transformer和CNN等多种网络架构,为遥感图像分割研究提供统一基准平台。

QFormer是一种创新的视觉Transformer模型，采用四边形注意力机制替代传统窗口注意力。该模型通过可学习的四边形回归模块，将默认窗口转换为目标四边形进行计算，从而更好地建模不同形状和方向的目标。在图像分类、目标检测、语义分割和人体姿态估计等多项视觉任务中，QFormer在保持低计算成本的同时，性能显著优于现有的视觉Transformer模型。

LViT是一种创新的医学图像分割方法，融合了语言信息和视觉Transformer。该技术在QaTa-COV19、MosMedData+和MoNuSeg等多个数据集上展现出优异性能，大幅提升了分割精度。项目包含完整代码实现、数据准备指南、训练评估流程及详细实验结果。除常规任务外，LViT在结肠息肉和食管CT等特定领域分割中也表现出色。

本项目整理了Transformer模型在医学图像分析中的最新研究进展。内容涵盖图像分类、分割、重建、合成等多个领域,系统地归纳和分类了相关论文。项目提供了医学图像分析中Transformer应用的分类体系,详细的参考文献,以及开源代码库链接,为研究人员提供了全面的学习和实践资源。

变形大核注意力(D-LKA Attention)是一种新型医学图像分割方法。它通过大型卷积核高效处理图像数据，并使用可变形卷积适应不同数据模式。该方法有2D和3D两个版本，尤其是3D版本在处理跨层数据时表现优异。基于此技术开发的D-LKA Net架构在多个医学分割数据集上的表现超过了现有方法，展现了其在医学图像分析领域的潜力。

CellViT是一种基于Vision Transformer的深度学习方法,用于数字化组织样本中的细胞核自动实例分割。该项目结合了预训练的Vision Transformer编码器和U-Net架构,在PanNuke数据集上取得了领先性能。通过引入加权采样策略,CellViT提高了对复杂细胞实例的识别能力。它能够快速处理千兆像素级全切片图像,并可与QuPath等软件集成,为后续分析提供定位化的深度特征。

ViT图像分类模型结合增强与正则化技术，基于ImageNet-21k训练后在ImageNet-1k微调。模型通过JAX进行训练并移植至PyTorch，拥有22.2M参数和384x384图像输入，展示了12.4 GMACs的高效性。适用于图像分类与特征提取，在视觉识别和嵌入生成中表现出色。

DINOv2方法无监督预训练的Vision Transformer，适用于影像特征学习增强场景。此小尺寸模型能在ImageNet-1k数据集上执行分类任务，通过提取特征来辅助下游任务。尽管模型未包含微调头，但可附加线性层进行标准分类，适合高精度视觉特征需求的应用。

vit-tiny-patch16-224是一个轻量级视觉transformer模型，专注于图像分类任务。这个模型采用16x16的patch大小和224x224的输入分辨率，在保持分类准确性的同时大幅降低了计算资源需求。其小型结构使其特别适合在资源受限环境中使用或需要快速推理的场景。值得注意的是，该模型是基于Google的ViT架构，由第三方研究者使用timm仓库的权重进行转换和发布。

该项目介绍了使用DINOv2方法的Vision Transformer（ViT）模型，通过无监督学习在LVD-142M数据集上进行预训练。这一模型适用于图像分类和嵌入，帮助提取稳健的视觉特征以及实现高效的图像识别。ViT模型的参数量为1136.5M和1784.2 GMACs，显现出其出色的性能和灵活性。用户可以在GitHub查看和下载该模型的代码和更多资源。

该项目利用Vision Transformer (ViT) 和自监督DINO方法进行图像特征提取，支持图像分类和嵌入应用。模型在ImageNet-1k数据集上进行了预训练，具有85.8M参数，能够处理224 x 224分辨率的图像。由于其参数利用效率高，该模型在大规模数据集上表现良好，适合精确特征提取的视觉任务，增强图像识别及分析能力。通过`timm`库可轻松实现模型调用和图像处理，满足多种计算机视觉应用需求。

该Vision Transformer模型专用于图像分类，最初在ImageNet-21k上进行扩展和正则化训练，并在ImageNet-1k上进行微调。由原作者使用JAX开发，后移植至PyTorch框架。模型的显著特点包括支持384x384图像尺寸，参数量达到304.7M，提升图像识别的准确性。该模型简化了图像分类和图像嵌入生成的过程。高效的数据增强和正则化策略进一步提升了模型性能，是计算机视觉研究与应用的有效工具。

Vision Transformer (ViT)模型通过DINO方法进行的自监督训练在ImageNet-1k数据集上预训练，注重提升图像特征提取，无需微调即可应用于图像分类，兼顾多种下游任务。可根据任务需求选择合适的微调版本。

vit_tiny_patch16_224.augreg_in21k_ft_in1k是一个轻量级Vision Transformer模型，专为图像分类和特征提取而设计。该模型在ImageNet-21k上预训练，并在ImageNet-1k上微调，采用了增强的数据增强和正则化技术。它拥有570万参数，能处理224x224尺寸的图像，在保持高效性能的同时提供准确的视觉分析能力。

这是一个基于Vision Transformer架构的图像特征提取模型。该模型采用DINOv2自监督学习方法，在LVD-142M数据集上预训练，拥有2210万参数，支持处理518x518尺寸的图像。模型可应用于图像分类和特征提取任务，并提供了相关的使用示例代码。作为一个无监督学习的视觉模型，它能够提取稳健的图像特征表示。

dino-vits16是一个基于DINO方法训练的小型Vision Transformer模型。该模型在ImageNet-1k数据集上进行自监督预训练，能够有效学习图像特征表示。它采用16x16像素的图像块作为输入，可应用于多种视觉任务。dino-vits16展示了自监督学习在计算机视觉领域的潜力，为图像分类等下游任务奠定了基础。

本模型结合ResNet与Vision Transformer优势，在大规模ImageNet-21k数据集上预训练，并在ImageNet-1k上微调，实现高效准确的图像分类。具备9900万参数，支持384x384像素输入，可用于分类任务和特征提取。研究人员可通过timm库轻松应用此模型，进行推理或深入研究。

vit_base_patch14_dinov2.lvd142m是基于Vision Transformer架构的图像特征提取模型，采用DINOv2自监督方法在LVD-142M数据集上预训练。模型包含8660万参数，支持518x518像素输入，可用于图像分类和特征提取。该模型无需监督即可学习视觉特征，性能出色。研究者可通过timm库便捷使用此预训练模型。

该模型是在ImageNet-21k数据集(1400万图像,21843类别)上预训练的大型Vision Transformer (ViT)。它采用Transformer架构,将224x224分辨率的图像分割成16x16的patch序列进行处理。模型可提取强大的图像特征,适用于分类等多种下游视觉任务。用户可直接用于图像嵌入或在特定任务上微调。

vit_base_patch8_224.augreg2_in21k_ft_in1k是一个基于Vision Transformer架构的图像分类模型。该模型在ImageNet-21k上预训练，并在ImageNet-1k上微调，采用了增强的数据增强和正则化技术。模型包含8665万个参数，支持224x224像素的输入图像，可用于图像分类和特征提取。通过timm库，用户可以便捷地加载和使用该模型进行推理或继续训练。

vit_base_patch16_224.dino是一个基于Vision Transformer架构的图像特征提取模型。该模型采用自监督DINO方法在ImageNet-1k数据集上预训练，可用于图像分类和特征提取。模型包含8580万参数，支持224x224像素的输入图像。通过timm库，研究人员可以便捷地将其应用于多种计算机视觉任务，深入探索自监督学习在视觉领域的潜力。

vit_small_patch16_224.dino是一个采用DINO自监督方法训练的小型Vision Transformer模型。该模型拥有2170万参数，支持224x224像素图像输入，可用于图像分类和特征提取。通过timm库可快速部署，在ImageNet-1k数据集预训练后，为多种计算机视觉任务提供高质量的特征表示。

vit_base_patch16_224.mae是一个基于Vision Transformer架构的图像特征模型，通过自监督掩码自编码器(MAE)方法在ImageNet-1k数据集上预训练。该模型适用于图像分类和特征提取，拥有8580万参数，处理224x224像素的输入图像。它提供简洁的API，便于获取分类结果和提取图像嵌入。这个模型融合了ViT的出色表征能力和MAE的自监督学习优势，为多种计算机视觉任务提供了有力的预训练基础。

DeiT是一种高效训练的视觉Transformer模型,在ImageNet-1k数据集上预训练和微调。采用创新的数据高效方法,以较少计算资源实现出色图像分类性能。支持224x224分辨率输入,Top-1准确率达81.8%。可直接用于图像分类或作为下游视觉任务的特征提取器。该模型在保持ViT架构优势的同时,显著提高了训练效率和分类精度。

Data-efficient Image Transformer（DeiT）小型模型在ImageNet-1k上经过预训练和微调。该模型通过高效的预训练方法和识别精确的标签蒸馏技术实现了性能与效率的平衡。DeiT-small在ImageNet中实现79.9%的top-1准确率，支持PyTorch平台，适合图像分类任务，并可以通过ViTModel或ViTForImageClassification进行应用。

Vision Transformer (ViT)模型采用MAE方法预训练，通过随机遮蔽75%图像块实现自监督学习。该模型能有效捕捉图像内在表示，适用于图像分类等多种计算机视觉任务。研究人员可利用其预训练编码器提取特征或进行微调，以满足特定应用需求。

OpenAI开发的视觉变压器(ViT)模型在WIT-400M图像文本对上通过CLIP进行预训练，并在ImageNet-12k和ImageNet-1k上微调，适用于图像分类与特征嵌入生成。模型运行在timm库中，具有高参数量与计算效率，适用于高精度图像识别，支持实时与批量处理应用。

该模型基于Vision Transformer架构，在LAION-2B数据集上预训练，随后在ImageNet-12k和ImageNet-1k上微调。模型接受384x384像素的输入图像，包含8690万个参数。除图像分类外，还可用于生成图像特征嵌入。通过timm框架实现，提供灵活配置和简便使用，适用于多种计算机视觉任务。

这款视觉Transformer图像分类模型由OpenAI基于WIT-400M数据集使用CLIP技术预训练，并经过ImageNet-12k和ImageNet-1k数据集微调。作为一种强大的图像分类和嵌入模型，其参数量达88.3M，计算量为12.7 GMACs，设计用于384x384图像。支持通过`timm`库接口调用，满足多种视觉任务需求，在图像识别和分析领域表现出稳定性能。