探索视觉变换器和注意力机制的最新发展，包括由Min-Hung Chen持续更新的论文、代码与链接资源。适合学术与实际应用，发现创新思路。

DINOv2是一种先进的无监督视觉特征学习方法,在1.42亿张未标注图像上预训练后生成高性能、鲁棒的通用视觉特征。这些特征可直接应用于多种计算机视觉任务,仅需简单线性分类器即可实现优异效果。DINOv2提供多种预训练模型,包括带寄存器的变体,在ImageNet等基准测试中表现卓越。

QFormer是一种创新的视觉Transformer模型，采用四边形注意力机制替代传统窗口注意力。该模型通过可学习的四边形回归模块，将默认窗口转换为目标四边形进行计算，从而更好地建模不同形状和方向的目标。在图像分类、目标检测、语义分割和人体姿态估计等多项视觉任务中，QFormer在保持低计算成本的同时，性能显著优于现有的视觉Transformer模型。

CellViT是一种基于Vision Transformer的深度学习方法,用于数字化组织样本中的细胞核自动实例分割。该项目结合了预训练的Vision Transformer编码器和U-Net架构,在PanNuke数据集上取得了领先性能。通过引入加权采样策略,CellViT提高了对复杂细胞实例的识别能力。它能够快速处理千兆像素级全切片图像,并可与QuPath等软件集成,为后续分析提供定位化的深度特征。

MultiModalMamba 是一个结合 Vision Transformer 和 Mamba 的高性能多模态 AI 模型，基于简洁强大的 Zeta 框架。它可以同时处理文本和图像数据，适用于各种 AI 任务，并支持定制化设置。MultiModalMamba 提供高效数据处理和多种数据类型融合，优化您的深度学习模型表现。

项目包含多种视觉Transformer(ViT)和MLP-Mixer模型实现,提供ImageNet和ImageNet-21k预训练模型及JAX/Flax微调代码。通过交互式Colab笔记本可探索5万多个模型检查点。这些高性能图像分类模型代表了计算机视觉的前沿进展。

LViT是一种创新的医学图像分割方法，融合了语言信息和视觉Transformer。该技术在QaTa-COV19、MosMedData+和MoNuSeg等多个数据集上展现出优异性能，大幅提升了分割精度。项目包含完整代码实现、数据准备指南、训练评估流程及详细实验结果。除常规任务外，LViT在结肠息肉和食管CT等特定领域分割中也表现出色。

PIXEL是一个将文本渲染为图像进行语言处理的模型，消除了固定词汇表的需求。在同样的数据上，PIXEL在非拉丁脚本的语法和语义处理上优于BERT。PIXEL由文本渲染器、编码器和解码器组成，采用ViT-MAE技术实现图像级语言模型。用户可以通过Gradio演示体验PIXEL，并查看预训练和微调指南。未来将提供渲染指南、优化模型及HuggingFace transformers的集成。

ViT-Prisma是一个专注于Vision Transformer和CLIP模型的开源机制解析库。它提供logit归因、注意力可视化和激活修补等技术，用于深入分析模型内部机制。该库还包含ViT训练代码和预训练模型，支持ImageNet-1k和dSprites分类任务。ViT-Prisma为视觉模型可解释性研究提供了实用的工具集。

本项目整理了Transformer模型在医学图像分析中的最新研究进展。内容涵盖图像分类、分割、重建、合成等多个领域,系统地归纳和分类了相关论文。项目提供了医学图像分析中Transformer应用的分类体系,详细的参考文献,以及开源代码库链接,为研究人员提供了全面的学习和实践资源。

本项目展示了如何在PyTorch中实现和使用视觉Transformer（ViT）模型，包括Simple ViT、NaViT、Distillation、Deep ViT等多种变体。利用基于Transformer架构的简单编码器，本项目在视觉分类任务中达到了先进水平。用户可以通过pip进行安装，并参考提供的代码示例进行模型加载和预测。项目还支持高级功能如知识蒸馏、变分图像尺寸训练和深度模型优化，适用于多种视觉任务场景。

GeoSeg是一个开源的遥感图像语义分割工具箱,基于PyTorch等框架开发。它专注于先进视觉Transformer模型,支持多个遥感数据集,提供统一训练脚本和多尺度训练测试功能。项目实现了Mamba、Vision Transformer和CNN等多种网络架构,为遥感图像分割研究提供统一基准平台。

变形大核注意力(D-LKA Attention)是一种新型医学图像分割方法。它通过大型卷积核高效处理图像数据，并使用可变形卷积适应不同数据模式。该方法有2D和3D两个版本，尤其是3D版本在处理跨层数据时表现优异。基于此技术开发的D-LKA Net架构在多个医学分割数据集上的表现超过了现有方法，展现了其在医学图像分析领域的潜力。