#视觉Transformer

GroupMixFormer是一种创新的视觉Transformer模型,引入群组混合注意力(GMA)机制来增强传统自注意力。GMA可同时捕捉不同尺度的token和群组相关性,显著提升模型表征能力。在多项计算机视觉任务中,GroupMixFormer以较少参数实现了领先性能。其中GroupMixFormer-L在ImageNet-1K分类上达到86.2% Top-1准确率,GroupMixFormer-B在ADE20K分割上获得51.2% mIoU,展现出强大潜力。

GiT是一种通用视觉Transformer模型,采用单一ViT架构处理多种视觉任务。该模型设计简洁,无需额外视觉编码器和适配器。通过统一语言接口,GiT实现了从目标检测到图像描述等多任务能力。在多任务训练中,GiT展现出任务间协同效应,性能超越单任务训练且无负迁移。GiT在零样本和少样本测试中表现优异,并随模型规模和数据量增加而持续提升性能。

FastViT是一种采用结构重参数化技术的混合视觉Transformer模型。该模型在ImageNet-1K数据集上实现了准确率和延迟的良好平衡,提供多个变体以适应不同应用场景。FastViT在iPhone 12 Pro上的基准测试显示出优秀的移动端性能。项目开源了预训练模型、训练评估代码和使用文档。

Hiera是一种分层视觉Transformer模型,在图像和视频任务中表现出色,同时保持高效推理。该模型简化了现有Transformer的复杂模块,并通过MAE预训练学习空间偏置,实现了简洁高效的架构。项目提供了模型库、推理示例和基准测试脚本,支持通过PyTorch Hub和Hugging Face Hub使用预训练模型。

LITv2是一种基于HiLo注意力机制的高效视觉Transformer模型。它将注意力头分为两组,分别处理高频局部细节和低频全局结构,从而在多种模型规模下实现了优于现有方法的性能和更快的速度。该项目开源了图像分类、目标检测和语义分割任务的预训练模型和代码实现。

FasterViT是一种创新的视觉transformer模型,采用分层注意力机制高效捕获短程和长程信息。在ImageNet分类任务中,FasterViT实现了精度和吞吐量的新平衡,无需额外训练数据即达到最先进水平。该项目提供多种预训练模型,适应不同计算资源和精度需求,支持任意分辨率输入,为目标检测、分割等下游任务提供灵活选择。

SPViT项目提出了一种单路径自注意力剪枝方法，将预训练ViT模型中的自注意力层剪枝为卷积层，形成混合模型结构。该方法通过权重共享机制降低了模型搜索成本，在减少计算资源消耗的同时保持了模型性能。实验表明，SPViT在多个基准测试中表现良好，为Vision Transformer模型的优化设计提供了新思路。

CLIPSelf项目提出创新自蒸馏方法,使视觉Transformer能进行开放词汇密集预测。该方法利用模型自身知识蒸馏,无需标注数据,提升了目标检测和实例分割等任务性能。项目开源代码和模型,提供详细训练测试说明,为计算机视觉研究提供重要资源。

CrossFormer++是一种创新的视觉Transformer模型，通过跨尺度注意力机制解决了不同尺度对象特征间建立关联的问题。该模型引入跨尺度嵌入层和长短距离注意力等设计，并采用渐进式分组策略和激活冷却层来平衡性能与计算效率。在图像分类、目标检测和语义分割等视觉任务中表现优异，尤其在密集预测任务中效果显著。CrossFormer++为计算机视觉领域提供了一种灵活高效的新型架构。

VideoMAE是一种基于掩码自编码器的视频自监督预训练模型。该模型在Kinetics-400数据集上经过1600轮预训练，采用Vision Transformer架构处理固定大小的视频图像块。VideoMAE不仅可预测被遮挡的视频片段，还能通过微调应用于下游任务。作为视频理解领域的重要进展，它为视频分类等任务提供了强大的特征提取能力。

EVA02模型在ImageNet-22k数据集上通过遮掩图像建模预训练，结合EVA-CLIP作为教师，具有平均池化、SwiGLU等特性，支持图像分类和特征嵌入，参数量为85.8M，适用于224x224图像输入，在复杂视觉任务中表现出色。

YOLOS小型模型经过微调适用于车牌检测，使用5200张图片进行训练，并在380张图片上验证，实现49.0的平均精度。模型支持PyTorch平台，并通过Python代码执行对象检测与边界框预测。其此前版本曾在ImageNet-1k和COCO 2017数据集上进行训练，具备卓越的识别性能。

这是一个基于Vision Transformer架构的图像分类模型，在LAION-2B数据集预训练后在ImageNet-12k和ImageNet-1k上微调。模型包含8830万参数，支持448x448输入图像，可用于图像分类和特征提取。该模型通过timm库实现，提供简单使用示例，采用Apache-2.0许可。

Hibou-B是一个针对数字病理学的基础视觉Transformer模型，基于DINOv2框架在私有数据集上预训练而成。模型通过自定义实现支持寄存器功能，增强了数字病理图像的特征提取能力。研究人员可利用transformers库轻松调用Hibou-B，为病理学研究和临床诊断提供AI分析支持。该开源项目为数字病理学领域的图像分析任务提供了有力工具。

BEiT图像分类模型在ImageNet-22k上通过DALL-E dVAE自监督掩码图像建模进行训练，并在ImageNet-22k和ImageNet-1k上进行微调。特点包括易于实现图像分类和生成图像嵌入，具有86.7百万参数，支持384x384图像。模型适合通过timm库高效调用，适用于多种计算机视觉应用。

Swin Transformer v2是为图像分类和密集识别任务而设计的视觉Transformer模型。它在ImageNet-1k上进行256x256分辨率的预训练，具有通过局部窗口自注意力机制实现线性计算复杂度的特性。相比前代，Swin Transformer v2加入了残差后范数加余弦注意力以提升训练稳定性、日志距离连续位置偏置以提升低分辨率预训练模型在高分辨率任务中的表现，以及SimMIM自我监督预训练方法以减少对大规模标注图像的依赖。