#视觉变换器

MIMDet是一个利用掩码图像建模技术的开源项目，能够提升预训练的Vanilla Vision Transformer在目标检测中的表现。此框架采用混合架构，用随机初始化的卷积体系取代预训练的大核Patchify体系，实现多尺度表示无需上采样。在COCO数据集上的表现亮眼，使用ViT-Base和Mask R-CNN模型时，分别达到51.7的框AP和46.2的掩码AP；使用ViT-L模型时，成绩分别是54.3的框AP和48.2的掩码AP。

EVA02是一款基于视觉Transformer架构的图像分类和特征提取模型。它结合了平均池化、SwiGLU和旋转位置嵌入技术，在ImageNet-22k数据集上进行预训练并在ImageNet-1k上微调。兼容timm库，以确保在不同设备上的一致性和高效性，广泛适用于多种图像分类和特征提取任务。