#MetaFormer
poolformer - 视觉任务中MetaFormer架构的应用及其效能
Github开源项目Transformer图像分类MetaFormerPoolFormerCVPR 2022
该项目展示了MetaFormer架构在视觉任务中的应用，特别通过简单的池化操作实现token混合。研究证实，基于这种方法的PoolFormer模型在ImageNet-1K验证集上表现优于DeiT和ResMLP。此外，后续工作介绍了IdentityFormer、RandFormer等MetaFormer基线模型。本项目证明了Transformer模型的竞争力主要来源于其通用架构MetaFormer，而非特定的token混合器。
metaformer - 一系列视觉基线模型
Github开源项目MetaFormerIdentityFormerRandFormerConvFormerCAFormer
MetaFormer项目推出多款视觉基线模型，包括IdentityFormer、RandFormer、ConvFormer和CAFormer。这些模型在ImageNet-1K数据集上表现出色，根据不同的token mixer架构，如身份映射、全局随机混合、可分离深度卷积和自注意机制，在224x224分辨率下的Top-1准确率均超过80%。特别是CAFormer，在无外部数据或蒸馏的条件下，达到85.5%的准确率记录。这些模型已集成到timm库中，方便应用和扩展。