#CVPR 2022

该项目展示了MetaFormer架构在视觉任务中的应用，特别通过简单的池化操作实现token混合。研究证实，基于这种方法的PoolFormer模型在ImageNet-1K验证集上表现优于DeiT和ResMLP。此外，后续工作介绍了IdentityFormer、RandFormer等MetaFormer基线模型。本项目证明了Transformer模型的竞争力主要来源于其通用架构MetaFormer，而非特定的token混合器。

通过匹配训练轨迹实现数据集蒸馏，减少模型训练所需的真实数据集数量并保持高性能。适用于ImageNet等大规模数据集，可生成低支撑的合成数据集和可拼接纹理。项目提供详细的实现步骤和代码，从下载仓库、生成专家轨迹到数据集蒸馏，帮助用户快速开始应用。还提供可视化工具和超参数设置指南，满足不同需求。此方法显著提高了模型训练效率，适合学术研究和工业应用。

ICON项目利用法线预测实现穿衣人体的隐含表达，从RGB图像生成高细节的3D模型，包括衣服和人体网格。项目支持多种基于PyTorch的模型，适合不同训练和评估需求。最新发布的ECON在此基础上进一步改进了功能。