Github
论文[TPAMI 2024] 单路径中将自注意力剪枝为卷积层
这是我们论文的官方代码仓库： 单路径中将自注意力剪枝为卷积层，作者：何昊宇、蔡剑飞、刘静、潘子政、张静、陶大程和庄博涵。
🚀 新闻
简介：
为了减少ViT模型的大量计算资源消耗并添加卷积的归纳偏置，我们的SPViT通过将自注意力剪枝为卷积层，将预训练的ViT模型剪枝成准确且紧凑的混合模型。得益于提出的自注意力和卷积层之间的权重共享方案，将搜索问题转化为寻找使用哪些参数子集的问题，我们的SPViT显著降低了搜索成本。
实验结果：
我们提供SPViT的实验结果和预训练模型：
| 名称 | Top-1准确率 | Top-5准确率 | 参数数 | FLOPs | 模型 |
|---|---|---|---|---|---|
| SPViT-DeiT-Ti | 70.7 | 90.3 | 4.9M | 1.0G | 模型 |
| SPViT-DeiT-Ti* | 73.2 | 91.4 | 4.9M | 1.0G | 模型 |
| SPViT-DeiT-S | 78.3 | 94.3 | 16.4M | 3.3G | 模型 |
| SPViT-DeiT-S* | 80.3 | 95.1 | 16.4M | 3.3G | 模型 |
| SPViT-DeiT-B | 81.5 | 95.7 | 46.2M | 8.3G | 模型 |
| SPViT-DeiT-B* | 82.4 | 96.1 | 46.2M | 8.3G | 模型 |
| 名称 | Top-1准确率 | Top-5准确率 | 参数数 | FLOPs | 模型 |
|---|---|---|---|---|---|
| SPViT-Swin-Ti | 80.1 | 94.9 | 26.3M | 3.3G | 模型 |
| SPViT-Swin-Ti* | 81.0 | 95.3 | 26.3M | 3.3G | 模型 |
| SPViT-Swin-S | 82.4 | 96.0 | 39.2M | 6.1G | 模型 |
| SPViT-Swin-S* | 83.0 | 96.4 | 39.2M | 6.1G | 模型 |
* 表示使用知识蒸馏。
入门指南：
在本仓库中，我们提供了剪枝两个代表性ViT模型的代码。
- SPViT-DeiT剪枝DeiT。详情请参见SPViT_DeiT/README.md。
- SPViT-Swin剪枝Swin。详情请参见SPViT_Swin/README.md。
如果您觉得我们的论文有用，请考虑引用：
@article{he2024Pruning,
title={Pruning Self-attentions into Convolutional Layers in Single Path},
author={He, Haoyu and Liu, Jing and Pan, Zizheng and Cai, Jianfei and Zhang, Jing and Tao, Dacheng and Zhuang, Bohan},
journal={IEEE Transactions on Pattern Analysis and Machine Intelligence},
year={2024},
publisher={IEEE}
}
