#LAION400M

TinyCLIP是一种用于压缩大规模语言-图像预训练模型的跨模态蒸馏方法，采用亲和力模仿和权重继承技术。实验显示，TinyCLIP ViT-45M/32使用ViT-B/32一半的参数达到相似的零样本性能；TinyCLIP ResNet-19M在参数量减少50%的情况下，推理速度提升2倍，在ImageNet数据集上实现56.4%的准确率。