#MetaCLIP

MetaCLIP是一个改进CLIP模型数据处理的开源项目。它提出了一种新的数据筛选算法,无需依赖现有模型即可从头整理数据。该项目强调数据质量,提供了可扩展到CommonCrawl全数据集的方法。MetaCLIP公开训练数据分布,提高了透明度,并为CLIP模型提供标准化的实验设置,便于控制实验和公平比较。

MetaCLIP模型利用25亿个CommonCrawl数据点，在共享嵌入空间中实现图像与文本的链接应用。实现零样本图像分类、文本驱动的图像检索及图像驱动的文本检索。《Demystifying CLIP Data》论文揭示了CLIP数据训练方法，促进多模态应用发展。