#图像文本对
相关项目
datacomp
DataComp是一项聚焦于多模态预训练数据集设计的竞赛。参赛者需从海量未筛选的图像-文本对中构建高质量数据集，以提升CLIP模型在下游任务的表现。竞赛设有两个赛道和四个规模，适应不同计算资源需求。项目提供完整工具包，涵盖数据获取、模型训练和评估等环节，支持参与者进行数据集创新。
VLDet
VLDet是一种开放词汇目标检测方法，通过学习对象与语言的对齐来直接从图像-文本对训练检测器。基于CLIP的视觉-语言预训练模型，该方法将任务构建为二分图匹配问题，在COCO和LVIS等数据集上实现了领先性能，并可轻松扩展到新目标类别。VLDet为开放词汇目标检测提供了高效的解决方案。
MetaCLIP
MetaCLIP是一个改进CLIP模型数据处理的开源项目。它提出了一种新的数据筛选算法,无需依赖现有模型即可从头整理数据。该项目强调数据质量,提供了可扩展到CommonCrawl全数据集的方法。MetaCLIP公开训练数据分布,提高了透明度,并为CLIP模型提供标准化的实验设置,便于控制实验和公平比较。
LAION
LAION作为非营利组织，提供开放机器学习资源，包括大规模数据集、工具和模型。平台主要产品有LAION-400M、LAION-5B图像文本对数据集，CLIP视觉转换器模型和LAION-Aesthetics美学筛选子集。LAION致力于推动开放式机器学习研究，鼓励资源重复利用，支持环保理念和公共教育发展。