#CLIP模型

photo-similarity-search

Embed-Photos是一个高效的照片相似性搜索引擎，利用CLIP模型根据文本描述寻找视觉相似的图像。该项目仅支持Apple Silicon平台，使用SQLite和Chroma实现图像嵌入的持久存储，提供便捷的网络接口以便用户进行交互和探索。其特点包括安全的图像处理、性能监控和可配置的设置，用户只需简单设置环境变量即可启动使用。

datacomp

DataComp是一项聚焦于多模态预训练数据集设计的竞赛。参赛者需从海量未筛选的图像-文本对中构建高质量数据集，以提升CLIP模型在下游任务的表现。竞赛设有两个赛道和四个规模，适应不同计算资源需求。项目提供完整工具包，涵盖数据获取、模型训练和评估等环节，支持参与者进行数据集创新。

SAN

Side Adapter Network (SAN)是一个开放词汇语义分割框架，将分割任务建模为区域识别问题。它在冻结的CLIP模型旁附加轻量级侧网络，实现高效准确的分割。SAN在多个语义分割基准测试中表现优异，具有更少的可训练参数和更快的推理速度。这一方法为开放词汇语义分割领域提供了新的解决思路。

kandinsky-2-2-decoder-inpaint

Kandinsky 2.2结合Dall-E 2和潜在扩散技术，融入CLIP模型进行文本与图像编码，并实现跨CLIP模态空间的图像扩散映射，提升视觉表现力。支持文本引导的图像修复，并整合于diffusers库。用户可通过修改掩码格式进行编辑。本版本在解析性能上进行了优化，在COCO_30k数据集的零样本测试中表现出色，FID指标显示显著提升。