#对比学习

contrastors 是一个高效的对比学习工具包，支持多GPU和大批量训练优化。支持通过Huggingface快速加载常见模型如BERT和GPTNeoX，适用于处理复杂的语言和视觉嵌入任务。

OpenCLIP是一个先进的开源深度学习项目，专注于OpenAI的CLIP模型的实现和优化。该项目在多样化的数据源和不同的计算预算下成功训练出多个高效能模型，涵盖图像和文本嵌入、模型微调及新模型开发等多个领域。通过增强图像与语言的联合理解能力，OpenCLIP显著推动了人工智能技术的发展，拓宽了其应用领域。

精选自监督学习资源，覆盖理论研究与各领域实际应用，如计算机视觉、机器学习等。本项目常更新，已成为AI领域必备的研究与教学资源。

SimCSE项目提供一个简单的句子嵌入对比学习框架，支持有标签和无标签数据。无监督模型使用标准dropout通过输入句子预测自身，有监督模型利用NLI数据集的注释对进行对比学习。用户可以轻松安装并使用SimCSE进行句子嵌入、相似性计算和句子检索。该项目支持HuggingFace集成和faiss相似性搜索库，并提供全面的模型评估和训练脚本。详细信息和代码请参阅SimCSE仓库。

Gradient Cache技术突破了GPU/TPU内存限制，可以无限扩展对比学习的批处理大小。仅需一个GPU即可完成原本需要8个V100 GPU的训练，并能够用更具成本效益的高FLOP低内存系统替换大内存GPU/TPU。该项目支持Pytorch和JAX框架，并已整合至密集段落检索工具DPR。

CUT项目提供了一种基于PyTorch的无监督图像间转换方法，采用局部对比学习和对抗学习技术。该方法较CycleGAN具备更快的训练速度和更低的内存占用，并且无需手工设计损失函数和反向网络，适合单图像训练。支持Linux或macOS系统及Python 3环境，适合在NVIDIA GPU上运行，整个训练和测试流程简单易操作。该项目由UC Berkeley和Adobe Research团队开发，并在ECCV 2020会议中展示。

TensorFlow Similarity 是一个用于度量学习的库，支持自监督和对比学习。该库提供先进的算法，可用于研究、训练、评估和部署基于相似性和对比的模型，包含模型、损失函数、指标、采样器、可视化工具和索引子系统。最新版本支持分布式训练，增加了多模态嵌入和新的检索指标。可在未标记数据上进行预训练以提高准确性，或构建模型找到并聚类相似示例。了解更多请查看文档和示例。

本仓库收录了自监督学习在图神经网络（GNNs）领域的研究论文，按年份进行分类。我们会定期更新，若发现错误或遗漏，欢迎通过issue或pull request反馈。热门论文以火焰符号标注。

该项目收录了对比自监督学习领域的重要论文和资源,覆盖从2017年至今的研究成果。内容包括综述、算法、应用等,按年份分类整理。研究人员可通过此项目快速了解该领域发展历程和最新动态,是深入研究对比学习的重要参考资料。

SupContrast是一个开源的监督对比学习框架，致力于提升视觉表征学习效果。该项目实现了监督对比学习和SimCLR算法，在CIFAR数据集上展现出色性能。它提供简洁的损失函数实现，支持自定义数据集，并附有详细运行指南和可视化结果。在ImageNet上，SupContrast实现了79%以上的Top-1准确率。这一工具为计算机视觉领域的研究和应用提供了重要支持。

BCL项目开发了一种创新的自监督学习方法，利用神经网络的记忆效应来增强对比学习中样本视图的信息差异。这种方法从数据角度出发，无需标签就能有效提升长尾分布数据的表示学习能力。在多个基准数据集上的实验表明，BCL的性能超过了现有的最先进方法，为处理现实世界中的长尾分布数据提供了新的自监督学习思路。

这个项目汇总了时间序列数据自监督学习的最新研究资源,包括相关论文、代码和数据集。资源分为生成式和对比式两大类方法,涵盖了自回归预测、自编码重构、扩散模型生成、采样对比、预测对比和增强对比等技术。该资源列表为时间序列自监督学习研究提供了全面的参考材料。

DenseCL是一种自监督视觉预训练方法，通过密集对比学习提升模型在密集预测任务中的表现。该方法实现简洁，核心部分仅需10行代码，适配多种数据增强技术。实验表明，DenseCL在目标检测和语义分割任务中性能显著提升，同时保持训练效率。项目开源了预训练模型和使用指南，便于研究者在视觉任务中应用。

MoCo是一种创新的无监督视觉表示学习方法,利用动量对比在大规模未标注数据上进行预训练。该方法在ImageNet数据集上训练ResNet-50模型,无需标注即可学习出高质量的视觉特征。MoCo v2版本在原基础上进一步优化,线性分类准确率达67.5%。项目开源了PyTorch实现,支持分布式训练,并提供预训练权重。

x-clip是一个简洁而全面的CLIP实现,整合了多项前沿研究成果。该项目支持灵活的模型配置,包括自定义文本和图像编码器、多视图对比学习和视觉自监督学习等功能。通过易用的API,研究人员可以快速实验各种CLIP变体和改进方案。x-clip适用于图像检索、跨模态理解等多种视觉语言任务。

DCLGAN是一种新型无监督图像到图像转换模型，采用双重对比学习方法。相比CycleGAN，它能实现更真实的几何变换；相比CUT，具有更高的稳定性和性能。DCLGAN适用于多种图像转换任务，如猫狗互换和马斑马互换。项目提供了预训练模型和使用指南，便于研究者进行实验和评估。

TS-TCC是一种无监督时间序列表示学习框架,利用时间和上下文对比从未标记数据中学习表示。该方法在多个真实数据集上表现优异,适用于少量标记数据和迁移学习场景。TS-TCC还扩展到半监督设置(CA-TCC),相关研究发表于IEEE TPAMI。这一方法为时间序列分析提供了有效的表示学习工具,推动了该领域的发展。

该资源库全面收集了图神经网络预训练相关论文，按发表年份、图类型、预训练策略、调优策略和应用领域分类。内容涵盖静态图、动态图、异构图等图类型，以及生成式、对比学习、多任务学习等预训练策略。同时包含prompt tuning等调优方法，并涉及推荐系统、生物学等应用领域。资源库不断更新，为图神经网络预训练研究提供重要参考。

CoCa-pytorch项目提供了CoCa(Contrastive Captioners)模型的PyTorch实现。该项目将对比学习融入传统的编码器/解码器transformer，优化了图像到文本的转换。项目采用PaLM的transformer架构，包含单模态、多模态transformers和交叉注意力模块。这一实现为研究和开发图像-文本基础模型提供了有力工具。

该项目收集了图数据增强领域的研究论文,包括节点、图和边任务的监督与半监督学习方法,以及自监督学习中的对比学习技术。项目提供文献综述、教程和代码资源,支持图机器学习研究。内容持续更新,开放社区贡献。

SetFit模型利用sentence-transformers/paraphrase-mpnet-base-v2进行句子嵌入，通过对比学习优化，实现少样本学习效率。结合LogisticRegression进行文本分类，可处理最长512词元的序列，支持两类分类，适用于需要精确文本分类的场景，可通过SetFit库轻松使用。

CONCH是为病理学量身打造的视觉语言模型，通过对比学习提高图像与文本检索能力。该模型在117万对图像描述数据集上预训练，可在多个任务中表现优异，包括图像分类、文本-图像检索、图像字幕生成和组织切割。CONCH的优势在于除H&E染色图像外，还在IHC及特殊染色图像上显示出色性能，为病理AI模型的开发与评估提供广泛应用选择。

该模型利用sentence-transformers，通过microsoft/mpnet-base预训练模型和自监督对比学习目标进行微调，将句子和段落有效编码至768维度向量空间，适用于信息检索、语义搜索和聚类任务，尤其是在句子相似度计算中有较好表现。微调时，使用了超过10亿对的句子数据，并在TPU v3-8环境下进行了920k步训练，采用AdamW优化器和对比损失。此外，在无sentence-transformers库的情况下，通过特定的池化操作仍可实现相似的编码效果，代码实现简单易用。

本项目介绍了SetFit模型在文本分类任务中的应用，利用高效的少样本学习技术，通过对Sentence Transformer进行对比学习微调，并使用微调后的特征训练Logistic Regression分类头，实现文本分类。SetFit模型支持最大512个令牌的序列长度，适用于二分类任务。通过SetFit库，用户可以便捷地安装并使用该模型进行推理，更多信息可在GitHub和相关论文中查阅。

项目运用了SetFit框架，实现在BAAI/bge-base-en-v1.5基础上的少样本学习文本分类，结合对比学习和Logistic Regression算法，提升了文本分类的精准度。模型适用于广泛领域，支持长至512个token的文本分类，易于通过SetFit库安装使用，设计理念基于“无提示高效少样本学习”，在小数据集上实现可靠分类表现，提供了一项潜力巨大的深度学习工具。

该项目利用BioLORD预训练策略，提升临床句子与生物医学概念的语义表示。通过多关系知识图谱中的定义和描述，实现概念表示的语义化与层次匹配。模型在临床句子和生物医学概念的相似度上表现卓越，支持七种欧洲语言。

模型专注于日本文本处理，可在CPU上运行，提升检索任务性能。通过蒸馏大规模嵌入及多阶段对比学习，GLuCoSE v2在MIRACL等任务中的表现出色。其支持语义相似度测量，适用于查询和段落检索，使用余弦相似度函数，支持512标记的输入，生成768维输出。

VLM2Vec在Phi-3.5-V模型中引入EOS标记，实现跨多模态输入的统一嵌入表达，高效结合文本与图像。通过对比学习在MMEB-train数据集上训练，并在36个数据集上进行评估，Lora训练方式表现最佳。项目提供模型检查点及完整训练记录，供用户在GitHub仓库克隆下载，通过代码实现文本与图像的嵌入和相似度计算，助力模型运用。

KoDiffCSE-RoBERTa是一个基于差异化对比学习的韩语句子嵌入模型。通过无监督训练，该模型在KorSTS数据集上展现出优异性能。它提供简洁API以计算句子相似度，适用于多种自然语言处理任务。项目包含开源代码、训练脚本及详细文档，方便研究者和开发者使用和扩展。

ViT-L-14-CLIPA-datacomp1B是一个基于CLIPA-v2架构的视觉-语言模型，在datacomp1B数据集上训练。该模型采用对比学习方法，能够进行零样本图像分类，在ImageNet上实现81.1%的准确率。通过OpenCLIP库，用户可以方便地进行图像和文本的特征编码。这个模型不仅性能优异，还具有训练成本低的特点，为计算机视觉研究提供了新的发展方向。

SciNCL是一个基于BERT的预训练语言模型，专门用于生成科研论文的文档级嵌入。该模型利用论文间的引用关系进行对比学习，在S2ORC引用图上训练。SciNCL在SciDocs多项评估指标上表现优异，平均得分达81.9。研究人员可以通过Sentence Transformers或Transformers库方便地使用该模型，为科研文献分析和检索提供支持。

了解利用SetFit和Sentence Transformer进行少样本高效文本分类的方式，该模型微调Sentence Transformer并用其特征进行分类头训练。用户可通过简单安装与代码示例快捷进行推理，显著优化文本分类任务。

CLAP项目使用对比语言-音频预训练模型结合音频编码器与文本编码器，提升多模态学习表现。该模型支持文本到音频检索、零样本音频分类及监督音频分类等多项任务。通过特征融合机制和关键词到字幕增强，CLAP能高效处理不同长度的音频输入。所发布的LAION-Audio-630K数据集及模型在文本到音频检索和零样本音频分类中表现优异，适用于零样本音频分类及音频、文本特征提取。

该模型用于提升语义搜索能力，将句子和段落映射至768维向量空间，达成高效信息检索。训练依托逾2.15亿问答对，覆盖丰富数据集与平台。模型应用CLS池化与点积相似度评估，适合处理有限文本语义匹配，同时支持sentence-transformers与HuggingFace Transformers两种使用方式，满足不同开发者需求。

这个模型利用Recap-DataComp-1B数据集训练，旨在实现零样本图像分类。通过OpenCLIP库，用户能够编码和分类图像与文本。模型的数据源自网络抓取并经过重新标注，可能会包含偏见或不准确之处，请在使用时注意这些风险。更多数据集详情可以查阅数据集卡片页面。

SetFit模型结合sentence-transformers的微调与LogisticRegression，实现88.97%的文本分类准确率，支持在多语言环境下进行34类文本分类，具备少样本学习能力，是资源有限条件下的高效选择。