#对比学习
contrastors学习资料汇总 - 高效训练和评估对比学习模型的工具包
open_clip
OpenCLIP是一个先进的开源深度学习项目，专注于OpenAI的CLIP模型的实现和优化。该项目在多样化的数据源和不同的计算预算下成功训练出多个高效能模型，涵盖图像和文本嵌入、模型微调及新模型开发等多个领域。通过增强图像与语言的联合理解能力，OpenCLIP显著推动了人工智能技术的发展，拓宽了其应用领域。
awesome-self-supervised-learning
精选自监督学习资源，覆盖理论研究与各领域实际应用，如计算机视觉、机器学习等。本项目常更新，已成为AI领域必备的研究与教学资源。
SimCSE
SimCSE项目提供一个简单的句子嵌入对比学习框架，支持有标签和无标签数据。无监督模型使用标准dropout通过输入句子预测自身，有监督模型利用NLI数据集的注释对进行对比学习。用户可以轻松安装并使用SimCSE进行句子嵌入、相似性计算和句子检索。该项目支持HuggingFace集成和faiss相似性搜索库，并提供全面的模型评估和训练脚本。详细信息和代码请参阅SimCSE仓库。
GradCache
Gradient Cache技术突破了GPU/TPU内存限制，可以无限扩展对比学习的批处理大小。仅需一个GPU即可完成原本需要8个V100 GPU的训练，并能够用更具成本效益的高FLOP低内存系统替换大内存GPU/TPU。该项目支持Pytorch和JAX框架，并已整合至密集段落检索工具DPR。
contrastive-unpaired-translation
CUT项目提供了一种基于PyTorch的无监督图像间转换方法，采用局部对比学习和对抗学习技术。该方法较CycleGAN具备更快的训练速度和更低的内存占用，并且无需手工设计损失函数和反向网络，适合单图像训练。支持Linux或macOS系统及Python 3环境，适合在NVIDIA GPU上运行，整个训练和测试流程简单易操作。该项目由UC Berkeley和Adobe Research团队开发，并在ECCV 2020会议中展示。
similarity
TensorFlow Similarity 是一个用于度量学习的库，支持自监督和对比学习。该库提供先进的算法，可用于研究、训练、评估和部署基于相似性和对比的模型，包含模型、损失函数、指标、采样器、可视化工具和索引子系统。最新版本支持分布式训练，增加了多模态嵌入和新的检索指标。可在未标记数据上进行预训练以提高准确性，或构建模型找到并聚类相似示例。了解更多请查看文档和示例。
awesome-self-supervised-gnn
本仓库收录了自监督学习在图神经网络（GNNs）领域的研究论文，按年份进行分类。我们会定期更新，若发现错误或遗漏，欢迎通过issue或pull request反馈。热门论文以火焰符号标注。
awesome-contrastive-self-supervised-learning
该项目收录了对比自监督学习领域的重要论文和资源,覆盖从2017年至今的研究成果。内容包括综述、算法、应用等,按年份分类整理。研究人员可通过此项目快速了解该领域发展历程和最新动态,是深入研究对比学习的重要参考资料。
contrastors
contrastors 是一个高效的对比学习工具包，支持多GPU和大批量训练优化。支持通过Huggingface快速加载常见模型如BERT和GPTNeoX，适用于处理复杂的语言和视觉嵌入任务。