对比自监督学习:计算机视觉领域的新范式

open_clip

OpenCLIP是一个先进的开源深度学习项目，专注于OpenAI的CLIP模型的实现和优化。该项目在多样化的数据源和不同的计算预算下成功训练出多个高效能模型，涵盖图像和文本嵌入、模型微调及新模型开发等多个领域。通过增强图像与语言的联合理解能力，OpenCLIP显著推动了人工智能技术的发展，拓宽了其应用领域。

awesome-self-supervised-learning

精选自监督学习资源，覆盖理论研究与各领域实际应用，如计算机视觉、机器学习等。本项目常更新，已成为AI领域必备的研究与教学资源。

SimCSE

SimCSE项目提供一个简单的句子嵌入对比学习框架，支持有标签和无标签数据。无监督模型使用标准dropout通过输入句子预测自身，有监督模型利用NLI数据集的注释对进行对比学习。用户可以轻松安装并使用SimCSE进行句子嵌入、相似性计算和句子检索。该项目支持HuggingFace集成和faiss相似性搜索库，并提供全面的模型评估和训练脚本。详细信息和代码请参阅SimCSE仓库。

GradCache

Gradient Cache技术突破了GPU/TPU内存限制，可以无限扩展对比学习的批处理大小。仅需一个GPU即可完成原本需要8个V100 GPU的训练，并能够用更具成本效益的高FLOP低内存系统替换大内存GPU/TPU。该项目支持Pytorch和JAX框架，并已整合至密集段落检索工具DPR。

contrastive-unpaired-translation

CUT项目提供了一种基于PyTorch的无监督图像间转换方法，采用局部对比学习和对抗学习技术。该方法较CycleGAN具备更快的训练速度和更低的内存占用，并且无需手工设计损失函数和反向网络，适合单图像训练。支持Linux或macOS系统及Python 3环境，适合在NVIDIA GPU上运行，整个训练和测试流程简单易操作。该项目由UC Berkeley和Adobe Research团队开发，并在ECCV 2020会议中展示。

similarity

TensorFlow Similarity 是一个用于度量学习的库，支持自监督和对比学习。该库提供先进的算法，可用于研究、训练、评估和部署基于相似性和对比的模型，包含模型、损失函数、指标、采样器、可视化工具和索引子系统。最新版本支持分布式训练，增加了多模态嵌入和新的检索指标。可在未标记数据上进行预训练以提高准确性，或构建模型找到并聚类相似示例。了解更多请查看文档和示例。

awesome-self-supervised-gnn

本仓库收录了自监督学习在图神经网络（GNNs）领域的研究论文，按年份进行分类。我们会定期更新，若发现错误或遗漏，欢迎通过issue或pull request反馈。热门论文以火焰符号标注。

awesome-contrastive-self-supervised-learning

该项目收录了对比自监督学习领域的重要论文和资源,覆盖从2017年至今的研究成果。内容包括综述、算法、应用等,按年份分类整理。研究人员可通过此项目快速了解该领域发展历程和最新动态,是深入研究对比学习的重要参考资料。

contrastors

contrastors 是一个高效的对比学习工具包，支持多GPU和大批量训练优化。支持通过Huggingface快速加载常见模型如BERT和GPTNeoX，适用于处理复杂的语言和视觉嵌入任务。

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

白日梦AI

白日梦AI提供专注于AI视频生成的多样化功能，包括文生视频、动态画面和形象生成等，帮助用户快速上手，创造专业级内容。

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

讯飞绘镜

讯飞绘镜是一个支持从创意到完整视频创作的智能平台，用户可以快速生成视频素材并创作独特的音乐视频和故事。平台提供多样化的主题和精选作品，帮助用户探索创意灵感。

讯飞文书

讯飞文书依托讯飞星火大模型，为文书写作者提供从素材筹备到稿件撰写及审稿的全程支持。通过录音智记和以稿写稿等功能，满足事务性工作的高频需求，帮助撰稿人节省精力，提高效率，优化工作与生活。

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。