#生成式预训练
相关项目
image-gpt
Image GPT是一个基于生成像素预训练模型（Generative Pretraining from Pixels）的PyTorch实现，支持多种预训练模型和数据集。该项目允许下载预训练模型、量化图像、进行生成预训练和分类微调。它还具有BERT风格的预训练、支持加载OpenAI预训练模型等功能。目前，使用单个NVIDIA 2070 GPU可在Fashion-MNIST上实现高效训练，简化了多种图像数据集上的生成模型训练和应用流程。
Awesome-Pretraining-for-Graph-Neural-Networks
该资源库全面收集了图神经网络预训练相关论文，按发表年份、图类型、预训练策略、调优策略和应用领域分类。内容涵盖静态图、动态图、异构图等图类型，以及生成式、对比学习、多任务学习等预训练策略。同时包含prompt tuning等调优方法，并涉及推荐系统、生物学等应用领域。资源库不断更新，为图神经网络预训练研究提供重要参考。