CoCa-pytorch
CoCa-pytorch项目提供了CoCa(Contrastive Captioners)模型的PyTorch实现。该项目将对比学习融入传统的编码器/解码器transformer,优化了图像到文本的转换。项目采用PaLM的transformer架构,包含单模态、多模态transformers和交叉注意力模块。这一实现为研究和开发图像-文本基础模型提供了有力工具。