Github
Huggingface
文档
论文项目介绍：git-base-coco
git-base-coco 是一个视觉到文本的生成模型，由微软开发团队首次发布，并在COCO数据集上进行了微调。它是由Wang等人在他们的论文《GIT: A Generative Image-to-text Transformer for Vision and Language》中引入的。该模型的基础是一个变压器解码器，依赖于图片和文本标记进行图像到文本的转换。
模型描述
GIT（GenerativeImage2Text）是一种基于变压器的生成模型，其特点是可以通过图像标记和文本标记进行训练。使用了"teacher forcing"方法来处理大量的（图像，文本）对，旨在预测下一个文本标记。模型采用双向注意力掩码访问图像小块的标记，但仅在预测下一个文本标记时，使用因果注意力掩码来访问之前的文本标记。这样的设计使得GIT模型适用于多种任务，包括：
- 图像和视频的描述生成
- 图像和视频的视觉问答（VQA）
- 图像分类（通过对图像进行条件处理并生成对应类别的文字）。
预期的用途与局限性
该模型可以直接用于图像描述生成。如果用户对其他任务感兴趣，可以在模型中心中寻找相应任务的微调版本。
模型使用
详细的代码示例可以参考 文档。
训练数据
根据论文显示，团队收集了8亿对图像文本信息进行预训练，这些数据集包括COCO、概念描述（CC3M）、SBU、视觉基因、概念描述（CC12M）、ALT200M以及其他类似方法收集的6亿对数据。
然而，git-base 是 GIT 小版本的一个检查点，它只在1000万对图像文本数据上进行训练，之后在 COCO 上进行了微调。
更多细节可以在论文的表11中找到。
预处理
关于训练期间的预处理细节，请参考原始仓库。在验证阶段，会对每张图像的短边进行缩放，然后中间裁剪到固定尺寸。接下来，对图像的RGB通道进行归一化，并使用 ImageNet 的平均值和标准差进行标准化。
评估结果
有关评估结果的详细信息，请查阅论文。
