访问官网
Github
Huggingface
文档
论文PaliGemma-3B-PT-224项目介绍
项目概述
PaliGemma-3B-PT-224是一个由Google开发的多功能轻量级视觉语言模型(VLM)。该模型基于开放组件如SigLIP视觉模型和Gemma语言模型,受PaLI-3模型的启发而设计。它能够同时接收图像和文本作为输入,并生成文本作为输出,支持多种语言。这个模型专为在广泛的视觉语言任务上实现领先的微调性能而设计,如图像和短视频字幕、视觉问答、文本阅读、物体检测和物体分割等。
模型架构
PaliGemma-3B-PT-224由一个Transformer解码器和一个Vision Transformer图像编码器组成,总共拥有30亿个参数。其文本解码器基于Gemma-2B初始化,而图像编码器则基于SigLIP-So400m/14初始化。该模型遵循PaLI-3的训练方法进行训练。
输入与输出
- 输入:图像和文本字符串,如描述图像的提示或问题。
- 输出:根据输入生成的文本响应,如图像描述、问题答案、物体边界框坐标列表或分割代码词。
预训练数据集
PaliGemma-3B-PT-224在多个数据集上进行了预训练,包括:
- WebLI:一个大规模多语言图像-文本数据集
- CC3M-35L:经过筛选的英语图像-替代文本对,并翻译成34种额外语言
- VQ²A-CC3M-35L/VQG-CC3M-35L:VQ2A-CC3M的子集,同样翻译成34种额外语言
- OpenImages:基于OpenImages数据集生成的检测和物体感知问答数据
- WIT:从维基百科收集的图像和文本
数据责任过滤
为确保训练数据的质量和安全性,项目团队对WebLI数据集应用了多重过滤,包括:
- 色情图片过滤
- 文本安全过滤
- 文本毒性过滤
- 个人信息过滤
- 其他质量和安全相关的方法
使用方法
PaliGemma-3B-PT-224是一个单轮视觉语言模型,不适用于对话场景。它最适合通过微调来适应特定用例。用户可以通过任务前缀(如"detect"或"segment")来配置模型要解决的任务。预训练模型已经训练了丰富的能力集(问答、字幕、分割等),但并不适合直接使用,而是需要通过微调来转移到特定任务上。
在Transformers中使用
项目提供了多种精度版本的模型权重,包括float32、bfloat16和float16格式,以适应不同的硬件和性能需求。用户可以根据需要选择合适的精度版本,并使用Transformers库轻松加载和运行模型。
评估结果
PaliGemma-3B-PT-224在多个学术任务上进行了微调和评估,展现了良好的迁移能力。评估任务涵盖了图像描述、问答、视觉推理等多个领域,模型在这些任务上都取得了不错的性能表现。
总的来说,PaliGemma-3B-PT-224是一个功能强大、灵活多样的视觉语言模型,为研究人员和开发者提供了丰富的应用可能性。
