falcon-11B-vlm

项目介绍：Falcon2-11B-vlm

项目概述

Falcon2-11B-vlm是由技术创新研究所（TII）开发的一个拥有110亿参数的因果解码器模型。该模型经过大规模文本数据训练，包含5,000亿个RefinedWeb数据集的词，并结合精选语料库进行优化。同时，Falcon2-11B-vlm结合了预训练的CLIP ViT-L/14视觉编码器，从而具备视觉能力，通过图像和文本数据进行训练。

为了提升模型识别图像中细微小物体的能力，采用了高分辨率动态编码机制。模型由TII Falcon License 2.0许可发布，这是一种宽松的许可基于Apache 2.0，鼓励负责任地使用人工智能。

背景与特点

• 开发机构： TII（技术创新研究所）
• 模型类型： 因果解码器
• 支持语言： 主要支持英语，也含德语、西班牙语、法语、意大利语、葡萄牙语、波兰语、荷兰语、罗马尼亚语、捷克语、瑞典语等。这些语言中的训练使其可能携带一些网络常见的偏见。
• 许可类型： TII Falcon License 2.0

使用场景

直接用途

主要用于通用的大规模视觉语言模型研究。

非直接用途

未经充分风险评估与缓解的生产用途，以及可能被认为不负责任或有害的使用情况。

偏见、风险和限制

模型主要以英语以及其他特定语言进行训练，这意味着在非这些语言的场景下可能无法准确泛化。同时，因为其训练数据代表了网络上的大规模语料，可能会携带网络常见的偏见。

训练细节

Falcon2-11B-vlm的训练分为两个阶段：预训练和微调。在预训练阶段，冻结语言模型（LLM）权重，仅对多模态投影进行训练，以学习从视觉到文本的嵌入映射。在微调阶段，对投影和LLM权重进行训练，使用了来自公开数据集的120万图像-文本指令数据。

使用16块A100 80GB GPU与ZeRO和Flash-Attention 2对模型进行训练。数据使用Falcon-7B/11B分词器进行分词，使用bfloat16精度，AdamW优化器，学习率为2e-5，无权重衰减，批处理大小为256。

评价机制

模型通过多个基准测试如MME、GQA、SQA、POPE、VQAv2、TextVQA、MM-Bench和SEED-IMG进行评价，确保其性能能力。

结语

Falcon2-11B-vlm模型在广泛的研究和开发背景下，为用户提供强大的图像理解和语言处理能力。然而，使用时需注意模型的应用场景和潜在的偏见风险。

有关更多详细内容，请参考官方博客或直接联系团队：falconllm@tii.ae。