访问官网
Huggingface
文档
论文Florence-2：推进多种视觉任务的统一表示
Florence-2是微软开发的一个先进的视觉基础模型，它采用基于提示的方法来处理广泛的视觉和视觉-语言任务。这个模型具有以下几个主要特点：
多任务能力
Florence-2能够解释简单的文本提示来执行各种任务，包括：
- 图像描述
- 物体检测
- 图像分割
- 更多视觉相关任务
这种多任务能力使得Florence-2成为一个非常versatile的视觉AI模型。
大规模数据集训练
Florence-2利用了FLD-5B数据集进行训练，这个数据集包含：
- 1.26亿张图像
- 54亿个标注
如此大规模的训练数据使得Florence-2能够掌握多任务学习的能力。
序列到序列架构
Florence-2采用了序列到序列的模型架构，这使得它能够：
- 在零样本场景下表现出色
- 在微调后获得更好的性能
这种灵活性使Florence-2成为一个极具竞争力的视觉基础模型。
模型系列
Florence-2提供了多个版本的模型：
- Florence-2-base: 2.3亿参数，使用FLD-5B预训练
- Florence-2-large: 7.7亿参数，使用FLD-5B预训练
- Florence-2-base-ft: 2.3亿参数，在下游任务上微调
- Florence-2-large-ft: 7.7亿参数，在下游任务上微调
这些不同规模和训练方式的模型为用户提供了多种选择。
使用方法
Florence-2模型可以通过Hugging Face的transformers库轻松使用。用户只需几行代码就可以加载模型并进行推理：
from transformers import AutoProcessor, AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained("microsoft/Florence-2-base")
processor = AutoProcessor.from_pretrained("microsoft/Florence-2-base")
支持的任务
Florence-2支持多种视觉和视觉-语言任务，包括但不限于：
- 图像描述(Caption)
- 详细图像描述(Detailed Caption)
- 物体检测(Object Detection)
- 密集区域描述(Dense Region Caption)
- 光学字符识别(OCR)
- 视觉问答(Visual Question Answering)
用户只需要提供相应的任务提示，Florence-2就可以执行对应的任务。
性能表现
在多个视觉和视觉-语言任务的基准测试中，Florence-2展现了优秀的性能：
- 在零样本图像描述任务中，Florence-2-large在COCO Caption测试集上达到135.6的CIDEr分数
- 在物体检测任务中，Florence-2-large在COCO Detection val2017上达到37.5的mAP
- 在视觉问答任务中，微调后的Florence-2-large在VQAv2测试集上达到81.7%的准确率
这些结果表明，尽管模型规模相对较小，Florence-2仍然能够在多个任务上取得与大型专用模型相当甚至更好的性能。
结论
Florence-2是一个强大而灵活的视觉AI模型，它能够处理多种视觉相关任务，并在多个基准测试中展现出色的性能。无论是研究人员还是开发者，都可以利用Florence-2来推进计算机视觉领域的应用和研究。
