#LLaMA-3

LLaVA-pp项目整合了Phi-3 Mini Instruct和LLaMA-3 Instruct模型，提升了视觉模型的能力。用户可通过Hugging Face Spaces和在线演示了解LLaMA-3-V和Phi-3-V的更新和结果。项目包含多种预训练及微调模型，支持学术任务和指令跟随应用。

Mantis是基于LLaMA-3的大型多模态模型,专注于多图像视觉语言任务。通过在Mantis-Instruct数据集上进行36小时的指令微调,该模型在5个多图像基准测试中实现了领先性能。Mantis能处理交错的文本和图像输入,有效应对复杂多图像任务,同时保持出色的单图像处理能力。项目开源了代码、模型和演示,为AI研究和开发提供了强大的多图像处理工具。

这个模型利用Recap-DataComp-1B数据集训练，旨在实现零样本图像分类。通过OpenCLIP库，用户能够编码和分类图像与文本。模型的数据源自网络抓取并经过重新标注，可能会包含偏见或不准确之处，请在使用时注意这些风险。更多数据集详情可以查阅数据集卡片页面。