访问官网
Github
Huggingface
论文项目简介
LLaVA-OneVision是一个先进的多模态人工智能模型，它能够理解和处理图像、多图像以及视频内容。该项目基于Qwen2语言模型开发，具有32K tokens的上下文窗口，支持中英双语交互。
核心特点
- 模型规模丰富，提供0.5B、7B和72B三种参数规模的版本
- 基于LLaVA-OneVision数据集训练，具备强大的视觉理解能力
- 支持多种输入形式，包括单图像、多图像和视频处理
- 提供在线交互演示平台：LLaVA OneVision Chat
性能表现
该模型在多个评估基准上展现出优异的性能：
- Science-QA测试中达到96.6%的准确率
- DocVQA任务中达到89.3%的准确率
- LLaVA-W测试中达到86.9%的准确率
- ImageDC评估中达到85.7%的准确率
- MMBench测试中达到81.7%的准确率
技术实现
模型采用了多阶段训练策略：
- 预训练阶段：使用LCS-558K数据集进行1轮训练
- 中间阶段：使用470万高质量合成数据训练
- 图像精调阶段：使用360万单图像数据训练
- OneVision阶段：使用160万混合数据（包含单图像、多图像和视频）训练
硬件要求
模型训练依托于强大的硬件设施：
- 使用256个NVIDIA Tesla A100 GPU
- 采用bfloat16精度训练
- 基于PyTorch深度学习框架
- 使用Huggingface Trainer进行模型训练管理
应用场景
该模型可广泛应用于：
- 图像理解和描述
- 视觉问答系统
- 多媒体内容分析
- 跨模态理解任务
- 科学教育辅助
- 文档视觉问答
使用方式
模型提供了简单的调用接口，用户可以通过Python代码轻松实现图像理解功能。支持通过pip安装相关依赖，并提供详细的代码示例指导使用。
开源许可
项目采用Apache 2.0许可证，允许用户在遵守协议的前提下自由使用和修改。
