Github
Huggingface项目概述
Llama-3-VILA1.5-8B是一个先进的视觉语言模型(VLM)，它基于Meta的Llama 3模型开发，能够处理文本和图像的多模态任务。该模型是VILA系列中的一个重要成员，专门设计用于研究和实验目的。
核心特点
- 支持多图像推理能力
- 具备上下文学习功能
- 能够进行视觉链式思维
- 拥有更好的世界知识理解能力
- 可在边缘设备上部署运行
- 通过AWQ 4位量化支持在Jetson Orin和笔记本电脑上运行
技术架构
该模型采用Transformer架构，结合了siglip和Llama3网络架构。它能够处理多种输入类型：
- 图像(RGB格式)
- 视频(MP4格式)
- 文本(字符串格式)
应用场景
该模型主要面向以下场景：
- 多模态模型研究
- 聊天机器人开发
- 计算机视觉研究
- 自然语言处理实验
- 人工智能应用开发
硬件支持
模型可在多种NVIDIA硬件平台上运行：
- Ampere架构
- Jetson系列
- Hopper架构
- Lovelace架构
训练数据
模型使用了5300万个图像-文本对和交错图像文本内容进行训练，采用混合的数据收集和标注方法，结合了自动化和人工处理方式。
推理引擎
支持多种推理框架：
- PyTorch
- TensorRT-LLM
- TinyChat
使用许可
该模型遵循CC-BY-NC-SA-4.0许可证，仅供非商业用途使用。使用时需要遵守Llama 3的社区许可证条款、OpenAI的使用条款以及相关数据集的许可条款。
评估性能
模型在12个基准测试中进行了评估，包括5个学术视觉问答基准和7个针对指令跟随大语言模型的最新基准。这些评估充分验证了模型的性能和实用性。
