#LLaVA
LLamaSharp入门指南 - C#/.NET高效运行LLM的开源库
LLamaSharp:在本地设备上高效运行大型语言模型的C#/.NET库
LLamaSharp
LLamaSharp是一个基于llama.cpp的跨平台库,支持在本地设备上高效运行LLaMA和LLaVA等大语言模型。该库提供高级API和RAG支持,便于在应用中部署大型语言模型。LLamaSharp兼容多种后端,支持CPU和GPU推理,适用于Windows、Linux和Mac平台。通过集成semantic-kernel和kernel-memory等库,LLamaSharp简化了应用开发,并提供多个示例和教程帮助用户快速上手。
llava-cpp-server
LLaVA C++ Server是一个简便的API服务端,实现了llama.cpp的LLaVA功能。使用者可以通过下载模型并启动服务器来本地访问,支持自定义主机、端口和HTTP日志记录。API端点位于/llava,接受用户提示和图像数据,便于图像查询和处理。该项目已在macOS上测试,可通过简单构建步骤在其他平台运行。
LLaVA-Plus-Codebase
该项目介绍了LLaVA-Plus如何提升大语言和视觉助手的工具使用能力。通过代码示例、安装说明和使用指南,用户可以快速掌握运行和训练LLaVA-Plus模型的方法,并进行推理和评估。该项目适用于需要结合视觉任务和语言模型的研究人员和开发者,提供了多个知名工具的整合与使用说明,帮助用户全面了解和应用这些工具执行多模态任务。
LLaVA
LLaVA项目通过视觉指令调优提升大型语言与视觉模型的性能,达到了GPT-4级别。最新更新包括增强版LLaVA-NeXT模型及其在视频任务上的迁移能力,以及高效的LMMs-Eval评估管道。这些更新提升了模型的多任务和像素处理能力,支持LLama-3和Qwen等不同规模的模型,并提供丰富的示例代码、模型库和数据集,方便用户快速上手和深度研究。
llava-v1.6-mistral-7b
LLaVA-v1.6-Mistral-7B是一个基于Mistral-7B-Instruct-v0.2的开源多模态AI模型。这个模型通过大规模多模态指令数据微调,能同时处理图像和文本输入。2023年12月发布的LLaVA-v1.6-Mistral-7B主要应用于多模态模型和AI对话系统研究。该模型在12个评估基准上表现优异,涵盖5个学术视觉问答任务和7个针对指令理解的最新多模态模型基准。
llava-v1.5-7b-llamafile
LLaVA-v1.5-7b-llamafile作为一个开源多模态AI模型,通过微调LLaMA/Vicuna而成。它整合了图像理解和自然语言处理功能,能够执行图像相关指令和进行对话。该模型于2023年9月推出,主要用于研究大型多模态模型和聊天机器人。LLaVA的训练数据包括558K图像-文本对和多种指令数据,在12个基准测试中表现优异。这个模型为计算机视觉和自然语言处理领域的研究人员提供了探索AI前沿应用的有力工具。
llava-1.6-mistral-7b-gguf
LLaVA-1.6-Mistral-7B是一款开源的视觉语言模型GGUF量化版本,提供3bit至8bit多个压缩等级选择。该模型整合了图像理解与对话能力,通过大规模图文对和多模态指令数据训练而成。其中4bit和5bit量化版本在性能与模型体积之间取得良好平衡,适合在计算资源有限的场景下部署使用
llama3-llava-next-8b
LLaVA-NeXT-8b是基于Meta-Llama-3-8B-Instruct的开源多模态模型,通过558K图文对和超过700K多模态指令数据训练而成。该模型集成视觉理解与文本生成能力,支持图像描述、视觉问答等任务。模型采用高效的分布式训练方法,训练时间约15-20小时。目前仅供学术研究使用,商业应用受限。
llava-v1.6-vicuna-13b
LLaVA-v1.6是基于Vicuna-13b微调的开源多模态AI模型,通过大规模图文对和指令数据训练而成。该模型擅长学术视觉问答和通用图像理解,支持自然的图文交互。采用transformer架构,为计算机视觉和自然语言处理研究提供了强大的视觉语言处理工具。