MMVP

探索多模态大语言模型的视觉局限

多模态LLM 视觉能力 MMVP基准测试 Interleaved-MoF 视觉模式 Github 开源项目

MMVP基准测试揭示了多模态大语言模型在视觉理解方面的局限。即使是顶尖模型也难以准确完成基本视觉定位任务。项目开发的Interleaved-MoF模型旨在改善这些问题。MMVP还提供了开放的评估工具和数据集，为多模态AI技术的发展做出了贡献。

PixelLM - 像素级推理与理解的大型多模态模型

GithubMUSE数据集PixelLM像素级推理图像分割多模态大模型开源项目

PixelLM是一种创新的大型多模态模型，专注于像素级推理和理解。它能处理开放集目标和复杂推理任务，同时保持LMM的基本结构。通过轻量级像素解码器和分割码本，PixelLM实现高效mask生成。项目同时推出MUSE数据集，为多目标推理分割研究提供高质量基准。在多个基准测试中，PixelLM展现出优越性能。

VLM2Vec-Full - 视觉语言模型VLM2Vec的多模态嵌入训练方法

GithubHuggingfaceTIGER-LabVLM2Vec多模态嵌入对比学习开源项目模型视觉语言模型

VLM2Vec在Phi-3.5-V模型中引入EOS标记，实现跨多模态输入的统一嵌入表达，高效结合文本与图像。通过对比学习在MMEB-train数据集上训练，并在36个数据集上进行评估，Lora训练方式表现最佳。项目提供模型检查点及完整训练记录，供用户在GitHub仓库克隆下载，通过代码实现文本与图像的嵌入和相似度计算，助力模型运用。

ShapeLLM - 革新3D理解的多模态大语言模型

ShapeLLM是首个面向智能体交互的3D多模态大语言模型,支持单视图彩色点云输入。该项目引入了3D问答基准3D MM-Vet,并改进了点云编码器ReCon++。ShapeLLM在多项3D理解任务中表现出色,为智能体与3D环境交互提供了新思路。

llava-onevision-qwen2-7b-ov-hf - 支持单图多图和视频理解的多模态语言模型

GithubHuggingfaceLLaVA-Onevision人工智能图像理解多模态开源项目模型视频理解

LLaVA-Onevision-qwen2-7b-ov-hf是一个基于Qwen2微调的开源多模态大语言模型。作为首个能在单图、多图和视频场景中同时提升性能的模型，它展现了卓越的跨模态和跨场景迁移学习能力。该模型特别擅长视频理解和跨场景任务，支持多图像和多提示生成，适用于广泛的视觉理解应用。

LLaVA-NeXT - 大规模开源多模态模型提升视觉语言能力

AI助手GithubLLaVA-NeXT多模态模型大语言模型开源项目视觉语言模型

LLaVA-NeXT是一个开源的大规模多模态模型项目，致力于提升视觉语言交互能力。该项目支持多图像、视频和3D任务的统一处理，在多个基准测试中表现卓越。LLaVA-NeXT提供了多个模型变体，包括支持高分辨率输入和视频处理的版本，以及基于不同大语言模型的实现。此外，项目还开源了训练数据和代码，为研究人员和开发者提供了宝贵资源。

VLM_survey - 用于视觉任务的 AWESOME 视觉语言模型集合

GithubVision-Language Models开源项目数据集知识蒸馏视觉识别任务预训练方法

本页面详尽介绍了视觉语言模型(VLM)在视觉识别任务中的应用和发展。内容涵盖VLM的起源、常用架构、预训练目标、主流数据集及不同的预训练方式、迁移学习和知识蒸馏方法，并针对这些方法进行了详细的基准测试和分析。页面还讨论了未来研究的挑战和方向，让用户掌握VLM技术在图像分类、对象检测和语义分割等任务中的最新应用进展。

llava-v1.6-mistral-7b - LLaVA-v1.6：融合图像与文本理解的开源多模态AI模型

GithubHuggingfaceLLaVA图像文本多模态大语言模型开源项目指令调优模型

LLaVA-v1.6-Mistral-7B是一个基于Mistral-7B-Instruct-v0.2的开源多模态AI模型。这个模型通过大规模多模态指令数据微调，能同时处理图像和文本输入。2023年12月发布的LLaVA-v1.6-Mistral-7B主要应用于多模态模型和AI对话系统研究。该模型在12个评估基准上表现优异，涵盖5个学术视觉问答任务和7个针对指令理解的最新多模态模型基准。

Video-LLaVA - 统一视觉表示学习的新方法增强跨模态交互能力

GithubVideo-LLaVA图像理解多模态开源项目视觉语言模型视频理解

Video-LLaVA项目提出了一种新的对齐方法,实现图像和视频统一视觉表示的学习。该模型在无图像-视频配对数据的情况下,展现出色的跨模态交互能力,同时提升图像和视频理解性能。研究显示多模态学习的互补性明显改善了模型在各类视觉任务上的表现,为视觉-语言模型开发提供新思路。

MotionLLM - 融合视频和动作数据的人类行为理解先进AI模型

GithubMotionLLM人工智能人类行为理解多模态学习大语言模型开源项目

MotionLLM是一个人类行为理解框架，通过融合视频和动作序列数据来分析人类行为。该项目采用统一的视频-动作训练策略，结合粗粒度视频-文本和细粒度动作-文本数据，以获得深入的时空洞察。项目还包括MoVid数据集和MoVid-Bench评估工具，用于研究和评估人类行为理解。MotionLLM在行为描述、时空理解和推理方面展现出优越性能，为人机交互和行为分析研究提供了新的方向。

VisionLLaMA - 基于LLaMA的统一视觉模型，为图像生成和理解设立新基准

GithubVisionLLaMA图像理解图像生成开源项目计算机视觉预训练模型

VisionLLaMA是一个基于LLaMA架构的统一视觉Transformer模型，专为处理2D图像而设计。该模型提供平面和金字塔两种形式，适用于广泛的视觉任务，包括图像感知和生成。通过各种预训练范式的广泛评估，VisionLLaMA在多项图像生成和理解任务中展现出卓越性能，超越了现有最先进的视觉Transformer模型，为计算机视觉领域提供了新的基准。

相关项目

推荐项目

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com