NVLM-D-72B

开源前沿级多模态大语言模型实现视觉语言任务的最新突破

模型人工智能 Github 大语言模型视觉语言开源项目 Huggingface NVLM 多模态

NVLM-D-72B是一款开源的多模态大语言模型，在视觉语言任务上表现卓越，达到了与顶级专有和开源模型相当的水平。该模型不仅擅长视觉语言任务，在多模态训练后其纯文本处理能力也有所提升。NVLM-D-72B可执行光学字符识别、多模态推理、定位、常识推理等多种任务，为AI研究社区提供了强大的开源多模态能力。

访问官网

Github

Huggingface

介绍相关项目

llava-1.5-13b-hf - 基于Llama 2的多模态视觉语言模型集成图像理解与对话功能

GithubHuggingfaceLLaVA图像理解多模态对话开源项目机器学习模型自然语言处理

llava-1.5-13b-hf作为开源多模态模型整合了Llama 2架构，实现图像理解和自然语言对话功能。模型通过transformers库实现多图像处理和多提示生成，并集成4位量化与Flash-Attention 2优化方案提升运行效率。在图像描述、视觉问答等任务中表现出色，体现了视觉语言模型的技术创新。

Llama-2-70b-hf - Meta开发的70亿参数开源大语言模型支持多样化自然语言处理任务

GithubHuggingfaceLLAMA 2人工智能大语言模型开源开源项目模型自然语言处理

Llama-2-70b-hf是Meta开发的70亿参数大语言模型,基于优化的Transformer架构,支持4k上下文长度。模型在2万亿token公开数据上预训练,通过监督微调和人类反馈强化学习实现对话能力。在多项基准测试中表现优异,适用于对话、问答、推理等自然语言处理任务。作为开源发布的基础模型,为学术研究和商业应用提供了有力支持。

VLM2Vec-Full - 视觉语言模型VLM2Vec的多模态嵌入训练方法

GithubHuggingfaceTIGER-LabVLM2Vec多模态嵌入对比学习开源项目模型视觉语言模型

VLM2Vec在Phi-3.5-V模型中引入EOS标记，实现跨多模态输入的统一嵌入表达，高效结合文本与图像。通过对比学习在MMEB-train数据集上训练，并在36个数据集上进行评估，Lora训练方式表现最佳。项目提供模型检查点及完整训练记录，供用户在GitHub仓库克隆下载，通过代码实现文本与图像的嵌入和相似度计算，助力模型运用。

Yi-34B - 开源双语大语言模型Yi-34B，在语言理解和推理性能上超越多款先进模型

GithubHuggingfaceYi双语变压器大语言模型开源开源项目模型

Yi系列的开源双语大语言模型凭借出色的语言理解和推理能力，在全球顶尖LLM排行中占据一席之地。在依托Transformer和Llama架构的基础上，Yi模型通过自有的高质量训练数据和效能优化的训练管道，实现了在多项评测中的领先表现。特别是Yi-34B-Chat模型在AlpacaEval榜单上表现出色，仅次于GPT-4 Turbo，展现出其多领域广泛应用的潜力。

MobileVLM-1.7B - 移动设备优化的高效多模态视觉语言模型

GithubHuggingfaceMobileVLM多模态开源项目性能评估模型模型推理移动设备

MobileVLM-1.7B是一种专为移动设备设计的多模态视觉语言模型，通过多种优化技术实现高效推理，支持跨模态交互。该模型在标准基准测试中表现出色，并经过CLIP方式的预训练。在Qualcomm Snapdragon 888和NVIDIA Jeston Orin设备上的处理速度分别为每秒21.5个和65.3个令牌。

Open-LLaVA-NeXT - 多模态大语言模型实现视觉语言对齐和指令微调的开源项目

AI模型评估GithubLLaVA-NeXT多模态模型开源实现开源项目视觉语言训练

Open-LLaVA-NeXT是一个复现LLaVA-NeXT系列模型的开源项目。它提供开源训练数据和检查点，基于LLaVA代码库进行修改。该项目支持CLIP-L-336视觉编码器以及Vicuna-7B和LLaMA3-8B等语言模型。通过特征对齐和视觉指令微调两个阶段的训练，Open-LLaVA-NeXT实现了多模态能力，在多项评估任务中表现优异。

LLaVA-NeXT-Video-7B-hf - 先进多模态AI模型实现视频和图像理解

GithubHuggingfaceLLaVA-NeXT-Video人工智能多模态大语言模型开源项目模型视频理解

LLaVA-NeXT-Video-7B-hf是一个开源多模态AI模型，通过视频和图像数据的混合微调，实现了出色的视频理解能力。该模型支持多视觉输入和多提示生成，在VideoMME基准测试中表现优异。基于Vicuna-7B语言模型，可处理视频问答和图像描述等视觉任务。模型支持4位量化和Flash Attention 2优化，提供灵活高效的使用方式。

cogvlm2-llama3-chat-19B-int4 - 不同场景应用的高性能多语言文本生成模型

CogVLM2GPU内存需求GithubHuggingface中英文支持图像分辨率基准测试开源项目模型

CogVLM2是一种先进的多语言文本生成模型，在多项基准测试中表现优异，如TextVQA和DocVQA。支持高达8K的文本长度和1344x1344的图像分辨率，并能在ZhipuAI开放平台上进行体验。该模型拥有高效的设计，占用较低的GPU内存，需在Linux系统下的Nvidia显卡上运行，适用于多语言环境中的各种场景。

Llama-3.2-90B-Vision - 前沿视觉语言模型助力图像识别和推理

GithubHuggingfaceLlama 3.2Meta多模态大语言模型开源项目模型自然语言处理计算机视觉

Llama-3.2-90B-Vision是Meta开发的多模态大语言模型,支持图像和文本输入并输出文本。该模型在视觉识别、图像推理、描述和问答等任务中表现优异,性能超越多个开源和闭源多模态模型。基于Llama 3.1文本模型,通过视觉适配器实现图像理解,支持128K上下文长度。经指令微调后可用于商业和研究,适用于多种视觉语言任务。使用需遵守Llama 3.2社区许可协议。

llava-v1.5-13b - 基于LLaMA的开源多模态AI模型支持图像理解与对话

GithubHuggingfaceLLaVA人工智能研究图像文本处理多模态模型开源项目模型语言模型

LLaVA-v1.5-13B是一个基于LLaMA和Vicuna微调的开源多模态AI模型。该模型能够理解图像并进行自然语言对话，支持多种视觉问答任务。LLaVA于2023年9月发布，主要面向计算机视觉和自然语言处理领域的研究人员。在12个基准测试中，LLaVA展现了出色的图像理解和指令遵循能力，为多模态AI研究提供了有价值的开源资源。

项目侧边栏1

项目侧边栏2

推荐项目

Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com

@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号