Logo
Project Icon

CogVLM

开源视觉语言模型，提升图像理解与跨模态对话功能

CogVLMCogAgent跨模态基准测试图像理解多回合对话Github开源项目

CogVLM和CogAgent是领先的开源视觉语言模型，专注于图像理解和跨模态任务。CogVLM-17B拥有100亿视觉参数和70亿语言参数，并在NoCaps、Flicker30k等十个经典跨模态基准测试上表现出色。CogAgent在CogVLM的基础上改进，增添了GUI图像代理能力，支持1120*1120分辨率的图像理解，并在VQAv2、TextVQA等九个基准测试中表现优秀。该项目提供详细的技术文档、示例代码和Web演示，用户可以方便地进行模型推理和微调。了解更多信息，请访问项目主页。

GithubGithubHuggingfaceHuggingface文档文档论文论文
介绍相关项目
llava-1.5-7b-hf - 基于Llama 2的多模态AI模型 实现图像理解与对话
GithubHuggingfaceLLaVATransformers图像文本生成多模态开源项目模型模型优化
LLaVA-1.5-7B是一个基于Llama 2架构的开源多模态视觉语言模型。通过指令微调，该模型实现了图像理解和对话能力，支持多图像输入和多轮对话。LLaVA-1.5-7B可应用于图像问答、视觉推理等任务，并提供便捷的pipeline接口。模型支持4比特量化和Flash Attention 2优化，可在普通GPU上高效运行。这为研究人员和开发者提供了一个功能强大的视觉语言AI工具。
InternVL2-Llama3-76B - 融合视觉与语言的多模态AI模型
GithubHuggingfaceInternVL2Llama3NLP多模态大语言模型开源项目模型视觉语言模型
InternVL2-Llama3-76B是一款融合视觉和语言能力的多模态AI模型。它由InternViT-6B视觉模型和Hermes-2-Theta-Llama-3语言模型组成，在文档理解、图表分析和场景文字识别等任务中表现优异。该模型支持8k上下文窗口，可处理长文本、多图像和视频输入，为用户提供全面的多模态分析能力。
cogvlm2-llama3-caption - 视频转文本方案，助力优化文本-视频模型训练
CogVLM2-CaptionGithubHuggingfacePyTorch开源项目模型视频描述视频转文本训练数据生成
CogVLM2-Llama3-Caption项目专注于将视频数据转换为文本描述，为文本-视频模型提供关键训练数据。利用先进的视频解码和文本生成技术，该工具支持精确视频转录，为包括CogVideoX在内的模型生成高质量训练素材。该模型结合了Transformer技术和灵活处理策略，可在CUDA设备上高效运行，帮助开发者高效进行视频内容分析。
glm-4v-9b - 开源多模态AI模型GLM-4V-9B展现卓越性能
GLM-4V-9BGithubHuggingface图像描述多模态模型开源项目模型自然语言处理视觉理解
GLM-4V-9B是一款由智谱AI开发的开源多模态人工智能模型，支持1120x1120高分辨率下的中英双语多轮对话。该模型在综合能力、感知推理、文字识别和图表理解等多个领域表现优异，与GPT-4-turbo、Gemini 1.0 Pro等主流模型相比具有竞争力。GLM-4V-9B支持8K上下文长度，为研究者和开发者提供了强大的视觉理解和语言处理能力。
Qwen2-VL-72B-Instruct-GPTQ-Int8 - 改进视觉和文本处理能力的多模态模型
GithubHuggingfaceQwen2-VL多模态多语言支持开源项目模型视觉理解视频分析
本项目是一个多模态视觉语言模型，具有高效的图像理解和多语言支持。它能够处理超过20分钟的视频内容，并可整合到移动设备和机器人中进行自动化操作。通过应用动态分辨率处理和多模态旋转位置嵌入，该模型提升了视觉处理能力。此外，项目还提供了便于快速部署的工具包，助力处理各类视觉任务。
MMVP - 探索多模态大语言模型的视觉局限
GithubInterleaved-MoFMMVP基准测试多模态LLM开源项目视觉模式视觉能力
MMVP基准测试揭示了多模态大语言模型在视觉理解方面的局限。即使是顶尖模型也难以准确完成基本视觉定位任务。项目开发的Interleaved-MoF模型旨在改善这些问题。MMVP还提供了开放的评估工具和数据集，为多模态AI技术的发展做出了贡献。
llava-v1.6-vicuna-13b - 强大的图文多模态AI模型 集成Vicuna-13b实现视觉智能对话
GithubHuggingfaceLLaVA多模态大型语言模型开源项目指令跟随模型视觉问答
LLaVA-v1.6是基于Vicuna-13b微调的开源多模态AI模型，通过大规模图文对和指令数据训练而成。该模型擅长学术视觉问答和通用图像理解，支持自然的图文交互。采用transformer架构，为计算机视觉和自然语言处理研究提供了强大的视觉语言处理工具。
LLaVA-NeXT - 大规模开源多模态模型提升视觉语言能力
AI助手GithubLLaVA-NeXT多模态模型大语言模型开源项目视觉语言模型
LLaVA-NeXT是一个开源的大规模多模态模型项目，致力于提升视觉语言交互能力。该项目支持多图像、视频和3D任务的统一处理，在多个基准测试中表现卓越。LLaVA-NeXT提供了多个模型变体，包括支持高分辨率输入和视频处理的版本，以及基于不同大语言模型的实现。此外，项目还开源了训练数据和代码，为研究人员和开发者提供了宝贵资源。
llava-onevision-qwen2-72b-si - 多模态模型提高视觉数据交互准确率
GithubHuggingfaceLLaVA-OneVision准确率图像交互多模态开源项目模型预训练模型
此开源项目使用多模态模型，准确率介于85.1%至93.7%之间，在AI2D、DocVQA、Science-QA等数据集表现优异。基于Qwen2语言模型，LLaVA-OneVision能在多语言环境中与视觉数据进行交互，经过大型图像及视频数据集训练，使用bfloat16精度。
LVM - 大规模视觉模型的创新顺序建模方法
GithubLVM大规模视觉模型序列建模开源项目视觉句子视觉预训练模型
LVM是一种创新视觉预训练模型，将多种视觉数据转化为视觉句子，并进行自回归式标记预测。该模型采用顺序建模方法，无需语言数据即可学习大规模视觉模型。通过设计视觉提示，LVM可解决多种视觉任务。兼容GPU和TPU，为大规模视觉模型学习提供新方法。
相关项目
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号