Project Icon

VILA1.5-3b-s2

多模态视觉语言模型VILA支持边缘设备和多图像处理

VILA1.5-3b-s2是一个基于交错图像-文本数据预训练的视觉语言模型。它具备多图像处理能力,通过AWQ 4位量化可部署于边缘设备。该模型在多图像推理、上下文学习和视觉思维链等方面表现突出,同时保持优秀的文本处理性能。VILA1.5-3b-s2为多模态模型和聊天机器人研究提供了有力支持。

Llama-3.2-90B-Vision-Instruct-FP8-dynamic - 基于Meta-Llama架构的FP8量化多语言视觉对话模型
GithubHuggingfaceLlama-3.2vLLM人工智能开源项目模型模型量化视觉语言模型
这是一个基于Meta-Llama-3.2架构开发的视觉语言模型,包含900亿参数。通过FP8量化技术优化,将模型存储空间和GPU内存需求降低约50%。模型支持图像理解和多语言文本生成,主要应用于智能对话系统。借助vLLM后端可实现高效部署和OpenAI兼容服务。
MG-LLaVA - 融合多粒度视觉特征的大语言模型
GithubMG-LLaVA多模态大语言模型多粒度视觉指令调优开源项目性能提升视觉处理
MG-LLaVA是一种创新的多模态大语言模型,通过整合低分辨率、高分辨率和物体中心特征,显著提升了视觉处理能力。模型引入高分辨率视觉编码器捕捉细节,并利用Conv-Gate网络融合视觉特征。同时集成离线检测器的物体级特征,增强了物体识别能力。仅基于公开多模态数据进行指令微调,MG-LLaVA在多项基准测试中展现出优异的感知表现。
Llama-3.2-11B-Vision-Instruct - Meta开发的多模态语言模型 提供图像理解与文本生成
GithubHuggingfaceLlama 3.2-VisionMeta图像识别多模态大语言模型开源项目模型自然语言处理
Llama-3.2-11B-Vision-Instruct是Meta开发的多模态语言模型,可处理图像和文本输入并生成文本输出。该模型在视觉识别、图像推理和描述任务中表现优异,性能超越多个开源和闭源多模态模型。基于Llama 3.1文本模型,采用优化的Transformer架构,通过监督微调和人类反馈强化学习提升性能。模型支持128k上下文长度,在大规模图像-文本对数据上训练,具备多语言处理能力。
Llama-3.2-11B-Vision-Instruct-FP8-dynamic - Meta-Llama视觉语言模型FP8量化版支持多语言部署
GithubHuggingfaceLlama-3.2vLLM人工智能开源项目模型视觉识别量化压缩
基于Meta-Llama-3.2架构的视觉语言模型,通过FP8动态量化技术实现模型压缩,在保持原有性能的同时将显存需求降低50%。模型支持图文输入和多语言输出,可通过vLLM实现快速部署,提供OpenAI兼容接口,适合商业场景应用。
Llama-3.2-90B-Vision-Instruct - Meta开发的多模态大语言模型实现图像理解与视觉推理
GithubHuggingfaceLlama 3.2-VisionMeta图像识别多模态大语言模型开源项目模型自然语言处理
Llama-3.2-90B-Vision-Instruct是Meta开发的多模态大语言模型,用于图像理解和视觉推理。该模型基于Llama 3.1构建,集成视觉适配器,支持图像和文本输入。在视觉识别、图像推理、描述和问答方面表现优异,超越多数多模态模型。模型具有128K上下文长度,采用60亿(图像,文本)对训练,知识覆盖至2023年12月。
Qwen2-VL-2B-Instruct-GPTQ-Int4 - Qwen2-VL推动多模态与自动化的跨语言视觉处理进步
GithubHuggingfaceQwen2-VL多模态多语言支持开源项目机器人人工智能模型视频理解
Qwen2-VL具备先进的多模态处理能力,支持高分辨率图像和长时视频理解,适用于视频问答及自动化设备控制。支持包括欧洲语言、日语、韩语、阿拉伯语等多语言文本理解。更新的分辨率处理和位置嵌入技术提升了视觉感知性能。
Visual-Chinese-LLaMA-Alpaca - 多模态中文模型VisualCLA开发与优化技术
CLIP-ViTChinese-Alpaca-PlusGithubLLaMAVisual-Chinese-LLaMA-Alpaca多模态模型开源项目
VisualCLA基于中文LLaMA/Alpaca模型,增加图像编码模块,实现图文联合理解和对话能力。目前发布测试版,提供推理代码和部署脚本,并展示多模态指令理解效果。未来将通过预训练和精调优化,扩展应用场景。
clip-ViT-B-32-multilingual-v1 - CLIP-ViT-B-32多语言模型实现文本图像向量映射和跨语言搜索
CLIPGithubHuggingfacesentence-transformers图像搜索多语言模型开源项目模型零样本分类
CLIP-ViT-B-32-multilingual-v1是OpenAI CLIP-ViT-B32模型的多语言拓展版本。该模型能将50多种语言的文本和图像映射到同一向量空间,支持多语言图像搜索和零样本图像分类。通过sentence-transformers库,用户可以方便地使用该模型。模型采用多语言知识蒸馏技术,将CLIP原始向量空间对齐到多语言空间。这为跨语言图像搜索和理解提供了有力支持,是图像-文本多语言处理的有效工具。
LaVIT - 大语言模型理解生成视觉内容的统一框架
GithubLaVIT多模态大语言模型开源项目视觉内容理解视觉内容生成预训练策略
LaVIT项目是一个创新的多模态预训练框架,旨在增强大语言模型处理视觉内容的能力。该项目通过动态离散视觉标记化技术,将图像和视频转换为离散标记序列,使大语言模型能够理解和生成视觉内容。LaVIT支持图像和视频的理解、生成,以及多模态提示生成,为计算机视觉和自然语言处理的融合提供了新的可能性。
CLIP-ViT-B-32-xlm-roberta-base-laion5B-s13B-b90k - 具备零样本学习与多语言支持的图像模型
CLIP ViT-B/32GithubHuggingfaceLAION-5B图像分类多语言性能开源项目模型零样本学习
该模型基于LAION-5B数据集和OpenCLIP技术,能够进行零样本图像分类和图像-文本检索。通过结合CLIP ViT-B/32和xlm roberta,这一模型在各种图像任务中显示出较高性能。同时,其多语言能力经验证,可提升imagenet1k等多语言数据集上的表现,尤其在意大利语和日语测试中效果显著。依托于高效的OpenCLIP训练,模型在mscooco和flickr30k数据集上有较大性能提升,是图像生成与分类的可靠选择。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

白日梦AI

白日梦AI提供专注于AI视频生成的多样化功能,包括文生视频、动态画面和形象生成等,帮助用户快速上手,创造专业级内容。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

讯飞绘镜

讯飞绘镜是一个支持从创意到完整视频创作的智能平台,用户可以快速生成视频素材并创作独特的音乐视频和故事。平台提供多样化的主题和精选作品,帮助用户探索创意灵感。

Project Cover

讯飞文书

讯飞文书依托讯飞星火大模型,为文书写作者提供从素材筹备到稿件撰写及审稿的全程支持。通过录音智记和以稿写稿等功能,满足事务性工作的高频需求,帮助撰稿人节省精力,提高效率,优化工作与生活。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号