Project Icon

paligemma-3b-pt-448

多语言视觉语言模型 适用于多种图像相关任务

PaliGemma-3b-pt-448是一款结合SigLIP视觉模型和Gemma语言模型的多语言视觉语言模型。该模型支持图像和文本输入,生成文本输出,适用于图像描述、视觉问答和文本阅读等任务。在多项基准测试中表现优异,尤其擅长处理高分辨率图像。研究人员和开发者可将其作为预训练模型,用于微调各类视觉语言应用。

MGM-7B - 基于LLaMA的开源多模态图文理解生成模型
GithubHuggingfaceMGM-7B人工智能图像理解多模态模型大语言模型开源项目模型
MGM-7B是基于LLaMA架构开发的多模态语言模型,通过Vicuna模型微调实现高清图像理解和生成能力。作为MGM系列的组成部分,该开源项目提供了从2B到34B多个参数规模版本,支持密集模型和MoE模型架构。模型使用多模态指令数据集训练,适用于计算机视觉和自然语言处理研究。
ViT-L-16-SigLIP-384 - 基于SigLIP的先进视觉语言模型实现零样本图像分类
GithubHuggingfaceSigLIP图像分类开源项目模型深度学习自然语言处理计算机视觉
ViT-L-16-SigLIP-384是一个在WebLI数据集上训练的SigLIP模型,专门用于语言-图像预训练。这个模型支持对比式图像-文本学习和零样本图像分类,已从JAX格式转换为PyTorch,可兼容OpenCLIP和timm库。它在视觉-语言处理方面表现出色,能够应用于多种计算机视觉任务,如图像分类和跨模态检索。
glm-4-9b - 开源预训练模型GLM-4-9B实现多语言及多任务处理能力
GLM-4-9BGithubHuggingface多语言支持开源模型开源项目模型自然语言处理预训练模型
作为GLM-4系列的开源版本,GLM-4-9B在语义理解、数学计算、逻辑推理等方面展现出优秀性能。模型支持26种语言处理、多轮对话、代码执行及工具调用功能,具备128K上下文处理能力。其扩展版本包括支持1M上下文的Chat版本和支持视觉任务的GLM-4V-9B多模态模型。
llama3-llava-next-8b - 基于Llama 3的开源多模态视觉语言AI模型
GithubHuggingfaceLLaVA人工智能多模态模型开源项目机器学习模型深度学习
LLaVA-NeXT-8b是基于Meta-Llama-3-8B-Instruct的开源多模态模型,通过558K图文对和超过700K多模态指令数据训练而成。该模型集成视觉理解与文本生成能力,支持图像描述、视觉问答等任务。模型采用高效的分布式训练方法,训练时间约15-20小时。目前仅供学术研究使用,商业应用受限。
Gemma-2-9B-It-SPPO-Iter3-GGUF - 探讨Gemma-2-9B模型量化版本的性能与存储选择
Gemma-2-9B-It-SPPO-Iter3GithubHuggingface下载指南开源项目数据集模型量化高性能
该项目利用llama.cpp进行量化,推出多种Gemma-2-9B-It-SPPO-Iter3模型版本以适应不同的内存及性能需求。用户可按RAM和VRAM状况选择合适的量化格式,如高质量的Q6_K_L或经济型IQ2_M。量化文件大小介于4GB至37GB之间,且可通过Huggingface下载。根据VRAM选择合适模型尺寸,有助于优化运行速度,并提供多样化选项以满足不同性能与存储需求。
vip-llava-7b-hf - 基于自然视觉提示的多模态语言模型
AI聊天机器人GithubHuggingfaceViP-LLaVA图像识别多模态AI开源项目模型视觉语言处理
VipLLaVA在LLaVA基础上引入自然视觉提示训练机制,通过边界框和指向箭头等视觉标记增强模型的图像理解能力。作为基于Transformer架构的多模态模型,VipLLaVA支持多图像输入和复杂视觉查询处理。该模型通过微调LLaMA/Vicuna实现,可集成到transformers库中实现图像文本交互,并支持4位量化和Flash Attention 2优化部署。
llava-interleave-qwen-0.5b-hf - 多模态模型中的图像到文本生成的应用与研究
GithubHuggingfaceLLaVA Interleave图像文本转换多模态模型开源项目机器学习模型自然语言处理
LLaVA Interleave是基于变换器架构进行优化的开源自回归语言模型,专注于多模态大模型和聊天机器人的研究,支持多图像和多提示生成,适用于计算机视觉和自然语言处理领域的研究人员和爱好者。在遵循开放许可证要求的前提下,模型提升了图像到文本的生成能力。通过4比特量化和Flash Attention 2优化策略,显著提高了生成效率。
LLM-groundedDiffusion - 优化文本到图像合成的提示理解能力
GPT-4GithubHuggingFaceLLM-grounded DiffusionStable DiffusionTMLR开源项目
本项目通过将大型语言模型(LLM)与文本到图像扩散模型结合,提高了提示理解能力。LLM负责解析文本请求,生成中间表示如图像布局,最终通过稳定扩散模型生成高质量图像。项目支持多种生成方法和开源模型,用户可自行设置实现自托管,从而节约API调用成本。项目更新频繁,包括支持高分辨率生成和集成SDXL精炼器等功能。
Groma - 多模态大语言模型Groma的视觉定位技术
GithubGroma区域理解多模态大语言模型开源项目视觉上下文视觉标记
Groma是一款多模态大语言模型,具有出色的区域理解和视觉定位功能,能够处理用户定义的区域输入并生成基于视觉内容的长文本回答。Groma采用独特的视觉标记和外部模块进行定位,在多模态引用表达理解基准方面表现优秀,并提供详细的安装、数据准备和训练指南,方便用户进行自定义训练。
pixel - 像素编码语言模型,无需固定词汇表实现多语言处理
BERTGithubPIXELVision Transformer图像编码开源项目语言模型
PIXEL是一个将文本渲染为图像进行语言处理的模型,消除了固定词汇表的需求。在同样的数据上,PIXEL在非拉丁脚本的语法和语义处理上优于BERT。PIXEL由文本渲染器、编码器和解码器组成,采用ViT-MAE技术实现图像级语言模型。用户可以通过Gradio演示体验PIXEL,并查看预训练和微调指南。未来将提供渲染指南、优化模型及HuggingFace transformers的集成。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

稿定AI

稿定设计 是一个多功能的在线设计和创意平台,提供广泛的设计工具和资源,以满足不同用户的需求。从专业的图形设计师到普通用户,无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑,稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合,帮助用户轻松实现创意设计。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号