Project Icon

ViT-SO400M-14-SigLIP

基于SigLIP的视觉-语言模型实现零样本图像分类

ViT-SO400M-14-SigLIP是基于WebLI数据集训练的视觉-语言预训练模型,采用sigmoid损失函数进行图像和文本的联合学习。该模型在零样本图像分类任务中表现出色,具有良好的跨模态理解能力。通过OpenCLIP和timm库,用户可以方便地使用该模型生成图像和文本嵌入。ViT-SO400M-14-SigLIP适用于图像分类、图像检索等多种计算机视觉和自然语言处理任务。

fashion-clip - 专为时尚领域优化的对比语言视觉学习模型
CLIPFashionCLIPGithubHugging Face开源项目时尚行业模型
FashionCLIP是一个为时尚行业优化的CLIP模型,用于提升商品检索、分类和时尚分析的表现。通过超过70万对图像和文本数据进行微调,FashionCLIP在零样本场景下表现出色。更新版FashionCLIP 2.0采用更多训练数据,显著提高了FMNIST、KAGL和DEEP数据集的性能。项目提供开源代码和模型权重,可在Hugging Face上获取,并支持多种API和教程便于上手。
LLaMA-VID - 支持长视频处理的多模态大语言模型
GithubLLaMA-VID多模态大语言模型开源项目视觉语言模型视频理解
LLaMA-VID是一个新型多模态大语言模型,可处理长达数小时的视频。它通过增加上下文令牌扩展了现有框架的能力,采用编码器-解码器结构和定制令牌生成策略,实现对图像和视频的高效理解。该项目开源了完整的模型、数据集和代码,为视觉语言模型研究提供了有力工具。
VLDet - 将开放词汇目标检测转化为对象语言对齐学习
GithubICLR 2023VLDet图像文本对开放词汇目标检测开源项目物体语言对齐
VLDet是一种开放词汇目标检测方法,通过学习对象与语言的对齐来直接从图像-文本对训练检测器。基于CLIP的视觉-语言预训练模型,该方法将任务构建为二分图匹配问题,在COCO和LVIS等数据集上实现了领先性能,并可轻松扩展到新目标类别。VLDet为开放词汇目标检测提供了高效的解决方案。
DIVA - 扩散模型辅助CLIP增强视觉理解能力
AI视觉CLIPDIVAGithub开源项目扩散模型迁移学习
DIVA是一种创新方法,利用扩散模型作为视觉助手优化CLIP表示。通过文本到图像扩散模型的生成反馈,DIVA无需配对文本数据即可提升CLIP视觉能力。在MMVP-VLM细粒度视觉评估基准上,DIVA显著提升了CLIP性能,同时保持了其在29个图像分类和检索基准上的强大零样本能力。这为增强视觉语言模型的视觉理解开辟了新途径。
GLIGEN - 开放式条件引导的文本到图像生成模型
GLIGENGithub人工智能开源项目文本到图像生成深度学习计算机视觉
GLIGEN是一个创新的开放式条件引导文本到图像生成模型。它扩展了冻结文本到图像模型的功能,支持框、关键点和图像等多种引导条件。在COCO和LVIS数据集的零样本测试中,GLIGEN大幅超越了现有的有监督布局到图像生成基线。这项技术在开放世界场景下的应用前景广阔,同时也需关注其局限性和伦理影响。
ULIP - 多模态预训练框架实现3D数据理解
3D理解GithubULIP多模态预训练开源项目点云分类零样本分类
ULIP是一种多模态预训练框架,集成了语言、图像和点云数据以增强3D理解能力。该框架适用于多种3D骨干网络,如Pointnet2和PointBERT等,无需增加处理延迟。ULIP-2在此基础上进行了扩展,提高了预训练的可扩展性。项目开源了预训练模型、数据集和使用指南,为3D数据分析奠定了基础。
vit-pytorch - 通过PyTorch实现多种视觉Transformer变体
GithubPytorchVision Transformer卷积神经网络图像分类开源项目深度学习
本项目展示了如何在PyTorch中实现和使用视觉Transformer(ViT)模型,包括Simple ViT、NaViT、Distillation、Deep ViT等多种变体。利用基于Transformer架构的简单编码器,本项目在视觉分类任务中达到了先进水平。用户可以通过pip进行安装,并参考提供的代码示例进行模型加载和预测。项目还支持高级功能如知识蒸馏、变分图像尺寸训练和深度模型优化,适用于多种视觉任务场景。
joytag - 多标签AI图像标记模型 支持5000+标签
AI视觉模型GithubJoyTagViT架构图像标签多标签分类开源项目
JoyTag是基于ViT-B/16架构的AI视觉模型,专用于图像多标签分类。采用Danbooru标记体系,支持5000多个标签,适用于手绘和摄影等多种图像类型。模型在0.4阈值下F1分数达0.578,能为每张图像生成独立标签预测。可用于diffusion模型训练等多种应用场景。
VisualGLM-6B - 一个具备处理图像、中文和英文的能力的开源多模态对话语言模型
GithubVisualGLM-6B图像描述多模态对话模型开源开源项目微调
VisualGLM-6B是一个开源多模态对话语言模型,具备处理图像、中文和英文的能力。该模型继承自强大的ChatGLM-6B基础,增添了6.2亿参数,整合了先进的BLIP2-Qformer技术,达到了语言和视觉数据的高效融合。模型总参数量为7.8亿,展现在多个核心多模态任务上的卓越效能。针对各种应用场景均进行了优化,支持在消费级显卡上运行,降低了使用门槛,拓展了其在学术研究和实务应用中的潜力。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

稿定AI

稿定设计 是一个多功能的在线设计和创意平台,提供广泛的设计工具和资源,以满足不同用户的需求。从专业的图形设计师到普通用户,无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑,稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合,帮助用户轻松实现创意设计。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号