Project Icon

RADIO

通过多模型融合提升性能的通用视觉基础模型

AM-RADIO是一个将多个大型视觉基础模型蒸馏为单一模型的框架。其核心产物RADIO作为新一代视觉基础模型,在多个视觉任务中表现优异,可作为通用视觉骨干网络使用。RADIO通过蒸馏整合了CLIP、DINOv2和SAM等模型,保留了文本定位和分割对应等特性。在ImageNet零样本分类、kNN和线性探测分割等任务上,RADIO超越了教师模型,同时提升了视觉语言模型的性能。此外,RADIO支持任意分辨率和非方形图像输入,并提供了名为E-RADIO的高效变体。

gill - 使用多模态语言模型的图像生成方法
CC3MGILLGithub图像生成多模态语言模型开源项目训练
GILL模型可处理交互的图像和文本输入以生成文本、检索图像及生成新图像。本文详细介绍了GILL模型的代码、预训练权重、环境设置、预训检查点和视觉嵌入的安装步骤。此外,还包括推理、训练及评估的指南,及启动Gradio演示的操作步骤。更多详情请参阅相关研究论文及项目页面。
CLIP-ViT-B-32-roberta-base-laion2B-s12B-b32k - 零样本图像识别与跨模态检索应用
CLIP ViT-B/32GithubHuggingfaceOpenCLIP图像分类开源项目模型模型评估训练数据
该模型基于OpenCLIP,并利用LAION-5B中的LAION-2B英文子集进行训练,实现了有效的零样本图像分类和跨模态检索。在ImageNet、MSCOCO和Flickr30k测试集上的表现优于基线,适用于图像分类和生成等任务。训练过程中采用32k批次大小处理12B训练样本,并通过VTAB+、COCO和Flickr等数据集进行评估。
Chinese-CLIP - 中文多模态嵌入和检索性能优化的领先方案
Chinese-CLIPGithub图文特征提取开源项目模型下载跨模态检索零样本图像分类
Chinese-CLIP项目,基于大规模中文图文对数据,专门针对中文领域的特点进行优化,提供高效的图文特征计算与相似度测算,实现零样本分类和跨模态检索。该项目改进了多个模型,包括ViT与ResNet结构,并在多个公开数据集上展示了显著的性能提升,为中文处理场景下的企业和研究者提供强大工具。
OmniFusion - 整合多模态数据的先进人工智能系统
GithubOmniFusion图像处理多模态AI模型开源项目深度学习自然语言处理
OmniFusion是一个整合多模态数据的人工智能系统,基于Mistral-7B核心和CLIP-ViT-L视觉编码器。通过创新的适配器机制,该系统能够处理图像等多种数据形式,在图像描述和视觉问答等任务中展现出优秀性能。OmniFusion由AIRI研究所FusionBrain团队与Sber AI合作开发,目前主要处理图像数据,未来计划扩展到音频等更多模态。
recognize-anything - 通用图像识别模型:支持开放域类别和高精度标签生成
GithubRAM++图像识别多模态开源模型开源项目零样本学习
Recognize Anything Model是一系列开源图像识别模型,包括RAM++、RAM和Tag2Text。这些模型能准确识别常见和开放域类别,支持高精度图像标签生成和全面描述。项目提供预训练模型、推理代码和训练数据集,适用于多种计算机视觉任务。模型性能优于现有先进方案,尤其在零样本识别方面表现突出。
dinov2-base-xray-224 - dinov2-base-xray-224放射学模型的发布与应用
AIMI FMsFoundation ModelsGithubHugging FaceHuggingface开源项目放射学模型模型发布
dinov2-base-xray-224是一个放射学领域的基础模型,支持自动化影像分析,新版本现已在Hugging Face推出。
dinov2 - 通过无监督学习构建强大视觉特征的先进方法
DINOv2GithubVision Transformer开源项目自监督学习视觉特征计算机视觉
DINOv2是一种先进的无监督视觉特征学习方法,在1.42亿张未标注图像上预训练后生成高性能、鲁棒的通用视觉特征。这些特征可直接应用于多种计算机视觉任务,仅需简单线性分类器即可实现优异效果。DINOv2提供多种预训练模型,包括带寄存器的变体,在ImageNet等基准测试中表现卓越。
ese_vovnet39b.ra_in1k - 高效实时的VoVNet-v2图像分类解决方案
GithubHuggingfaceImageNet-1kVoVNet-v2timm图像分类开源项目模型特征提取
VoVNet-v2是一种预训练于ImageNet-1k的图像分类模型,含高效计算和低能耗优点,并采用RandAugment优化。适用于特征骨干网络,支持图像分类、特征提取和图像嵌入。其关键性能包括24.6M参数、7.1 GMACs等。通过`timm`库,用户可以实现高效的图像分类和特征提取。模型使用ResNet Strikes Back的训练方案,提高了准确度和应用多样性。
grounding-dino-base - 实现开放集目标检测的创新模型
GithubGrounding DINOHuggingface开源项目模型深度学习物体检测计算机视觉零样本学习
Grounding DINO是一种创新的开放集目标检测模型,结合DINO与文本预训练技术。通过整合文本编码器,该模型将闭集目标检测扩展为零样本目标检测。在COCO数据集上,Grounding DINO达到了52.5 AP的性能。此模型支持研究人员直接进行零样本目标检测,无需额外的标记数据即可识别图像中的物体。
visual-med-alpaca - 生物医学多模态AI模型实现图像理解和复杂问答
AIGithubLLMVisual Med-Alpaca多模态开源项目生物医学
Visual Med-Alpaca是一个参数高效的开源生物医学基础模型,集成了多模态能力。基于LLaMa-7B架构,该模型通过指令微调和视觉模块扩展,可执行放射影像解读和复杂临床问答等任务。仅需一张消费级GPU即可运行,为生物医学领域提供了灵活高效的AI研究工具。该项目仅供学术研究使用。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号