Logo
Project Icon

vit_large_patch14_clip_224.openai_ft_in12k_in1k

视觉变压器用于图像分类和特征嵌入的高级应用

模型比较开源项目模型GithubHuggingfaceWIT-400M图像分类CLIPVision Transformer

OpenAI开发的视觉变压器(ViT)模型在WIT-400M图像文本对上通过CLIP进行预训练，并在ImageNet-12k和ImageNet-1k上微调，适用于图像分类与特征嵌入生成。模型运行在timm库中，具有高参数量与计算效率，适用于高精度图像识别，支持实时与批量处理应用。

GithubGithubHuggingfaceHuggingface论文论文
介绍相关项目
VILA - 创新的视觉语言模型预训练方法
GithubVILA多模态开源项目视觉语言模型量化预训练
VILA是一种新型视觉语言模型，采用大规模交错图像-文本数据预训练，增强了视频和多图像理解能力。通过AWQ 4位量化和TinyChat框架，VILA可部署到边缘设备。该模型在视频推理、上下文学习和视觉思维链等方面表现出色，并在多项基准测试中获得了优异成绩。项目完全开源，包括训练和评估代码、数据集以及模型检查点。
Open-MAGVIT2 - 自回归视觉生成新突破 大幅提升图像分词性能
GithubOpen-MAGVIT2图像分词器大规模词表开源项目自回归模型视觉生成
Open-MAGVIT2是一个创新的自回归视觉生成项目，采用无查找技术和262144大小的码本，克服了VQGAN的局限性。该项目用PyTorch重新实现MAGVIT2分词器，在图像分词方面取得显著进展，8倍下采样时rFID达到0.39。项目致力于推动自回归视觉生成领域发展，目前处于积极开发阶段，未来计划拓展至视频生成领域。
wit - 全球最大多语言多模态数据集，助力机器学习模型优化
GithubWITWikipedia多模态开源项目数据集机器学习
Wikipedia-based Image Text (WIT) 数据集包括3760万张图片与文本对，涵盖108种语言和1150万独特图片。该数据集旨在支持多模态机器学习模型的训练，特别是在多语言环境下的有效性已得到广泛验证。WIT数据集获得了WikiMedia基金会的年度研究奖，并且现已开放下载，为研究人员和开发者提供了宝贵的资源和支持。
CLIP-ReID - 基于CLIP的无标签图像重识别新方法
CLIP-ReIDGithub人工智能图像重识别开源项目视觉语言模型计算机视觉
CLIP-ReID提出了一种无需具体文本标签的图像重识别新方法。该方法基于CLIP视觉-语言模型,结合CNN和ViT架构,并运用SIE和OLP等技术进行优化。在MSMT17等多个基准数据集上,CLIP-ReID展现了领先的性能,为图像重识别领域开辟了新的研究方向。
MIMDet - 掩码图像建模应用于目标检测的开源项目
GithubMIMDet卷积神经网络实例分割开源项目物体检测视觉变换器
MIMDet是一个利用掩码图像建模技术的开源项目，能够提升预训练的Vanilla Vision Transformer在目标检测中的表现。此框架采用混合架构，用随机初始化的卷积体系取代预训练的大核Patchify体系，实现多尺度表示无需上采样。在COCO数据集上的表现亮眼，使用ViT-Base和Mask R-CNN模型时，分别达到51.7的框AP和46.2的掩码AP；使用ViT-L模型时，成绩分别是54.3的框AP和48.2的掩码AP。
Transformer-in-Vision - 深入探索Transformer在计算机视觉领域的最新研究与资源
AI模型ChatGPTGithubTransformer-in-Vision多模态开源项目计算机视觉
本页面收录并介绍了最新的基于Transformer的计算机视觉研究和相关资源，内容涵盖机器人应用、视频生成、文本-图像检索、多模态预训练模型等领域。用户可访问开源代码和论文链接，如ChatGPT在机器人领域的应用、DIFFUSIONDB、LAION-5B、LAVIS、Imagen Video和Phenaki等。页面会不定期更新，提供Transformer在视觉领域应用的全面信息和资源汇总。
EVA - 推进大规模视觉表示学习的前沿
CLIPEVAGithub多模态学习开源项目自监督学习视觉表示
EVA是北京智源人工智能研究院开发的视觉表示学习模型系列。它包括多个子项目，如EVA-01和EVA-CLIP，致力于探索大规模掩码视觉表示学习的极限和改进CLIP训练技术。这些模型在主流平台上提供，为计算机视觉研究提供了有力支持。EVA项目涵盖基础模型、自监督学习和多模态学习等前沿领域。
joytag - 多标签AI图像标记模型 支持5000+标签
AI视觉模型GithubJoyTagViT架构图像标签多标签分类开源项目
JoyTag是基于ViT-B/16架构的AI视觉模型，专用于图像多标签分类。采用Danbooru标记体系，支持5000多个标签，适用于手绘和摄影等多种图像类型。模型在0.4阈值下F1分数达0.578，能为每张图像生成独立标签预测。可用于diffusion模型训练等多种应用场景。
big_vision - 基于Jax/Flax的大规模视觉模型训练框架
GithubJaxbig vision开源项目模型训练深度学习计算机视觉
Big Vision是一个用于训练大规模视觉模型的开源代码库。它基于Jax/Flax构建，支持在Cloud TPU VM和GPU上运行。该项目采用tf.data和TensorFlow Datasets实现高效的数据处理，可无缝扩展至2048个TPU核心的分布式环境。Big Vision涵盖了视觉Transformer、多模态学习、知识蒸馏等多个研究方向，为大规模视觉实验提供了可靠的基础。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

白日梦AI

白日梦AI提供专注于AI视频生成的多样化功能，包括文生视频、动态画面和形象生成等，帮助用户快速上手，创造专业级内容。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

讯飞绘镜

讯飞绘镜是一个支持从创意到完整视频创作的智能平台，用户可以快速生成视频素材并创作独特的音乐视频和故事。平台提供多样化的主题和精选作品，帮助用户探索创意灵感。

Project Cover

讯飞文书

讯飞文书依托讯飞星火大模型，为文书写作者提供从素材筹备到稿件撰写及审稿的全程支持。通过录音智记和以稿写稿等功能，满足事务性工作的高频需求，帮助撰稿人节省精力，提高效率，优化工作与生活。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号