Project Icon

oneformer_ade20k_swin_large

OneFormer 多任务通用图像分割模型

OneFormer是一个基于ADE20k数据集和Swin大型骨干网络训练的通用图像分割框架。它通过单一模型和单次训练,实现了语义、实例和全景分割多任务处理,性能超越现有专用模型。该模型采用任务令牌技术,实现了训练时的任务引导和推理时的任务动态适应。OneFormer为图像分割领域带来了新的解决方案,可应用于多种图像分割任务。

VoxFormer - 基于稀疏体素变换器的相机驱动3D语义场景补全方法
3D语义场景补全CVPRGithubVoxFormer开源项目计算机视觉语义分割
VoxFormer是一种基于Transformer的创新框架,仅通过2D图像即可生成完整的3D语义体素。它采用两阶段设计:先从深度估计生成可见占据体素查询,再通过密集化阶段生成完整3D体素。在SemanticKITTI数据集上,VoxFormer在几何和语义方面分别提升了20.0%和18.1%,同时将训练所需GPU内存减少约45%。这为相机驱动的3D语义场景补全任务提供了一个强有力的基线。
poolformer - 视觉任务中MetaFormer架构的应用及其效能
CVPR 2022GithubMetaFormerPoolFormerTransformer图像分类开源项目
该项目展示了MetaFormer架构在视觉任务中的应用,特别通过简单的池化操作实现token混合。研究证实,基于这种方法的PoolFormer模型在ImageNet-1K验证集上表现优于DeiT和ResMLP。此外,后续工作介绍了IdentityFormer、RandFormer等MetaFormer基线模型。本项目证明了Transformer模型的竞争力主要来源于其通用架构MetaFormer,而非特定的token混合器。
caformer_b36.sail_in22k_ft_in1k - CAFormer图像分类模型基于MetaFormer设计
CAFormerGithubHuggingfaceImageNettimm图像分类开源项目模型特征提取
CAFormer基于MetaFormer架构,支持由ImageNet-22k预训练和ImageNet-1k微调,旨在增强图像识别能力。拥有98.8M参数与23.2 GMACs,擅长处理224x224像素图像。通过TIMM库访问,这款图像分类/特征骨干模型能够提升图像理解及特征提取,适用于图像分类、特征提取和图像嵌入等多种视觉任务。
CrossFormer - 融合跨尺度注意力的高效视觉Transformer
CrossFormer++Github图像分类开源项目目标检测视觉Transformer跨尺度注意力
CrossFormer++是一种创新的视觉Transformer模型,通过跨尺度注意力机制解决了不同尺度对象特征间建立关联的问题。该模型引入跨尺度嵌入层和长短距离注意力等设计,并采用渐进式分组策略和激活冷却层来平衡性能与计算效率。在图像分类、目标检测和语义分割等视觉任务中表现优异,尤其在密集预测任务中效果显著。CrossFormer++为计算机视觉领域提供了一种灵活高效的新型架构。
metaformer - 一系列视觉基线模型
CAFormerConvFormerGithubIdentityFormerMetaFormerRandFormer开源项目
MetaFormer项目推出多款视觉基线模型,包括IdentityFormer、RandFormer、ConvFormer和CAFormer。这些模型在ImageNet-1K数据集上表现出色,根据不同的token mixer架构,如身份映射、全局随机混合、可分离深度卷积和自注意机制,在224x224分辨率下的Top-1准确率均超过80%。特别是CAFormer,在无外部数据或蒸馏的条件下,达到85.5%的准确率记录。这些模型已集成到timm库中,方便应用和扩展。
mit-b0 - 轻量级视觉Transformer用于语义分割
GithubHuggingfaceSegFormerTransformer图像处理开源项目模型深度学习语义分割
mit-b0是SegFormer系列中的轻量级模型,采用分层Transformer编码器架构,在ImageNet-1k数据集上预训练。这个模型专为语义分割任务设计,结合了Transformer的特征提取能力和轻量级MLP解码头。mit-b0在ADE20K等基准测试中表现出色,为研究人员提供了一个可靠的预训练基础,可在特定数据集上进行进一步微调和优化。
poolformer_m36.sail_in1k - MetaFormer架构的PoolFormer图像分类与特征提取模型
GithubHuggingfaceImageNet-1kMetaFormerPoolFormertimm图像分类开源项目模型
poolformer_m36.sail_in1k是一个基于MetaFormer架构的PoolFormer图像分类模型,在ImageNet-1k数据集上训练。该模型拥有5620万参数,支持图像分类、特征图提取和图像嵌入等功能。它能高效处理224x224大小的图像,在保持性能的同时降低计算复杂度。研究人员和开发者可通过timm库轻松使用这一预训练模型,应用于多种计算机视觉任务。
upernet-swin-large - Swin Transformer 与 UperNet 结合的语义分割方法
GithubHuggingfaceSwin TransformerUperNet开源项目模型特征金字塔网络视觉语义分割
UperNet 利用 Swin Transformer 大型网络进行语义分割,框架包含组件如主干网络、特征金字塔网络及金字塔池模块。可与各种视觉主干结合使用,对每个像素预测语义标签,适合语义分割任务,并可在 Hugging Face 平台找到特定任务的优化版本。通过 Swin Transformer 与 UperNet 的结合,用户可在场景理解中实现精确的语义分割。
QFormer - 四边形注意力机制提升视觉Transformer性能
GithubVision Transformer图像分类开源项目注意力机制目标检测计算机视觉
QFormer是一种创新的视觉Transformer模型,采用四边形注意力机制替代传统窗口注意力。该模型通过可学习的四边形回归模块,将默认窗口转换为目标四边形进行计算,从而更好地建模不同形状和方向的目标。在图像分类、目标检测、语义分割和人体姿态估计等多项视觉任务中,QFormer在保持低计算成本的同时,性能显著优于现有的视觉Transformer模型。
GroupMixFormer - 视觉Transformer的群组混合注意力革新
GithubGroupMixFormer图像分类开源项目自注意力机制视觉Transformer计算机视觉
GroupMixFormer是一种创新的视觉Transformer模型,引入群组混合注意力(GMA)机制来增强传统自注意力。GMA可同时捕捉不同尺度的token和群组相关性,显著提升模型表征能力。在多项计算机视觉任务中,GroupMixFormer以较少参数实现了领先性能。其中GroupMixFormer-L在ImageNet-1K分类上达到86.2% Top-1准确率,GroupMixFormer-B在ADE20K分割上获得51.2% mIoU,展现出强大潜力。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号