gta

几何感知注意力机制增强多视图Transformer性能

GTA 多视图Transformer 几何感知注意力神经渲染计算机视觉 Github 开源项目

GTA是一种创新的几何感知注意力机制,旨在提升多视图Transformer的表达能力。这项技术不仅适用于新视角合成和3D场景重建等多视图任务,还可应用于图像生成等2D任务。项目提供了GTA在CLEVR-TR和MSN-Hard数据集上的官方实现代码,并展示了其在ImageNet图像生成中的应用。通过整合几何信息,GTA使Transformer更有效地处理3D空间关系,从而显著提高多视图任务的性能表现。

访问官网

Github

介绍相关项目

pyHGT - 大规模异构和动态图的图神经网络解决方案

Deep Graph LibraryGithubHeterogeneous Graph TransformerOAG DataSetWWW 2020pytorch_geometric开源项目

Heterogeneous Graph Transformer (HGT) 是一种基于 Pytorch Geometric 的图神经网络架构，设计用于处理大规模异构和动态图。项目主要包含核心模型代码、数据接口、训练和验证脚本。用户可以使用预处理好的 OAG 数据集或其他异构图进行训练。关键功能包括异构图卷积层、并行采样和深度图模型训练。安装简单，只需通过 pip 安装相关依赖即可运行。

T2M-GPT - 基于Pytorch的从文本描述到人类动作生成的AI技术

GithubT2M-GPT三维模型人体运动生成开源项目深度学习视觉结果

T2M-GPT, 领先的AI技术, 通过解析文本生成精准的人类动作，已在2023年IEEE/CVF会议展示认可。包含易用的安装、快速指南及训练评估资料，支持多种3D动作数据集。

TransGPT - 开源交通大模型引领智能出行新时代

GithubTransGPT交通大模型多模态开源数据集开源项目评测

TransGPT作为国内首个开源交通大模型，致力于解决实际交通问题。该模型具备交通预测、智能咨询、公共交通服务、交通规划和安全教育等多项功能，为道路、桥梁、隧道和公路运输等领域提供通用知识支持。TransGPT开源了模型、代码和数据，允许免费商用，旨在促进智能交通技术的广泛应用和发展。

3D-deformable-attention - 3D可变形注意力技术提升自动驾驶物体检测精度

3D目标检测BEVFormerDFA3DGithub开源项目深度估计特征提升

3D-deformable-attention项目提出了3D可变形注意力(DFA3D)操作符，用于2D到3D特征提升。该方法首先利用深度估计将2D特征扩展到3D空间，再通过DFA3D聚合3D特征。这种方法缓解了深度歧义问题，并支持逐层特征细化。在多个基准测试中，DFA3D平均提高1.41 mAP，高质量深度信息下最高提升15.1 mAP。研究结果显示DFA3D在自动驾驶3D目标检测等任务中具有较大潜力。

HAT - 激活更多像素的图像超分辨率转换器

GithubHATTransformer图像超分辨率开源项目深度学习计算机视觉

HAT是一个开源的图像超分辨率项目，采用混合注意力转换器架构。它在Set5、Urban100等数据集上达到了最先进水平，参数量为20.8M。HAT还提供了小型模型版本和用于真实世界超分辨率的GAN模型，能够处理各种图像重建任务。

equiformer-pytorch - SE(3)/E(3)等变注意力网络的高效PyTorch实现

AIEquiformerGATv2GithubSE3 Transformers开源项目深度学习

Equiformer-pytorch是一个基于PyTorch的SE(3)/E(3)等变注意力网络实现。该项目采用MLP注意力机制和非线性消息传递，实现了最先进的性能。它支持可逆网络以提高内存效率，并集成了最新的球谐函数稀疏化技术，大幅提升计算效率。Equiformer-pytorch还提供边缘和邻接矩阵支持，适用于蛋白质折叠等各种3D原子图任务。

git-base-coco - 应用于多任务的图像文本生成模型

COCOGITGithubHuggingface图像识别开源项目模型模型训练视觉问答

GIT是一种基于Transformer的图像文本生成模型，进行了COCO数据集的微调。其设计提升了在图像和视频描述以及问答上的能力。模型结合了CLIP图像令牌与文本令牌进行训练，能够有效预测下一个文本令牌。GIT被应用于图像和视频的标题生成、视觉问答和图像分类等视觉任务，利用大量图像文本对进行训练，实现了多样化的视觉语言任务，提升了视觉理解和交互的效果。

TransformerHub - 实现与参考多种Transformer模型

BERTGPTGithubTransformerTransformerHubViT开源项目

此项目实现了多种Transformer架构，包括seq2seq、仅编码器、仅解码器和统一模型，旨在提高编程技能并提供深度学习参考。特色包括多种Attention模块、位置嵌入和采样方法，当前进展是实现DINO模型。项目受到多个开源项目的启发和支持。

Far3D - 突破远距离3D目标检测的新框架，提升环视感知能力

3D目标检测Far3DGithub开源项目深度学习自动驾驶计算机视觉

这是一个创新的稀疏查询框架，专注于解决远距离3D目标检测问题。该项目通过2D目标先验生成自适应3D查询，并利用透视感知聚合模块处理多视角和多尺度特征。还开发了范围调制的3D去噪技术，有效解决了查询错误传播和收敛问题。在Argoverse 2和nuScenes数据集上，展现出优异的性能，推动了环视3D目标检测技术的发展。

vit-pytorch - 通过PyTorch实现多种视觉Transformer变体

GithubPytorchVision Transformer卷积神经网络图像分类开源项目深度学习

本项目展示了如何在PyTorch中实现和使用视觉Transformer（ViT）模型，包括Simple ViT、NaViT、Distillation、Deep ViT等多种变体。利用基于Transformer架构的简单编码器，本项目在视觉分类任务中达到了先进水平。用户可以通过pip进行安装，并参考提供的代码示例进行模型加载和预测。项目还支持高级功能如知识蒸馏、变分图像尺寸训练和深度模型优化，适用于多种视觉任务场景。

相关项目

项目侧边栏1

项目侧边栏2

推荐项目

Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com

@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号