Project Icon

gta

几何感知注意力机制增强多视图Transformer性能

GTA是一种创新的几何感知注意力机制,旨在提升多视图Transformer的表达能力。这项技术不仅适用于新视角合成和3D场景重建等多视图任务,还可应用于图像生成等2D任务。项目提供了GTA在CLEVR-TR和MSN-Hard数据集上的官方实现代码,并展示了其在ImageNet图像生成中的应用。通过整合几何信息,GTA使Transformer更有效地处理3D空间关系,从而显著提高多视图任务的性能表现。

Multimodal-GPT - 整合视觉与语言功能的多模态对话机器人
GithubOpenFlamingo多模态GPT开源项目联合训练视觉指令语言模型
Multimodal-GPT是一个基于OpenFlamingo多模态模型的项目,通过结合视觉指令和语言指令数据的联合训练,有效提升模型性能。该项目支持VQA、图像描述、视觉推理、文本OCR和视觉对话等多种数据类型,并利用LoRA进行参数高效的微调。探索Multimodal-GPT的广泛应用可能性。
GameFormer - 结合游戏理论的自动驾驶交互预测规划模型
GameFormerGithubTransformer交互预测开源项目自动驾驶规划
GameFormer是一个创新的自动驾驶AI项目,结合游戏理论和Transformer架构进行交互式预测和规划。项目提供Waymo开放运动数据集上的交互预测联合模型代码,以及动态场景的开环规划实现。GameFormer提高了预测准确性和自动驾驶系统的决策能力,为智能交通系统研究开辟新方向。
AutoStudio - 提升多轮交互图像生成的主体一致性
AutoStudioGithub主体一致性多轮交互式图像生成大语言模型开源项目稳定扩散
AutoStudio是一个创新的多代理框架,专注于解决多轮交互式图像生成中的主体一致性问题。该框架包含主体管理器、布局生成器、监督器和绘图器四个核心组件。通过引入并行U-Net和主体初始化生成方法,AutoStudio实现了连贯多主体图像序列的生成。在CMIGBench基准测试中,该框架在平均Fréchet Inception Distance和平均字符-字符相似度方面分别提升了13.65%和2.83%,展示了其在多轮交互中保持多主体一致性的优异表现。
FasterTransformer - 基于NVIDIA平台的高性能Transformer编解码器实现与调优
BERTFasterTransformerGPTGithubNVIDIATensorRT-LLM开源项目
FasterTransformer不仅支持多框架集成,还针对NVIDIA新一代GPU优化了编解码性能,极大提升了操作效率和处理速度。包含模型支持、性能对比及API演示的详细文档,有助于用户深入了解并有效使用FasterTransformer。
git-base - 微软GIT-base模型 图像到文本的多功能视觉语言处理工具
GITGithubHuggingface图像到文本开源项目微软模型自然语言处理计算机视觉
GIT-base是微软开发的基于Transformer的图像到文本生成模型。该模型能够生成图像和视频的文本描述,支持视觉问答等多种应用。GIT-base采用CLIP图像tokens和文本tokens进行条件训练,基于1000万图文对数据集。作为一个灵活多功能的视觉语言处理工具,GIT-base为图像理解和跨模态任务提供了新的解决方案。
efficientvit - EfficientViT多尺度线性注意力用于高分辨率密集预测
EfficientViTGithub图像分割开源项目模型优化深度学习计算机视觉
EfficientViT是一种新型ViT模型,专注于高效处理高分辨率密集预测视觉任务。其核心是轻量级多尺度线性注意力模块,通过硬件友好操作实现全局感受野和多尺度学习。该项目提供图像分类、语义分割和SAM等应用的预训练模型,在性能和效率间达到平衡,适合GPU部署和TensorRT优化。
DUSt3R_ViTLarge_BaseDecoder_512_dpt - ViT架构的多分辨率3D几何视觉模型用于深度估计
DUSt3RGithubHuggingface三维视觉图像处理开源项目模型深度学习计算机视觉
该模型使用ViT-Large编码器和ViT-Base解码器构建,采用DPT结构设计。支持处理512x384至512x160等多种分辨率图像,为3D几何视觉提供简化实现方案。开发者可通过PyTorch快速部署使用,模型由NAVER开源并遵循CC BY-NC-SA 4.0许可协议。
LITv2 - 基于HiLo注意力的快速视觉Transformer
GithubHiLo注意力LITv2图像分类开源项目目标检测视觉Transformer
LITv2是一种基于HiLo注意力机制的高效视觉Transformer模型。它将注意力头分为两组,分别处理高频局部细节和低频全局结构,从而在多种模型规模下实现了优于现有方法的性能和更快的速度。该项目开源了图像分类、目标检测和语义分割任务的预训练模型和代码实现。
UrbanGPT - 时空大语言模型助力城市智能分析与建模
GithubUrbanGPT城市任务开源项目指令微调时空大语言模型预训练
UrbanGPT是一款创新的时空大语言模型,融合时空依赖性编码器和指令微调范式。该模型能够理解复杂的时空相互依赖关系,在数据稀缺情况下实现全面准确的预测。UrbanGPT在多种城市任务中展现出优秀的泛化能力,尤其在零样本场景下表现出色,为城市规划和管理提供了有力的智能分析支持。
Awesome-3D-AIGC - 3D生成AI前沿资源与研究综述
3D AIGC3D建模Github开源项目深度学习生成式AI计算机视觉
该项目汇集3D人工智能生成内容(AIGC)领域的最新论文和开源资源,涵盖文本到3D生成、图像到3D生成、3D编辑、人体头像生成等多个研究方向。项目提供开源实现、数据集和教程视频等实用资源,帮助研究者和开发者跟踪3D AIGC技术的最新进展,为相关创新和应用提供参考。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号