Project Icon

NATTEN

高效实现多维滑动窗口自注意力的开源库

NATTEN是一个开源库,专门用于快速实现Neighborhood Attention。该项目支持1D、2D和3D问题空间,提供naive、GEMM以及新型Fused Neighborhood Attention (FNA)等多种后端实现。FNA引入反向传播支持,显著提高了模型训练效率。NATTEN兼容PyTorch 2.0及更高版本,同时支持CPU和CUDA后端,并实现了因果掩码、可变参数和相对位置偏置等功能。

gta - 几何感知注意力机制增强多视图Transformer性能
GTAGithub几何感知注意力多视图Transformer开源项目神经渲染计算机视觉
GTA是一种创新的几何感知注意力机制,旨在提升多视图Transformer的表达能力。这项技术不仅适用于新视角合成和3D场景重建等多视图任务,还可应用于图像生成等2D任务。项目提供了GTA在CLEVR-TR和MSN-Hard数据集上的官方实现代码,并展示了其在ImageNet图像生成中的应用。通过整合几何信息,GTA使Transformer更有效地处理3D空间关系,从而显著提高多视图任务的性能表现。
AbSViT - 创新视觉注意力模型实现自适应分析合成
AbSViTGithub图像分类开源项目视觉注意力计算机视觉语义分割
AbSViT是一个创新视觉注意力模型,采用分析合成方法实现自适应的自上而下注意力机制。该模型在ImageNet分类和语义分割任务中表现优异,尤其在鲁棒性测试中展现出色性能。AbSViT能够适应单目标和多目标场景,并根据不同问题动态调整注意力。这一模型为计算机视觉领域开辟了新的研究方向,有望在多种视觉任务中发挥重要作用。
ncnn - 移动端神经网络推理框架
Githubncnn开源项目深度学习神经网络移动平台腾讯
ncnn 是一个专为移动端设计,无第三方依赖的开源神经网络推理框架。它支持跨平台功能,低内存占用及在手机CPU上的高速运算能力。利用 ncnn,开发者能够迅速在移动应用中部署深度学习模型,加入智能化功能。该框架已在众多应用程序中使用,如QQ和微信。同时,ncnn 支持 Vulkan API,优化了GPU加速功能,致使在移动设备上表现卓越。
fann - 高性能开源神经网络库
FANNGithub开源库开源项目机器学习神经网络跨平台
FANN是一个用C语言实现的开源神经网络库,支持多层网络结构和多种连接方式。它具备跨平台兼容性、高性能计算能力和易用性,提供丰富的训练算法和激活函数。该库支持15种以上编程语言绑定,附带完整文档和图形界面,适用于研究和商业开发。FANN让用户能够便捷地构建、训练和部署神经网络模型。作为一个广受欢迎的项目,FANN日均下载量约100次,支持RPROP和Quickprop等多种训练方法,实现了多种激活函数,并可在固定点和浮点数系统上运行。其执行速度比类似库快达150倍,同时保持了良好的灵活性。FANN持续维护,为人工智能研究和应用提供了可靠的基础设施。
fnet-base - FNet模型采用傅里叶变换实现高效自然语言处理
FNetGLUE benchmarkGithubHuggingface傅里叶变换开源项目模型模型预训练自然语言处理
FNet是一种创新型自然语言处理模型,通过傅里叶变换替代传统注意力机制,提高了计算效率。该模型在C4数据集上预训练,采用掩码语言建模和下一句预测任务。在GLUE基准测试中,FNet达到BERT模型93%的性能,微调速度快32%。这种架构为大规模文本处理应用提供了高效选择。
mt-dnn - 多任务深度神经网络在自然语言理解中的最新应用
GithubMT-DNNPyTorch多任务深度神经网络开源项目自然语言理解预训练模型
该项目实现了基于PyTorch的多任务深度神经网络(MT-DNN),主要用于自然语言理解。最新版本添加了语言模型预训练和微调的对抗性训练功能。用户可以使用pip安装或通过Docker快速启动,项目提供详细的训练和微调步骤,支持序列标注和问答任务。此外,项目包含模型嵌入提取和训练加速功能。目前由于政策变化,公共存储解决方案暂不提供。
FasterViT - 高效分层注意力的视觉transformer新突破
FasterViTGithub图像分类层级注意力机制开源项目目标检测视觉Transformer
FasterViT是一种创新的视觉transformer模型,采用分层注意力机制高效捕获短程和长程信息。在ImageNet分类任务中,FasterViT实现了精度和吞吐量的新平衡,无需额外训练数据即达到最先进水平。该项目提供多种预训练模型,适应不同计算资源和精度需求,支持任意分辨率输入,为目标检测、分割等下游任务提供灵活选择。
perceiver-pytorch - Perceiver模型的PyTorch实现 迭代注意力处理多模态数据
GithubPerceiver开源项目注意力机制深度学习神经网络计算机视觉
perceiver-pytorch项目实现了Perceiver和PerceiverIO模型。这些模型采用迭代注意力机制,能够处理图像、视频和文本等多种输入数据。项目提供灵活的配置选项,包括输入通道数、频率编码和注意力头数等。通过语言模型示例,展示了PerceiverIO架构的通用性。该实现适合处理复杂多模态输入的深度学习研究和应用。项目提供了简单易用的API,支持快速集成到现有PyTorch项目中。代码实现了原论文中的核心概念,如交叉注意力和自注意力机制。此外,项目还包含了实验性的自下而上注意力版本,为研究人员提供了更多探索空间。
attention-is-all-you-need-pytorch - PyTorch版Transformer模型,采用自注意力机制
BPEGithubPyTorchTransformer modelWMT 2014 英德翻译开源项目自注意力机制
本项目基于《Attention is All You Need》论文实现了PyTorch版Transformer模型,利用自注意力机制替代传统的卷积和循环结构,在WMT 2014英德翻译任务中表现出色。项目支持模型训练和翻译,部分字节对编码相关部分尚未完全测试,仍在开发中。提供详细的教程,包括数据预处理、模型训练和测试步骤,为用户提供全面指导。
ringattention - 创新注意力机制大幅提升Transformer上下文处理能力
Blockwise TransformersGPUGithubJaxRing AttentionTPU开源项目
ringattention项目实现Ring Attention和Blockwise Transformers技术,显著提升Transformer模型上下文处理能力。通过跨设备分布式计算和通信重叠,模型可处理长达数千万个token的序列,无需增加开销。该技术支持causal block和cache index,为大规模语言模型训练提供高效解决方案,特别适用于超长上下文处理场景。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

稿定AI

稿定设计 是一个多功能的在线设计和创意平台,提供广泛的设计工具和资源,以满足不同用户的需求。从专业的图形设计师到普通用户,无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑,稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合,帮助用户轻松实现创意设计。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号