Logo
Project Icon

flash-linear-attention

Triton实现的高效线性注意力模型库

Flash Linear Attention线性注意力模型Triton实现深度学习自然语言处理Github开源项目

Flash Linear Attention是一个基于Triton实现的线性注意力模型库。该项目集成了RetNet、GLA和Based等多种先进模型，实现了高效的token混合和文本生成。兼容Hugging Face Transformers库，提供预训练模型、评估工具和基准测试，为线性注意力技术的研究和应用提供了便利。

GithubGithubHuggingfaceHuggingface论文论文
介绍相关项目
attorch - 易于修改的Python神经网络模块
GithubPyTorchTritonattorch开源项目深度学习神经网络模块
attorch是一个基于OpenAI Triton的PyTorch模块子集，提供易于修改的高效神经网络模块。支持自动混合精度、计算机视觉和自然语言处理相关层。
keras-attention - Keras 兼容的注意力层，支持 Luong 和 Bahdanau 评分函数
Attention LayerBahdanauGithubKerasLuongTensorflow开源项目
Keras Attention Layer 支持 Luong 和 Bahdanau 的评分函数，与 Tensorflow 2.8 至 2.14 兼容。该层易于安装和使用，可根据需求调整参数，广泛应用于提高深度学习模型精度。提供丰富的实例和详细文档，包括在 LSTM 网络中的注意力机制实现，以及 IMDB 数据集和加数任务的实验数据。
MEGABYTE-pytorch - 多尺度Transformer模型实现百万字节序列预测
AI模型GithubMEGABYTEPytorchTransformer开源项目深度学习
MEGABYTE-pytorch是一个基于PyTorch实现的多尺度Transformer模型，专门用于预测百万字节长度的序列。该项目具有灵活的配置选项，支持多个本地模型，并整合了Flash Attention等先进技术。MEGABYTE-pytorch通过简洁的API接口实现长序列处理、模型训练和文本生成。此外，项目提供了基于enwik8数据集的训练示例，为开发者提供了实用参考。
attention-is-all-you-need-pytorch - PyTorch版Transformer模型，采用自注意力机制
BPEGithubPyTorchTransformer modelWMT 2014 英德翻译开源项目自注意力机制
本项目基于《Attention is All You Need》论文实现了PyTorch版Transformer模型，利用自注意力机制替代传统的卷积和循环结构，在WMT 2014英德翻译任务中表现出色。项目支持模型训练和翻译，部分字节对编码相关部分尚未完全测试，仍在开发中。提供详细的教程，包括数据预处理、模型训练和测试步骤，为用户提供全面指导。
gpt-fast - PyTorch原生高效文本生成项目
GithubPyTorchgpt-fast开源项目性能优化文本生成模型量化
gpt-fast是一个基于PyTorch的高效Transformer文本生成项目,代码精简(<1000行Python),仅依赖PyTorch和sentencepiece。项目特点包括极低延迟、int8/int4量化、推测解码和张量并行,支持NVIDIA和AMD GPU。gpt-fast不是框架或库,而是展示原生PyTorch性能的示例。它支持LLaMA系列和Mixtral 8x7B等模型,提供详细基准测试和多种优化技术。该项目实现了高效的文本生成,展现了PyTorch在AI领域的强大性能。
NATTEN - 高效实现多维滑动窗口自注意力的开源库
GithubNATTENNeighborhood Attention开源项目深度学习自注意力机制计算机视觉
NATTEN是一个开源库，专门用于快速实现Neighborhood Attention。该项目支持1D、2D和3D问题空间，提供naive、GEMM以及新型Fused Neighborhood Attention (FNA)等多种后端实现。FNA引入反向传播支持，显著提高了模型训练效率。NATTEN兼容PyTorch 2.0及更高版本，同时支持CPU和CUDA后端，并实现了因果掩码、可变参数和相对位置偏置等功能。
based - 结合短窗口和线性注意力的高效语言模型架构
BasedGithub召回开源项目效率线性注意力语言模型
Based是一种创新的语言模型架构,结合短窗口注意力和全局线性注意力,实现次二次复杂度的高效依赖建模。该模型在多项基准测试中表现优异,尤其擅长需要长程记忆的任务。项目提供预训练模型、训练评估代码和合成数据实验,展示了其在召回与吞吐量平衡方面的优势。研究人员可利用这些资源深入探索和优化这一新型语言模型架构。
attention-ocr - 基于注意力机制的视觉OCR模型，实现与导出工具
Attention-OCRGithubOCRTensorflow人工智能图像识别开源项目
该项目提供了基于注意力机制的OCR模型，结合了CNN与LSTM，用于图像识别，并能够导出为SavedModel或frozen graph格式。用户可以通过生成TFRecords数据集、训练、测试及可视化等步骤完整运行该OCR系统。项目还支持通过Tensorflow Serving提供REST API服务，并可以在Google Cloud ML Engine上进行模型训练。目前该项目依赖Tensorflow 1.x，未来计划升级到Tensorflow 2。
h-transformer-1d - 高效序列学习的分层注意力变换器实现
GithubH-Transformer-1DTransformer序列学习开源项目神经网络长程注意力
H-Transformer-1D是一个开源项目，实现了基于分层注意力机制的Transformer模型。这种实现使序列学习达到亚二次方复杂度，在Long Range Arena基准测试中表现优异。项目支持可变序列长度、可逆性和令牌移位等功能，适用于长序列数据处理。该实现主要提供编码器（非自回归）版本，为自然语言处理和机器学习领域提供了新的研究方向。
tensorrtllm_backend - TensorRT-LLM后端 适用于Triton的大语言模型推理引擎
GPUGithubTensorRT-LLMTriton开源项目推理服务深度学习
TensorRT-LLM Backend是Triton Inference Server的专用后端，用于部署和服务TensorRT-LLM模型。它集成了in-flight batching和paged attention等先进特性，显著提升了大语言模型的推理效率。通过简洁的接口设计，此后端使TensorRT-LLM模型能无缝集成到Triton服务中，为用户提供高性能、可扩展的AI推理解决方案。
相关项目
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

白日梦AI

白日梦AI提供专注于AI视频生成的多样化功能，包括文生视频、动态画面和形象生成等，帮助用户快速上手，创造专业级内容。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

讯飞绘镜

讯飞绘镜是一个支持从创意到完整视频创作的智能平台，用户可以快速生成视频素材并创作独特的音乐视频和故事。平台提供多样化的主题和精选作品，帮助用户探索创意灵感。

Project Cover

讯飞文书

讯飞文书依托讯飞星火大模型，为文书写作者提供从素材筹备到稿件撰写及审稿的全程支持。通过录音智记和以稿写稿等功能，满足事务性工作的高频需求，帮助撰稿人节省精力，提高效率，优化工作与生活。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号