Project Icon

flash-attention-minimal

简化Flash Attention的CUDA和PyTorch最小化实现

flash-attention-minimal是一个开源项目,使用CUDA和PyTorch对Flash Attention进行最小化实现。项目仅用约100行代码完成前向传播,遵循原始论文符号表示,为CUDA初学者提供简明教程。通过与手动注意力机制的性能对比,展示了显著的速度提升。尽管目前存在一些限制,如缺少反向传播和固定块大小,但该项目为理解Flash Attention核心概念提供了有价值的参考资料。

PPO-PyTorch - 使用PyTorch实现的简易PPO算法工具
GithubOpenAI gymPPO-PyTorchProximal Policy Optimization开源项目强化学习超参数调整
该项目提供了一个基于PyTorch的简易PPO算法实现,适用于OpenAI Gym环境,帮助初学者理解PPO。更新内容包括整合离散和连续算法,并引入了线性衰减机制。用户可以通过PPO_colab.ipynb在Google Colab中便捷地训练、测试和绘制图表。项目支持单线程执行,并提供日志记录、可视化和动画生成工具。
deep-learning-v2-pytorch - 深度学习教程与项目实战指南
Deep LearningGithubPyTorch卷积神经网络开源项目生成对抗网络神经网络
本仓库提供 Udacity 深度学习 v7 纳米学位课程的相关资料,包括各种深度学习主题的教程笔记本,涉及卷积神经网络、循环神经网络和生成对抗网络等模型的实现。内容涵盖权重初始化、批量归一化等技术,用户还可以访问项目起始代码,并学习在 AWS SageMaker 上部署模型。
lightly - 简单易用的自监督学习工具,支持自定义骨干模型和分布式训练
GithubLightlyPyTorch多模型支持开源项目自监督学习计算机视觉
这个开源项目提供简单易用的自监督学习工具,支持自定义骨干模型和分布式训练。通过模块化设计,用户可以自由调整损失函数和模型头。项目还提供商业版本,包含用于嵌入、分类、检测和分割任务的预训练模型。此外,平台集成了主动学习和数据策划功能,适用于大规模数据处理和强大算法的应用。
GradCache - 突破GPU/TPU内存限制,实现对比学习无限扩展
GPUGithubGradient CacheJAXPytorch对比学习开源项目
Gradient Cache技术突破了GPU/TPU内存限制,可以无限扩展对比学习的批处理大小。仅需一个GPU即可完成原本需要8个V100 GPU的训练,并能够用更具成本效益的高FLOP低内存系统替换大内存GPU/TPU。该项目支持Pytorch和JAX框架,并已整合至密集段落检索工具DPR。
Firefly - 开源大模型训练平台
FireflyGithubQLoRA大模型训练开源项目指令微调预训练
Firefly作为一个开源大模型训练工具,提供预训练、指令微调和DPO的全面解决方案。支持LoRA、QLoRA等高效训练技术,并涵盖多种主流大模型如Qwen2、Yi-1.5,特别适合显存和资源有限的环境。项目不仅开源多种数据集,还在Open LLM排行榜中展示了QLoRA训练的高效性,并与Unsloth合作,进一步优化了训练效率和显存使用。
joeynmt - 简洁而清晰的NMT模型实现,促进教育和学习
GRUGithubJoey NMTPyTorchTransformer开源项目机器翻译
Joey NMT框架专为教育而设计,提供简明和清晰的代码库,帮助初学者理解RNN和Transformer等经典NMT架构。其主要特点包括模块化设计,便于修改组件及训练流程,保持代码可读性。支持多个注意力机制、不同的分词类型和多语种翻译,包含详细的文档和教程,适用于模型训练、测试和翻译的各个阶段。最新版本引入分布式数据并行和多项优化,兼容最新的Python和PyTorch版本。
UltraFastBERT - 指数级加速的BERT语言模型训练与推理方案
BERTGithubUltraFastBERT开源项目机器学习神经网络语言模型
UltraFastBERT是一个开源项目,旨在通过创新的快速前馈(FFF)层设计实现BERT语言模型的指数级加速。项目提供了完整的训练代码,以及在CPU、PyTorch和CUDA平台上的高效实现。包含训练文件夹、各平台基准测试代码,以及UltraFastBERT-1x11-long模型的配置和权重,可通过HuggingFace轻松加载使用。研究人员可以方便地复现结果,并进一步探索该突破性技术在自然语言处理领域的广泛应用潜力。
efficientdet - EfficientDet目标检测模型的PyTorch实现
COCO数据集EfficientDetGithub开源项目深度学习目标检测计算机视觉
本项目提供了EfficientDet目标检测模型的PyTorch实现。支持COCO数据集的训练、评估和测试,在COCO val2017上达到0.314 mAP。包含预训练权重、视频测试功能和使用说明。适合研究人员和开发者参考使用。
LITv2 - 基于HiLo注意力的快速视觉Transformer
GithubHiLo注意力LITv2图像分类开源项目目标检测视觉Transformer
LITv2是一种基于HiLo注意力机制的高效视觉Transformer模型。它将注意力头分为两组,分别处理高频局部细节和低频全局结构,从而在多种模型规模下实现了优于现有方法的性能和更快的速度。该项目开源了图像分类、目标检测和语义分割任务的预训练模型和代码实现。
commented-transformers - 精细注释的Transformer在PyTorch中的实现
Attention机制BERTGPT-2GithubPyTorchTransformer开源项目
详细注释的Transformer实现,涵盖从头创建Transformer系列,包括注意力机制和整体Transformer的实现。提供双向注意力、因果注意力及因果交叉注意力的实现,以及GPT-2和BERT模型的单文件实现,兼容torch.compile(..., fullgraph=True)以提高性能。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号