Logo
Project Icon

lightning-bolts

PyTorch Lightning的深度学习组件扩展

PyTorch LightningBoltsTorch ORTSparseMLDeepSparseGithub开源项目

Lightning Bolts为PyTorch Lightning提供了多种扩展组件，包括回调和数据集，旨在加速训练和推理。它支持通过Torch ORT将模型转换为优化的ONNX图，以实现GPU加速训练；并通过SparseML在微调中引入稀疏性，提高推理性能。项目支持广泛的问题解决，并欢迎用户贡献通用组件。了解更多安装和使用信息，请访问官方文档和社区支持平台。

访问官网访问官网GithubGithub文档文档
介绍知识库相关项目
uvadlc_notebooks - 深度学习系列教程，覆盖优化、Transformer、图神经网络等多个主题
GithubJAX+FlaxPyTorchUvA Deep Learning Tutorials开源项目教程深度学习
这套深度学习教程有助于理解理论知识，涵盖优化、Transformer、图神经网络等主题。基于PyTorch和PyTorch Lightning框架，并提供JAX+Flax实现。教程支持本地运行、Google Colab和Snellius集群，多种方式供选择。每个教程包含详细的笔记本，实现理论与实践相结合。本课程与正式作业和考试相关，适合想深入了解深度学习及应用的学习者。
docker-pytorch - PyTorch开发环境的Docker镜像
CUDADockerGPU加速GithubPyTorch开源项目深度学习
docker-pytorch项目提供预配置的Docker镜像，整合Ubuntu、PyTorch和可选的CUDA。该镜像支持GPU加速，便于搭建深度学习环境。用户可运行PyTorch脚本和图形化应用，也可自定义镜像。这个项目为PyTorch开发者提供了便捷的环境配置方案。
relora - 使用ReLoRA实现高效深度学习模型训练
GithubPEFTPyTorchReLoRAflash attention开源项目训练
ReLoRA项目通过低秩更新实现高效深度学习训练，兼容Python 3.10+和PyTorch 2.0+，支持更大的微批次大小。用户可通过执行预处理和不同配置的训练脚本，达到高效分布式训练，并支持cosine重启调度和多GPU配置。项目涵盖了预热训练和ReLoRA重启，适用于各种规模的模型训练。
training_extensions - OpenVINO框架助力快速训练和部署计算机视觉模型
GithubOpenVINO开源项目模型训练深度学习计算机视觉迁移学习
OpenVINO Training Extensions是一个专注计算机视觉的低代码迁移学习框架。它基于PyTorch和OpenVINO工具包开发,提供简洁API和CLI命令,支持分类、检测、分割等多种任务的模型训练、推理和部署。该框架具备自动配置、分布式训练、混合精度等功能,可快速构建高效准确的视觉AI模型。
pytorch_connectomics - PyTorch Connectomics加速大脑神经连接图谱构建
GithubPyTorch Connectomics图像分割开源项目深度学习框架神经连接重建连接组学
PyTorch Connectomics是一个面向神经科学领域的开源深度学习框架，专门用于处理电子显微镜采集的大脑图像数据。该框架支持连接组学中的自动和半自动语义及实例分割，提供多任务学习、主动学习和半监督学习功能。它采用分布式和混合精度优化技术，能高效处理大规模数据集。框架包含多种编码器-解码器架构，如定制3D UNet和特征金字塔网络模型，并提供全面的体积数据增强功能。由哈佛大学视觉计算组维护，PyTorch Connectomics致力于加速大脑神经连接图谱的重建过程。
lucent - 将PyTorch神经网络可视化和解释的开源库
GithubLucentPyTorch开源项目深度学习可视化特征可视化神经网络解释
Lucent是一个将Lucid库功能适配到PyTorch平台的开源项目。它为PyTorch深度学习模型提供可视化和解释功能，使研究人员能够探索神经网络内部结构、生成特征可视化和进行风格迁移。该项目提供教程和示例notebook，便于快速入门。尽管处于早期阶段，Lucent已展现出在解释和改进深度学习模型方面的潜力。
BMTrain - 分布式大规模深度学习模型训练优化工具
BMTrainGithubZeRO优化分布式训练大模型训练开源项目性能优化
BMTrain是一款为大规模深度学习模型设计的分布式训练工具。它能够支持训练包含数十亿参数的模型,并保持代码简洁性。该工具集成了ZeRO优化和通信优化等技术,可提高训练效率和显存利用率。BMTrain与PyTorch兼容,仅需少量代码调整即可实现分布式训练。在13B参数的GPT-2模型训练中,BMTrain展现出优越性能。
continual-learning - PyTorch 在三种不同场景中实现各种持续学习方法
Continual LearningGithubNeurIPSPyTorchSynaptic Intelligenceincremental learning开源项目
此项目实现了在增量学习场景中的PyTorch深度神经网络实验，支持学术设置下的分类问题，且可进行更加灵活的无任务增量学习实验。项目提供了演示脚本和详细的安装指导，适合多种经典方法的性能对比和自定义实验。
data - PyTorch数据加载组件的改进版TorchData
DataLoaderGithubPyTorchTorchData开源项目数据加载状态管理
TorchData是PyTorch数据加载组件的改进版本，主要增强了torch.utils.data.DataLoader的功能。它引入StatefulDataLoader，支持中断恢复和自定义状态跟踪，提高了数据加载的可扩展性和性能。TorchData与最新PyTorch和Python版本兼容，支持pip和conda安装。项目处于开发阶段，欢迎社区贡献和反馈。
hivemind - 去中心化的分布式深度学习PyTorch库
GithubHivemindPyTorch分布式训练开源项目深度学习神经网络
Hivemind是一个基于PyTorch的去中心化深度学习库，旨在通过多台分布在不同地点的计算机共同训练大型模型。主要特点包括去中心化的分布式训练、容错反向传播、参数去中心化平均以及支持任意大小的神经网络训练。Hivemind兼容Linux、macOS和Windows系统，可通过pip或源码进行安装，并提供PyTorch Lightning集成及详尽的使用文档和示例。
相关项目
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

白日梦AI

白日梦AI提供专注于AI视频生成的多样化功能，包括文生视频、动态画面和形象生成等，帮助用户快速上手，创造专业级内容。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

讯飞绘镜

讯飞绘镜是一个支持从创意到完整视频创作的智能平台，用户可以快速生成视频素材并创作独特的音乐视频和故事。平台提供多样化的主题和精选作品，帮助用户探索创意灵感。

Project Cover

讯飞文书

讯飞文书依托讯飞星火大模型，为文书写作者提供从素材筹备到稿件撰写及审稿的全程支持。通过录音智记和以稿写稿等功能，满足事务性工作的高频需求，帮助撰稿人节省精力，提高效率，优化工作与生活。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号