Logo
Project Icon

ao

优化PyTorch工作流，实现高性能和内存占用减少

torchaoPyTorch模型量化推理训练Github开源项目

torchao是一个用于PyTorch工作流的高性能库，能够创建并集成自定义数据类型和优化技术，实现推理速度提升至2倍，显存减少65%。无需大幅修改代码，保持准确度。支持量化、稀疏化及浮点数优化，适用于HuggingFace等模型。用户可以轻松优化模型，提高计算效率。支持int8、int4和float8等多种数据类型，兼容torch.compile()和FSDP。

访问官网访问官网GithubGithub论文论文
介绍相关项目
Ensemble-Pytorch - PyTorch集成学习框架助力模型优化
Ensemble-PyTorchGithubpytorch开源项目机器学习模型集成深度学习
Ensemble-Pytorch是一个为PyTorch设计的集成学习框架，旨在提高深度学习模型的性能和鲁棒性。该框架支持多种集成策略，如Fusion、Voting、Bagging和Gradient Boosting，适用于分类和回归任务。作为PyTorch生态系统的一部分，Ensemble-Pytorch提供简洁的API和详细文档，便于研究人员和开发者实现和优化集成模型。
libai - 支持多种并行训练的大规模模型训练工具
CV任务GithubLiBaiNLP任务OneFlow开源项目模型训练
LiBai是基于OneFlow的大规模开源模型训练工具，支持数据并行、张量并行和流水线并行等多种训练组件。提供分布式训练、混合精度训练、激活检查点等多种技术，适用于计算机视觉和自然语言处理任务。LiBai易于使用，模块化设计便于研究项目的搭建，同时具备高效性能，支持CIFAR、ImageNet和BERT等数据集的处理。
GPTFast - Hugging Face Transformers模型推理加速工具
GPTFastGithubHugging Face开源项目推理加速量化静态键值缓存
GPTFast是一个为Hugging Face Transformers模型优化推理速度的开源Python库。它集成了多种加速技术,如静态键值缓存、int4量化和推测解码,可将模型推理速度提升7.6-9倍。GPTFast支持torch.compile、int8量化、GPTQ int4量化等优化方法,通过简单的API调用即可应用于各类Hugging Face模型。该项目持续更新,未来计划引入更多先进的加速技术。
tao - 具有多态和代数效应的静态类型函数式语言
GithubTao代数效应函数式编程开源项目模式匹配静态类型
Tao是一种静态类型的函数式编程语言,具有多态性、类型类和广义代数效应等特性。它支持和类型、模式匹配、一级函数和柯里化,并提供良好的诊断功能。Tao致力于实现程序完整性和极致优化,同时作为学习工具。该语言采用Hindley-Milner类型推断,支持代数数据类型和类型多态。Tao目前正在开发中,未来计划加入模块系统和LLVM后端等功能。
vram-8 - 显存优化工具提升视觉语言模型训练效率
GithubHuggingfacetransformers人工智能开源项目机器学习模型深度学习自然语言处理
vram-8是一个为视觉语言模型设计的内存管理工具。该工具通过优化内存使用策略，提高模型训练和推理效率。它可以智能管理GPU显存，减少内存溢出问题，使用户能在有限硬件资源下处理较大规模模型。vram-8有助于提升模型处理速度和系统稳定性。
facetorch - Python库支持深度学习的面部检测和分析，同时加速CPU和GPU性能
GithubPython库TorchScriptfacetorch开源项目深度学习面部分析
Facetorch是一个Python库，使用深度神经网络进行面部检测和特征分析。它支持Hydra配置，使用conda-lock和Docker进行环境重现，并通过TorchScript加速CPU和GPU性能。该工具可扩展，允许通过Google Drive上传模型文件和添加配置文件。请谨慎使用，并遵循欧盟可信AI伦理指南。
theseus - 构建适用于机器人和视觉应用的定制非线性优化层
GithubPyTorchTheseus开源项目机器人神经网络非线性优化
Theseus 是一个高效的通用库，专门用于在 PyTorch 中构建定制的非线性优化层，支持机器人和视觉问题中的端到端可微分架构。其特性包括二阶非线性优化器、线性求解器、向量化和 GPU 加速，有助于提高计算速度和内存使用效率。该库通过结合领域专用模型和神经网络模型，在保持计算梯度的同时优化 AI 模型，非常适合研究人员和开发者使用。
RWKV_Pytorch - RWKV大语言模型的纯PyTorch推理框架
GithubPyTorchRWKV大语言模型开源开源项目推理框架
RWKV_Pytorch是一个基于纯PyTorch实现的RWKV大语言模型推理框架。该框架支持批量和并行推理，充分发挥RWKV模型性能。其代码结构清晰，便于阅读和二次开发。框架支持ONNX格式模型的导出和推理，提供本地部署选项。未来计划适配香橙派AI Pro开发板，以实现在昇腾生态上推理RWKV模型。当前版本仅兼容RWKV v6模型（x060版本）。
HolisticTraceAnalysis - 高效分析分布式训练性能瓶颈的开源工具
GPUGithubHolisticTraceAnalysisPyTorch分布式训练开源项目性能分析
HolisticTraceAnalysis是一款开源性能分析工具，用于识别分布式训练中的性能瓶颈。它分析PyTorch Profiler收集的跟踪数据，提供时间分解、内核分析、通信计算重叠等功能。支持Linux和Mac系统，适用于Python 3.8及以上版本。开发者可通过该工具深入分析和优化分布式训练性能。
yoloair2 - 多模型集成的YOLO目标检测工具库
GithubPyTorchYOLOAir2YOLO系列开源项目模型改进目标检测
YOLOAir2是一个基于PyTorch的YOLO系列算法工具库,集成了YOLOv7、YOLOv5等多种YOLO变体。它统一了模型代码框架和应用方式,支持用户自由组合backbone、neck和head模块,以构建定制化的目标检测网络。除目标检测外,该项目还整合了实例分割、图像分类等相关任务,为计算机视觉研究提供了便利的实验平台。
相关项目
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号