Project Icon

deepsparse

优化CPU上深度学习推理的高效稀疏性使用

DeepSparse是一个专为CPU优化的深度学习推理运行时,通过使用稀疏性显著加快模型推理速度。结合SparseML优化库,DeepSparse支持模型剪枝和量化,在CPU上实现卓越性能。支持各种计算机视觉和自然语言处理模型,包括BERT、ViT、ResNet、YOLOv5/8等。此外,DeepSparse现已支持高效的LLM推理,对稀疏量化模型实现多倍加速。可通过PyPI安装,并提供多种API便于部署。

speculative-decoding - 推测解码技术,优化大型语言模型推理速度
GithubSpeculative Decoding大语言模型开源项目性能优化推理加速自然语言处理
该开源项目聚焦于推测解码技术的研究与实现,旨在提升大型语言模型的文本生成效率。项目涵盖了多种推测解码策略,包括提前退出、推测采样和先知变压器。同时,项目致力于优化批处理推测解码,以增强整体性能。研究计划还包括对比不同策略的效果,并探索微观优化方法。这些工作为加快AI模型推理速度提供了新的技术思路。
SparseBEV - 多摄像头视频中的高性能稀疏3D目标检测技术
GithubICCV 2023PyTorchSparseBEVnuScenes开源项目立体检测
SparseBEV利用多摄像头视频实现高性能稀疏3D目标检测,得到ICCV 2023的认可,并提供PyTorch实现、训练和评估指南。新发布的SparseOcc展示了全稀疏架构支持多种预训练权重和配置文件。用户可使用提供的代码进行可视化和模型优化,实现高效3D检测。兼容不同版本的PyTorch和CUDA,表现卓越。
DeeperSpeed - EleutherAI定制的DeepSpeed分支加速框架
DeepSpeedDeeperSpeedEleutherAIGPT-NeoXGithub开源项目深度学习框架
DeeperSpeed是DeepSpeed库的分支,专为EleutherAI的GPT-NeoX项目优化。该项目提供两个版本:1.0版保留了训练GPT-NeoX-20B和Pythia Suite所用的稳定版本,2.0版则基于最新DeepSpeed构建并持续更新。DeeperSpeed通过优化训练流程,提高了大型语言模型的开发效率。
fasterai - 开源工具库助力神经网络缩小与加速
FasteraiGithub剪枝开源项目模型压缩神经网络稀疏化
fasterai是一个致力于优化神经网络规模和速度的开源库。该库提供稀疏化、剪枝、知识蒸馏和彩票假设等多种网络压缩技术。其核心特性为高度可定制的稀疏化功能,允许用户调整粒度、上下文、标准和调度。此外,fasterai还包含正则化和知识蒸馏功能,有助于提升模型性能和效率。该库与fastai兼容,可轻松集成到现有深度学习工作流程中。
quickai - 简化复杂机器学习模型的实验过程
GithubPythonQuickAIYOLO卷积神经网络开源项目机器学习
QuickAI 是一个 Python 库,简化了前沿机器学习模型的实验流程。支持 EfficientNet、VGG、ResNet 等图像分类模型和 GPT-NEO、Distill BERT 等自然语言处理模型。只需1-2行代码即可完成模型训练和评估,兼容 TensorFlow 和 PyTorch,并提供 Docker 容器便于环境配置。适用于各水平用户,助力快速推进机器学习项目。
model-optimization - TensorFlow 模型优化工具包, 支持量化和稀疏化
GithubKerasTensorFlow Model Optimization Toolkit剪枝开源项目机器学习模型量化
TensorFlow Model Optimization Toolkit 提供稳定的 Python API,帮助用户通过量化和稀疏化技术优化机器学习模型,包括针对 Keras 的专用 API。该工具包还提供详细的安装指南、教程和 API 文档,显著提升模型在部署和执行时的性能。该项目由 TensorFlow 团队维护,并遵循其行为准则,开发者可以通过 GitHub 提交问题和贡献代码。
Efficient-Deep-Learning - 深度神经网络压缩和加速方法综述
Github开源项目权重量化模型加速知识蒸馏神经网络压缩网络剪枝
此项目汇总了深度神经网络压缩和加速的多种方法,涵盖神经架构设计、剪枝、量化、矩阵分解和知识蒸馏等技术。重点介绍了剪枝(含彩票假设)、知识蒸馏和量化等领域的研究进展,并提供了大量相关论文摘要。项目还收录了初始化剪枝和高效视觉Transformer等相关资源,为该领域的研究和开发提供了全面参考。
SqueezeLLM - 硬件资源优化下的大语言模型量化服务
GithubSqueezeLLM内存优化大语言模型开源项目模型压缩量化
SqueezeLLM通过密集与稀疏量化方法降低大语言模型的内存占用并提升性能,将权重矩阵拆分为易量化的密集组件和保留关键部分的稀疏组件,实现更小内存占用、相同延迟和更高精度。支持包括LLaMA、Vicuna和XGen在内的多个热门模型,提供3位和4位量化选项,适用于不同稀疏度水平。最新更新涵盖Mistral模型支持和自定义模型量化代码发布。
ScaleLLM - 优化大语言模型推理,兼容多种开源模型
GithubScaleLLM大模型推理开源项目生产环境集成开发高效性能
ScaleLLM是一个为大语言模型(LLMs)设计的高效推理系统,适用于生产环境。支持Llama3.1、Gemma2、Bloom、GPT-NeoX等多种开源模型,集成了CUDA图、前缀缓存、分块填充和推测解码等高级功能。项目正在积极开发,目标是提高效率并加入更多特性。现已上架PyPI,可通过pip安装。ScaleLLM还提供兼容OpenAI的REST API和本地聊天机器人UI,支持离线批量推理和在线分布式推理。
splade-v3 - SPLADE-v3稀疏神经信息检索模型的最新进展
GithubHuggingfaceSPLADE信息检索开源项目文本检索机器学习模型自然语言处理
SPLADE-v3是SPLADE系列的最新稀疏神经信息检索模型,基于SPLADE++SelfDistil优化而来。该模型采用KL散度和MarginMSE混合损失函数,每次查询选取8个负样本进行训练。在性能方面,SPLADE-v3在MS MARCO开发集上达到40.2的MRR@10分数,BEIR-13测试中获得51.7的平均nDCG@10。这一成果为稀疏神经信息检索领域树立了新标准。研究人员可以通过GitHub平台获取并应用SPLADE-v3模型,以提升信息检索效果。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

稿定AI

稿定设计 是一个多功能的在线设计和创意平台,提供广泛的设计工具和资源,以满足不同用户的需求。从专业的图形设计师到普通用户,无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑,稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合,帮助用户轻松实现创意设计。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号