热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#稀疏性
deepsparse
DeepSparse是一个专为CPU优化的深度学习推理运行时,通过使用稀疏性显著加快模型推理速度。结合SparseML优化库,DeepSparse支持模型剪枝和量化,在CPU上实现卓越性能。支持各种计算机视觉和自然语言处理模型,包括BERT、ViT、ResNet、YOLOv5/8等。此外,DeepSparse现已支持高效的LLM推理,对稀疏量化模型实现多倍加速。可通过PyPI安装,并提供多种API便于部署。
Quest
Quest是一个创新的长文本LLM推理框架,通过在KV缓存中应用查询感知稀疏化技术,显著减少了注意力计算中的内存移动。该框架跟踪缓存页面的Key值范围,并利用Query向量评估页面重要性,仅加载最关键的KV缓存页面。实验表明,Quest可将自注意力计算速度提升至7.03倍,推理延迟降低2.23倍,同时在长依赖任务中保持高精度。
wanda
Wanda是一种针对大型语言模型(LLM)的剪枝技术,通过结合权重大小和输入激活范数来选择性移除权重。相比传统的仅基于权重大小的剪枝方法,Wanda展现出更高的效率。该技术支持LLaMA、LLaMA-2等多种模型,可实现非结构化和结构化稀疏。Wanda方法简单实用,在维持模型性能的同时有效降低参数量,为LLM的轻量化和优化开辟了新途径。
相关文章
Quest: 将查询感知稀疏化应用于大型语言模型,提高长文本推理效率
2 个月前
Wanda:一种简单高效的大语言模型剪枝方法
2 个月前
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号