#稀疏性

deepsparse

DeepSparse是一个专为CPU优化的深度学习推理运行时，通过使用稀疏性显著加快模型推理速度。结合SparseML优化库，DeepSparse支持模型剪枝和量化，在CPU上实现卓越性能。支持各种计算机视觉和自然语言处理模型，包括BERT、ViT、ResNet、YOLOv5/8等。此外，DeepSparse现已支持高效的LLM推理，对稀疏量化模型实现多倍加速。可通过PyPI安装，并提供多种API便于部署。

Quest

Quest是一个创新的长文本LLM推理框架，通过在KV缓存中应用查询感知稀疏化技术，显著减少了注意力计算中的内存移动。该框架跟踪缓存页面的Key值范围，并利用Query向量评估页面重要性，仅加载最关键的KV缓存页面。实验表明，Quest可将自注意力计算速度提升至7.03倍，推理延迟降低2.23倍，同时在长依赖任务中保持高精度。

wanda

Wanda是一种针对大型语言模型(LLM)的剪枝技术，通过结合权重大小和输入激活范数来选择性移除权重。相比传统的仅基于权重大小的剪枝方法，Wanda展现出更高的效率。该技术支持LLaMA、LLaMA-2等多种模型，可实现非结构化和结构化稀疏。Wanda方法简单实用，在维持模型性能的同时有效降低参数量，为LLM的轻量化和优化开辟了新途径。

bge-small-en-v1.5-quant

bge-small-en-v1.5-quant是一种应用量化和稀疏技术的自然语言处理模型，适合资源受限环境，支持多种分类和检索任务，并在MTEB数据集上展现出坚实的表现。在AmazonPolarityClassification数据集上，实现了91.89%的准确率。其结合了量化和稀疏性技术，使得模型具备轻量化并易于在低算力设备上部署，是自然语言处理应用的理想选择。