#DeepSparse

Lightning Bolts为PyTorch Lightning提供了多种扩展组件，包括回调和数据集，旨在加速训练和推理。它支持通过Torch ORT将模型转换为优化的ONNX图，以实现GPU加速训练；并通过SparseML在微调中引入稀疏性，提高推理性能。项目支持广泛的问题解决，并欢迎用户贡献通用组件。了解更多安装和使用信息，请访问官方文档和社区支持平台。

DeepSparse是一个专为CPU优化的深度学习推理运行时，通过使用稀疏性显著加快模型推理速度。结合SparseML优化库，DeepSparse支持模型剪枝和量化，在CPU上实现卓越性能。支持各种计算机视觉和自然语言处理模型，包括BERT、ViT、ResNet、YOLOv5/8等。此外，DeepSparse现已支持高效的LLM推理，对稀疏量化模型实现多倍加速。可通过PyPI安装，并提供多种API便于部署。

该量化ONNX模型旨在利用DeepSparse加速bge-large-en-v1.5嵌入模型，提升句子编码效率。通过Sparsify实现的INT8量化和深度稀疏技术，在标准笔记本和AWS实例上分别实现了4.8倍和3.5倍的延迟性能改善。在多个数据集的测试中，该模型在分类和STS任务中展现出较高的编码效率。结合DeepSparse和ONNX技术栈，该模型适用于需要高效自然语言处理的应用场景。