#SparseML
lightning-bolts - PyTorch Lightning的深度学习组件扩展
PyTorch LightningBoltsTorch ORTSparseMLDeepSparseGithub开源项目
Lightning Bolts为PyTorch Lightning提供了多种扩展组件,包括回调和数据集,旨在加速训练和推理。它支持通过Torch ORT将模型转换为优化的ONNX图,以实现GPU加速训练;并通过SparseML在微调中引入稀疏性,提高推理性能。项目支持广泛的问题解决,并欢迎用户贡献通用组件。了解更多安装和使用信息,请访问官方文档和社区支持平台。
sparseml - 神经网络优化工具,简化代码实现高效稀疏模型
SparseML神经网络模型优化稀疏化推理优化Github开源项目
SparseML是开源模型压缩工具包,使用剪枝、量化和蒸馏算法优化推理稀疏模型。可导出到ONNX,并与DeepSparse结合,在CPU上实现GPU级性能。适用于稀疏迁移学习和从零开始的稀疏化,兼容主流NLP和CV模型,如BERT、YOLOv5和ResNet-50,实现推理速度和模型大小的显著优化。