#稀疏化

SparseML是开源模型压缩工具包，使用剪枝、量化和蒸馏算法优化推理稀疏模型。可导出到ONNX，并与DeepSparse结合，在CPU上实现GPU级性能。适用于稀疏迁移学习和从零开始的稀疏化，兼容主流NLP和CV模型，如BERT、YOLOv5和ResNet-50，实现推理速度和模型大小的显著优化。

SparseGPT是一个致力于大型语言模型压缩的开源项目。它提供了一套工具，可在单次操作中对OPT、BLOOM和LLaMA等大规模语言模型进行精确剪枝。该项目支持非结构化、n:m结构化和稀疏量化压缩方法，并包含在WikiText2、PTB和C4子集上评估模型性能的脚本。SparseGPT能有效缩减模型规模的同时保持准确性，为研究人员和开发者提供了探索语言模型压缩的实用工具。

efficient-kan是一个开源项目，为Kolmogorov-Arnold神经网络(KAN)提供高效实现。项目重构了计算方法，大幅降低内存消耗并提升计算效率。通过采用权重L1正则化和可选的独立比例B样条功能，项目在保持兼容性的同时优化了性能。最新更新改进了参数初始化，在MNIST数据集上显著提升了模型表现。

fasterai是一个致力于优化神经网络规模和速度的开源库。该库提供稀疏化、剪枝、知识蒸馏和彩票假设等多种网络压缩技术。其核心特性为高度可定制的稀疏化功能，允许用户调整粒度、上下文、标准和调度。此外，fasterai还包含正则化和知识蒸馏功能，有助于提升模型性能和效率。该库与fastai兼容，可轻松集成到现有深度学习工作流程中。

Embedded-Neural-Network项目汇集了减小深度神经网络模型大小和加速ASIC/FPGA应用的前沿研究。内容涵盖网络压缩、硬件加速等领域,包括参数共享、知识蒸馏、定点训练、稀疏正则化和剪枝等技术。项目还整理了相关教程和重要会议论文。

该项目汇总了神经网络剪枝领域从2015年至今的重要研究成果。内容涵盖权重剪枝、滤波器剪枝和特殊网络剪枝等多种技术。论文按年份和会议分类,并提供标题、发表venue、剪枝类型及代码链接。此外还包含一篇结构化剪枝综述和分类图。对神经网络压缩和效率优化研究者而言,这是一个全面且实用的资源集合。