#SparseGPT

SparseGPT是一个致力于大型语言模型压缩的开源项目。它提供了一套工具，可在单次操作中对OPT、BLOOM和LLaMA等大规模语言模型进行精确剪枝。该项目支持非结构化、n:m结构化和稀疏量化压缩方法，并包含在WikiText2、PTB和C4子集上评估模型性能的脚本。SparseGPT能有效缩减模型规模的同时保持准确性，为研究人员和开发者提供了探索语言模型压缩的实用工具。