#结构剪枝

LLM-Pruner

LLM-Pruner项目专注于通过结构剪枝技术高效压缩大型语言模型，在保留多任务处理能力的同时减少训练数据需求。仅需3分钟剪枝及3小时后训练，此方法利用50,000个公开样本快速实现剪枝与再训练。支持Llama系列、Vicuna、BLOOM、Baichuan等多种LLM，自动化剪枝过程简化了新模型的剪枝步骤。该技术允许根据需要调整模型规模，优化资源使用。

Sheared-LLaMA-1.3B-ShareGPT

该项目通过10,000个指令响应对优化Sheared-LLaMA-1.3B模型，提升语言模型效率和性能。该模型可通过transformers.LlamaModelForCausalLM加载，适用于多种应用场景。